S AI v medicíně zatím spíš opatrně

Aktuální boom umělé inteligence (AI) vede vede mnohdy k přespříliš optimistickému očekávání o jejích schopnostech. AI sice „hezky odpoví na každou otázku“, ale s faktickou správností je to už všelijaké – někdy dobré, ale někdy, s podrobnější znalostí daného tématu, začneme velmi rychle nacházet v produktech AI větší či menší „díry“. A v oborech, kde na správnosti opravdu záleží (jako je třeba medicína), mohou mít chyby samozřejmě fatální následky.

Maličká studie na tohle téma se objevila na podzim ve formě dopisu vydavateli časopisu Resuscitation. Slovinští autoři Fijačko a spol. nechali tři nejznámější systémy „umělé inteligence“ vyhodnotit vzorové EKG křivky, které jsou součástí testu ACLS kurzu Americké kardiologické společnosti (AHA). Nešlo tedy o žádné záludné špeky s diskrétními změnami určenými pro oko erudovaného kardiologa, ale o typické nálezy spojené s kritickými stavy.

Pro srovnání byly použity Bing Chat, ChatGPT4-plus a Google Bard. V pokusu, který proběhl v říjnu 2023, měl každý chatbot analyzovat 9 křivek z testu (každou křivku 3x) a z testové nabídky vybrat a zdůvodnit správnou odpověď. Sledovala se současně i konzistence systému – kolik z devíti křivek vyhodnotí systém v každém ze tří pokusů stejně. Systémy byly současně požádány, aby odhadly svoji předpokládanou úspěšnost (míru sebedůvěry).

Výsledky zobrazuje následující tabulka:

Celková úspěšnostKonzistenceSebedůvěra
Bing Chat22%2 z 967%
ChatGPT4-plus63%3 z 979%
Google Bard48%3 z 981%
Souhrnná tabulka výsledků

Jak je z tabulky vidět, výsledky „chatbotů“ při odpovědi na testové otázky spojené s EKG křivkou nebyly zrovna oslňující a navíc byly při více pokusech s jednou křivkou převážně nekonzistentní. Co ale naopak chatbotům nechybělo, byla ta sebedůvěra :-).

Je potřeba samozřejmě připomenout, že nešlo o seriózní rozsáhlou studii, ale o relativně malý pokus (celkem 9 křivek x 3 pokusy x 3 chatboty = 81 hodnocení), navíc chatboty nebyly primárně navržené pro hodnocení testových otázek, takže po úpravě algoritmů by nejspíš uspěly lépe. Jenže život je pestrý a pokud bychom chtěli někdy v budoucnu AI začít používat nejen pro zábavu co za pár dní vlastně omrzí („nakresli mě v úboru leteckého záchranáře, velké bicáky, západ slunce“ apod.), musí být připravena na různé typy dotazů…

Výsledek pokusu samozřejmě neznamená, že je AI úplně k ničemu, ale na druhou stranu potvrzuje, že pro seriózní aplikace ještě AI tak úplně nedozrála. V medicíně určitě může posloužit například jako nějaký první orientační filtr pro veřejnost a dokonce se může v některých méně obvyklých situacích na základě popisu symptomů „trefit“ do správné diagnózy častěji, než zdravotník, ale pro rutinní autonomní použití zkrátka ještě zralá není. A to nemluvím o právní odpovědnosti za chyby AI – to je složitá problematika sama o sobě a zatím celosvětově není tak úplně jasné, jaké by mělo být její řešení (pokud tedy nemyslíme stávající postupy běžné u jiných expertních aplikací – tj. že výsledek musí potvrdit „živý“ odborník). To je ale téma na samostatný článek.

Zdroj: Fijačko N et al. Can novel multimodal chatbots such as Bing Chat Enterprise, ChatGPT-4 Pro, and Google Bard correctly interpret electrocardiogram images? Resuscitation. 2023 Dec:193:110009. doi: 10.1016/j.resuscitation.2023.110009. Epub 2023 Oct 24.

PS: Nadšeným obdivovatelům AI (a pozor – je potřeba pečlivě rozlišovat AI od pokročilých algoritmizačních systémů*)) je dobré občas připomenout, že ona „inteligence“ je opradu jen umělá. Její princip tkví v tom, že dokáže obsáhnout obrovské množství znalostí (ale taky ne celý obsah intetrnetu), najít mezi nimi (více či méně) logické vazby a výsledek srozumitelným jazykem interprertovat. Jenže něco doopravdy nového, něco, co tady ještě nebylo, AI nikdy nevymyslí. Navíc (a to vnímám jako opravdu velký průšvih) AI občas zcela bezostyšně zalže, resp. když dojdou „hrušky“, použije „jabka“, ale tváří se při tom, jakoby se nechumelilo. AI tedy rozhodně není všelékem, „černou skříňkou“, kam z jedné strany hodím problém, se kterým si nevím rady, a z druhé strany vypadne řešení, které je možné bez obav použít. A domnívám se, že něčím takovým ještě hooodně dlouho nebude.

*) Základním rysem AI je to, že stejné zadání má obvykle pokaždé trochu jiný výsledek, v závislosti na aktuálním stavu „sebeučení“ resp. „tréninku“ jádra AI. Naproti tomu algoritmizované expertní systémy pro podporu rozhodování, byť mohou být vnitřně také velmi složité, se rozhodují vždy podle stejného algoritmu a tudíž dají na stejnou otázku vždy stejnou odpověď.

(c) MUDr. Ondřej Franěk, www.zachrannasluzba.cz

PS: Vážení uživatelé, na serveru ZACHRANNASLUZBA.CZ je možné se zapojit do diskuze pod články. Diskutovat mohou pouze registrovaní čtenáři, způsob registrace a pravidla diskuze najdete ZDE.