O asistenci umělé inteligence (AI) formou online analýzy obsahu tísňového volání jsem se tu už v minulosti zmiňoval v podobě článku o dvou severských studiích, z nichž ta z Kodaně představovala zatím asi nejpodrobnější rozbor možností podpory AI operátorovi při rozpoznání zástavy oběhu. Hlavním závěrem bylo, že AI sice vykazuje slušnou senzitivitu (schopnost rozpoznat případy, kdy o zástavu jde) kolem 86%, což je srovnatelné s živým operátorem, má vysokou specificitu (schopnost dobře rozpoznat hovory, kdy o zástavu oběhu nejde – 97%), ale současně neuspokojivou, proti lidskému operátorovi výrazně nižší pozitivní prediktivní hodnotu kolem 17% (tj. velmi často se stane, že pacient označený „se zástavou“ ji ve skutečnosti nemá). To může vést ke zbytečné alokaci nejlepších zdrojů v systému a k jejich nedostatku pro skutečně závažné události. Naopak negativní prediktivní hodnota byla v kodaňské studii vysoká (99,9%), ale i tak „zbylo“ pár hovorů, kde AI zástavu neodhalila.

Pro připomenutí – z celkových 226.130 hovorů přijatých Kodani v době studie (říjen 2018 – prosinec 2019) jich do studie bylo primárně zahrnuto 169.000 (během studie došlo k opakovaným odstávkám serveru s AI a data z těchto období přirozeně nejsou zahrnuta). Jako skutečná zástava oběhu jich bylo v dánském národním registru ověřeno 1.177.

V návaznosti na tato data pak loni vyšla v časopise Resuscitation analýza těch případů, kdy se AI netrefila ve smyslu nerozpoznání zástavy – buď o zástavu šlo, ale nebyla rozpoznaná (falešně negativní – FN), nebo naopak došlo k označení ne-zástavy za zástavu (falešně pozitivní – FP).

Nejprve tedy to rizikovější – falešně negativní výsledky. Asi nepřekvapí, že většinou bylo příčinou nerozpoznání zástavy to, že v době volání buď ještě o zástavu nešlo, když pacient byl na začátku i na konci hovoru při vědomí, nebo tak byl alespoň volajícím popisován, i když se následně třeba ukázalo, že byl v době volání už mrtvý (25% volání). Často vedl k nerozpoznání zástavy popis normálního dýchání (28%), případně volající popisoval nějaký úplně odtažitý stav (například vykloubené rameno) a operátor se na stav vědomí a/nebo dýchání nezeptal. Ve 23% nebyl hovor AI vyhodnocen z důvodu „jazykové bariéry“ – AI zkrátka nedokázala rozpoznat, co volající říká, nejčastěji z důvodu silného přízvuku volajícího nebo technicky nekvalitního hovoru. V 18% případů šlo o volání z třetí ruky a volající nebyl v kontaktu s pacientem. Celkově bylo hovorů s nerozpoznanou zástavou za celé sledované období 163.

Méně rizikovým, ale početně výrazně větším problémem byly ovšem hovory s falešně pozitivní detekcí zástavy – těch bylo za sledované období 4.816, tj. velmi zhruba v průměru 10 denně, což není úplně málo. 13,2% z této skupiny tvořili pacienti, kteří byli následně živým operátorem označeni za zemřelé. Tady šlo o úmyslné nastavení AI modelu, jehož úkolem (a cílem jeho učení) bylo detekovat zástavu oběhu, ale nikoliv jisté známky smrti. No a ona taková smrt je vlastně současně i zástava oběhu… Jinak byly příčiny „obelstění“ AI stejné, jako bývají u živých operátorů – nejasný popis stavu vědomí nebo dýchání a diagnóza intoxikace simulující projevy zástavy oběhu (například opiáty). Tady si živý operátor dokáže poradit výrazně lépe, například na základě sociálního kontextu celého případu, zatímco AI postupuje chladně strojově. Autoři nicméně horlivost AI tak trochu obhajují s tím, že i když v těchto stavech nešlo přímo o zástavu oběhu, převážně šlo tak jako tak o stavy s vysokým rizikem, takže se vlastně zase až tak moc nestalo.

Autoři uzavírají, že AI podpora operátorů ZOS pro přesnější detekci zástavy oběhu po telefonu je perspektivní metoda, bude ovšem potřeba „doladit“ zejména její schopnosti porozumět ne zcela „školní“ mluvě a optimalizovat schopnost rozpoznat zástavu tam, kde jsou informace nejasné nebo nekonzistentní.

Za sebe bych k tomu dodal jen jednu drobnost – na rozdíl od mnoha jiných situací je učení AI extrémně náročný proces, který je hodně závislý na konkrétním jazykovém modelu a kulturním prostředí. Pokud bychom tedy někdy v budoucnu chtěli o využití AI uvažovat tady v malé české kotlině, nezbyde nám, než si to z velké části opravdu poctivě odpracovat. A nechci být příliš špatným prorokem, ale vzhledem k tomu, že zatím řešíme všechny možné „třetí české cesty urgentní medicíny“, jen ne skutečně klíčové odborné předpoklady, jako je třeba národní registr zástav oběhu, tak to s AI v ČR do budoucna zatím moc optimisticky nevidím.

Zdroj: Blomberg SN et al. When the machine is wrong. Characteristics of true and false predictions of Out-of-Hospital Cardiac arrests in emergency calls using a machine-learning model. Resuscitation, Volume 183, 109689

(c) MUDr. Ondřej Franěk, www.zachrannasluzba.cz

PS: Vážení uživatelé, na serveru ZACHRANNASLUZBA.CZ je možné se zapojit do diskuze pod články. Diskutovat mohou pouze registrovaní čtenáři, způsob registrace a pravidla diskuze najdete ZDE.