13. března 2024 schválil Evropský parlament finální znění nařízení o umělé inteligenci (Arteficial inteligence – AI), známé také jako „AI-ACT“. Jde o první komplexní regulaci svého druhu na světě, jejíž cílem je – mimo jiné – zajistit důvěryhodnost a bezpečnost technologií, založených na AI.

AI-ACT zcela zakazuje systémy, představující nepřípustné riziko. Jedná se mj. o systémy sociálního kreditu, biometrické kategorizace či rozpoznávání emocí, dále systémy používající podprahové, manipulativní či klamavé techniky nebo zneužívající zranitelnosti osob. To se sice zdravotnictví obvykle zase až tak moc netýká, ale to je jen malá útěcha, potože kritické zdravotnické systémy (spolu s ostatními oblastmi, kde selhání může způsobit velké škody, jako například v dopravě či v silových složkách) byly v „pyramidě rizika“ zařazeny hned o patro níž mezi „vysce rizikové“. Použití AI ve zdravotnictví tedy bude možné, ale bude podléhat velmi přísné regulaci.

Konkrétně z oblasti zdravotnictví patří do této kategorie například AI systémy určené pro stanovení diagnózy či léčebného postupu. Výslovně jsou zde uvedeny i systémy AI určené pro vyhodnocení tísňových volání na operačním středisku a pro triáž pacientů.

V praxi to bude znamenat, že než bude vůbec možné uvažovat o využití určitého systému v uvedených oblastech zdravotnictví, dodavatel bude muset (mimo jiné) přesně dokumentovat, na jakých datech se systém „učí“, tato data musí být schválená a bude muset být proveden bezpečnostní autdit systému. Uživatelé vysoce rizikových systémů AI pak budou mít mj. povinnost zajistit nad systémy lidský dohled, trvale monitorovat jejich provoz a provádět audit kvality výstupu. A můžeme se spolehnout na to, že zavedení všech těchto procedur bude nějaký čas trvat a bude taky něco stát.

Pro zajímavost – nové regulaci neunikne ani oblíbený ChatGPT a další modely tzv. AI pro všeobecné účely. Tyto systémy budou muset dodržovat požadavky na transparentnost, respektovat autorská práva (!) a jejich vývojáři jsou povinni zveřejňovat podrobná shrnutí obsahu použitého pro trénování modelu. „Deepfakes“, tedy uměle vytvořené nebo zmanipulované obrátky, audio nebo video nahrávky, musí být jasně označeny.

Evropská unie se tedy pokouší komplexně řešit problematiku AI. To je v zásadě dobře, nějaká regulace potřebná je, aby se AI nestala místo „dobrého sluhy“ „zlým pánem“. Na druhé straně se ale taky může stát, že technologické firmy nebudou schopny (a/nebo ochotny) nové požadavky plnit a když, tak za obrovských nákladů. Až čas tedy ukáže, nakolik je regulace vyvážená na obě strany.

Co tedy AI-ACT v praxi znamená pro záchranné služby? Především se můžeme rozloučit s (často naivními) představami o to, že „AI“ v blízké době vyřeší vše, s čím si zatím nevíme rady (třeba třídění volání a spolehlivé rozpoznání „bezpečných“ pacientů, vhodných pro alternativní řešení). AI samozřejmě dříve nebo později do praxe pronikne, ať už jako podpora rozhodování operátorů nebo členů výjezdových skupin, ale nikdy nepůjde o systémy zcela autonomní. Navíc, při stavu práce s daty v prostředí záchranných služeb v ČR si zatím vůbec nedokážu představit, na jakých datech by se v našich podmínkách AI měla „učit“, na základě jakých dat by se měly výsledky validovat (a obojí musí být v budoucnu jasné a dokladované) a jak bude probíhat kontrola kvality v systému, který má v současné realitě potíže s prostým ročním součtem ošetřených pacientů. Samozřejmě, některé světově standardizovatelné aplikace typu sofistikovaného vyhodnocování EKG záznamů nebo RTG snímků se asi do praxe dostanou relativně brzo (resp. někde už v praxi jsou), ale jinak zřejmě nebude zavádění AI do praxe zdravotnictví a speciálně do „kritické infrastruktury“, kterou záchranka je, nijak rychlé a snadné. A zvláště ne u nás, kde, obávám se, budeme ještě dlouhou dobu sklízet hořké ovoce naší chronické „datové negramotnosti“.

A na závěr ještě technický detail – nařízení bude vstupovat do praxe postupně: zákaz nejrizikovějších aplikací bude platit za 6 měsíců, většina pravidel se uplatní do 24 měsíců a vývojáři a pravidla pro tvůrce a uživatele vysoce rizikových systémů AI budou v plném rozsahu uplatněna za 3 roky.

Zdroj: https://artificialintelligenceact.eu/

(c) MUDr. Ondřej Franěk, www.zachrannasluzba.cz

PS: Vážení uživatelé, na serveru ZACHRANNASLUZBA.CZ je možné se zapojit do diskuze pod články. Diskutovat mohou pouze registrovaní čtenáři, způsob registrace a pravidla diskuze najdete ZDE.