Užití umělé inteligence při poskytování zdravotních služeb a poučení pacienta

Overview

Umělá inteligence (AI) se ve zdravotnictví uplatňuje v širokém spektru činností –⁠ od diagnostiky přes terapii až po administrativní procesy. Její zapojení přináší nové výzvy nejen medicínské a etické, ale i právní. Jejich součástí je také informační povinnost zdravotnických pracovníků ve vztahu k pacientům při použití systémů AI a její etická rovina, zejména princip autonomie a právo pacienta na informaci a vysvětlení (right to notice a right to explanation).

Právní rámec vyplývající z aktu o umělé inteligenci, GDPR, rámcové úmluvy Rady Evropy a zákona o zdravotních službách dokládá, že právo pacienta na informaci o použití AI a na vysvětlení jejího podílu na rozhodovacím procesu je možné dovodit ze zásad informovaného souhlasu, i když v současnosti není výslovně stanoveno právními předpisy. Doporučení pro klinickou praxi se týkají rozsahu a způsobu poskytování těchto informací.

Klíčová slova:

informovaný souhlas – umělá inteligence – zdravotní služby – etika – autonomie pacienta – právo na vysvětlení

ÚVOD

Umělá inteligence (AI) se ve zdravotnictví uplatňuje v širokém spektru činností a postupně se stává integrální součástí mnoha procesů. Od podpory klinického rozhodování a zlepšování diagnostické přesnosti přes predikci vývoje onemocnění a personalizaci léčby až po urychlení výzkumu nebo efektivnější správu provozu zdravotnických zařízení –⁠ možnosti jejího využití jsou rozmanité (1).

V klinické praxi se AI používá například k automatickému vyhodnocování výsledků zobrazovacích metod –⁠ a to v rámci radiologie (2), patologie (3), neurologie (4), oftalmologie, dermatologie či onkologie (5), dále k predikci rizika komplikací nebo k identifikaci pacientů, kteří by mohli mít prospěch z cílené prevence. Ve výzkumu potom slouží k analýze rozsáhlých datových souborů, odhalování nových biomarkerů nebo návrhu nových léčiv.

V administrativní oblasti AI pomáhá optimalizovat plánování provozu, předvídat vytížení kapacit, automatizovat dokumentaci nebo zefektivnit komunikaci s pacienty prostřednictvím chatbotů a hlasových asistentů (6). Některé z těchto aplikací jsou dnes již běžnou součástí každodenní praxe, zatímco jiné se nacházejí v pilotním nebo experimentálním stadiu, ale mají potenciál zásadně ovlivnit budoucnost zdravotní péče (7).

Užití AI ve zdravotnictví ovšem přináší i řadu etických, právních a medicínských výzev včetně tzv. deskillingu (snižování požadavků na dovednosti vyžadované pro vykonávání určité činnosti) (8). Tento článek je však zaměřen specificky na problematiku informační povinnosti na straně zdravotnických pracovníků ohledně použití AI při poskytování zdravotních služeb konkrétnímu pacientovi a jeho rozsahu.

PROBLEMATIKA POSKYTNUTÍ ADEKVÁTNÍCH INFORMACÍ PŘI POUŽITÍ AI VE ZDRAVOTNICTVÍ

Etická rovina povinnosti informovat o použití AI

Podstatnou roli ve vztahu poskytovatele zdravotních služeb (lékaře, jiného zdravotnického pracovníka, resp. zdravotnického zařízení) a pacienta hraje respekt k autonomii pacienta a důvěra. Oba tyto základní stavební kameny mohou být narušeny, není-li pacient dostatečně informován o skutečnostech, které ovlivňují (nebo by mohly ovlivnit) poskytování zdravotní péče. Někteří autoři uvádějí, že v mnoha případech vstupuje do vztahu lékaře a pacienta další aktér –⁠ a tím je právě AI (9). Současný bioetický diskurz pak v souvislosti s užitím AI postuluje dvě základní práva –⁠ právo na informaci (right to notice) a právo na vysvětlení (right to explanation). Obě tato práva jsou zmiňována i v řadě obecných doporučení týkajících se užití AI –⁠ v USA se jedná např. o Blueprint for an AI Bill of Rights, kde jedním z principů je „Right to Notice and Explanation“. V Evropě se jedná např. o Ethics Guidelines for Trustworthy Artificial Intelligence publikované v rámci EU, kde je uvedeno, že důvěryhodná AI musí respektovat lidskou autonomii a být vysvětlitelná (body 47–53).

Právo na informaci o užití AI není v bioetické literatuře hlouběji problematizováno, i když existují určité snahy povinnost poskytnout informace o užití AI dále nuancovat (10). Právo na vysvětlení (right to explanation) je naopak klíčovým prvkem mnoha odborných pojednání, a někteří autoři dokonce plédují pro přidání 5. bioetického principu v souvislosti s použitím AI, a to principu vysvětlitelnosti (principle of explicability) (11, 12). Právo na vysvětlení znamená, že pacient má mít možnost pochopit, jak a proč AI přispěla k rozhodnutí, které ovlivňuje jeho zdravotní péči. Navazuje tak na právo na informaci (right to notice) a je jeho nezbytným doplněním. Zatímco informování (notice) zajišťuje, že pacient ví, že AI byla použita, vysvětlení (explanation) zajišťuje, že rozumí, jakým způsobem byla AI použita.

Floridi a Cowls pak vysvětlitelnost (explicability) chápou jako kombinaci dvou rovin –⁠ transparentnosti a odpovědnosti (accountability) (11). Vysvětlení má být nejen faktické (co AI udělala), ale i hodnotící (jak spolehlivý je výsledek, jaké jsou jeho limity) a současně by mělo být jasně stanoveno, kdo nese odpovědnost za to, že AI byla použita vhodně. Samozřejmě právo na vysvětlení je z mnoha ohledů problematické, a to jak na straně samotných pacientů, tak zdravotnických pracovníků. Tato skutečnost byla zmiňována již se samotným informovaným souhlasem, kdy bylo argumentováno, že v souvislosti s technologickým vývojem ani sami zdravotničtí pracovníci nejsou schopni poskytnout potřebné informace (13), u AI je situace ještě složitější.

V souvislosti s užitím AI bývá často zmiňován problém netransparentnosti (opacity), kdy algoritmy (zejména deep learning) generují výsledky, jejichž vnitřní logiku uživatel ani vývojář nedokáží jednoduše vysvětlit. Tím se otevírá i další problém, a to neschopnost (nemožnost) interpretovat klinická doporučení a závěry, jež AI učinila. Netransparentnost AI ve zdravotnictví tak představuje závažný etický a právní problém, který může vést k narušení důvěry ve vztahu lékaře a pacienta a ve svém důsledku k porušení základních lidských práv. V poslední době je snaha tuto netransparentnost řešit prostřednictvím tzv. explainable AI (XAI), tj. vývoje technologií, které k výsledku dodávají i „mapu důvodů“ (např. heatmaps na rtg snímcích). Ovšem i užití XAI klade vysoké požadavky na uživatele, neboť na jejich straně vyžaduje schopnost vysvětlení výstupů AI.

V souvislosti s právem na informace o užití AI –⁠ a zejména s právem na vysvětlení –⁠ je také často kladena otázka, jak rozsáhlé mají být informace sdělované pacientovi, aby byl informován dostatečně. Zatímco naplnění práva na informace se může odehrát prostým sdělením o užití AI, v případě práva na vysvětlení musí být rozsah informací širší. V odborné literatuře se vedou diskuse, jak detailní informace mají být. Z našeho pohledu by rozsah těchto informací měl odrážet Floridiho pojetí vysvětlitelnosti, aby bylo zjevné, co AI dělala a jak spolehlivý je výsledek, případně jaké jsou jeho limity. Samozřejmě s problematikou vysvětlitelnosti úzce souvisí problém vývoje a změn v AI. Podle některých autorů se právo na vysvětlení nevyčerpává jednorázovým podáním informace –⁠ spíše by mělo jít o proces, který reaguje na vývoj a změny AI.

Z etického pohledu je při užití AI ve zdravotnictví také nezbytné, aby rozhodnutí učiněná AI nebo na základě AI byla přičitatelná zdravotnickým pracovníkům, respektive poskytovatelům zdravotních služeb. To znamená, že poskytovatelé za tato rozhodnutí odpovídají a jsou schopni je vysvětlit, zároveň je však pacientům dána možnost tato rozhodnutí napadnout nebo vyžadovat zdůvodnění takového rozhodnutí.

Právní rovina povinnosti informovat o použití AI

Právní úprava práva na informaci o použití AI a práva na vysvětlení není úplně jednoduchá a odvíjí se od rizikovosti použitého systému AI a interpretace rozsahu poučovací povinnosti podle § 31 zákona č. 372/2011 Sb., o zdravotních službách (dále jen „ZZS“) v souvislosti s udělením souhlasu s poskytováním zdravotních služeb. Základ právní úpravy je nutno hledat v Nařízení EU –⁠ Aktu o umělé inteligenci a stranou nelze ponechat ani Rámcovou úmluvu Rady Evropy o umělé inteligenci a lidských právech, demokracii a právním státu (dále jen „Rámcová úmluva Rady Evropy o umělé inteligenci“). V některých případech bude ve vztahu k informacím o užití AI a zpracování dat jejím prostřednictvím důležité i Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (GDPR). Ve vnitrostátní legislativě je nutno vycházet z úpravy ZZS a podpůrně i z ustanovení občanského zákoníku regulujícího poučovací povinnost v rámci smlouvy o péči o zdraví (§ 2638 a násl. OZ).

Akt o umělé inteligenci –⁠ s tím, že povinnosti informovat o použití AI se převážně váží na nabytí účinnosti většiny ustanovení tohoto právního předpisu, tj. k 2. 8. 2026 –⁠ stanoví zvláštní požadavky pro poskytovatele zdravotních služeb, zejména pro systémy s vysokým rizikem, kam spadá řada medicínských AI aplikací.

Systémy AI s vysokým rizikem (čl. 6) musejí splňovat určité požadavky na bezpečnost a kvalitu a jejich provozovatelé mají zvláštní povinnosti ohledně jejich používání. V oblasti zdravotnictví se tyto povinnosti vztahují především na zdravotnické prostředky využívající AI, jež musejí podle Nařízení Evropského parlamentu a Rady (EU) 2017/745 ze dne 5. dubna 2017 o zdravotnických prostředcích (dále jen „Nařízení o zdravotnických prostředcích“) projít posouzením shody třetí stranou (čl. 6 Aktu o umělé inteligenci ve spojení s článkem 52 Nařízení o zdravotnických prostředcích). Obecně to znamená, že za systémy AI s vysokým rizikem se považují pouze zdravotnické prostředky třídy rizika IIa nebo vyšší, používané pro lékařské účely, jako je diagnostika, prevence, monitorování, predikce, prognóza, léčba či zmírňování nemocí, poranění nebo zdravotního postižení, pokud využívají AI. Současně jsou podle přílohy III za systémy s vysokým rizikem považovány systémy AI určené k použití za účelem hodnocení a klasifikace tísňových volání fyzických osob nebo za účelem vysílání či stanovení priority při vysílání zásahových služeb první reakce (včetně policie, hasičů a lékařské pomoci) a systémy třídění pacientů v krizových situacích.

Ačkoliv Akt o umělé inteligenci stanoví pro zavádějící subjekty řadu povinností souvisejících s užitím AI s vysokým rizikem, nikde nestanoví povinnost zavádějícího subjektu (poskytovatele zdravotních služeb) informovat pacienta o užití AI při poskytování zdravotní péče ani povinnost vysvětlit, jak a proč AI přispěla k rozhodnutí, které ovlivňuje zdravotní péči o něj.

Výjimku představuje čl. 26, který stanoví povinnost poskytnout informaci u subjektů, které zavádějí vysoce rizikové systémy AI uvedené v příloze III, jež přijímají rozhodnutí nebo pomáhají při přijímání rozhodnutí týkajících se fyzických osob –⁠ v těchto případech musejí být podle bodu 11 tohoto článku pacienti informováni, že jsou vystaveni použití vysoce rizikového systému AI. Návazně na tuto úpravu zakotvuje čl. 86 právo na vysvětlení rozhodnutí v konkrétním případě. Dopad výslovné úpravy práva na informaci a vysvětlení však bude v praxi velmi omezený, neboť se vztahuje pouze na rozhodnutí, které přijal zavádějící subjekt na základě výstupu z vysoce rizikového systému AI uvedeného v příloze III a, jež má právní účinky nebo se dotčené osoby podobně významně dotýká způsobem, o němž se tato osoba domnívá, že má nepříznivý dopad na její zdraví, bezpečnost či základní práva. Pouze v těchto případech má osoba právo získat od zavádějícího subjektu jasná a smysluplná vysvětlení ohledně úlohy tohoto systému AI v rozhodovacím postupu a v hlavních prvcích přijatého rozhodnutí –⁠ mohlo by se jednat například o rozhodnutí provedená v rámci triáže pacientů.

V ostatních případech použití vysoce rizikového systému AI právo na informaci ani právo na vysvětlení výslovně zakotveno není. Další –⁠ velmi omezená –⁠ výjimka je upravena v čl. 50, kde se stanoví, že poskytovatelé zajistí, aby systémy AI určené k přímé interakci s fyzickými osobami byly navrhovány a vyvíjeny tak, že dotčené fyzické osoby budou vyrozuměny o tom, že komunikují se systémem AI, není-li tato skutečnost zřejmá z pohledu fyzické osoby, která je přiměřeně informovaná, pozorná a obezřetná, při zohlednění okolností a kontextu použití. Tato informační povinnost je ale směřována pouze vůči poskytovatelům, nikoliv zavádějícím subjektům, a proto se tato povinnost poskytovatelů zdravotních služeb většinou týkat nebude. V praxi by tedy mělo být zřejmé, že pacienti například komunikují s chatboty.

Nepůjde-li tedy ve většině případů dovodit existenci práva na informaci a vysvětlení přímo z Aktu o umělé inteligenci, je nutné se dále ptát, zda lze tato práva dovodit z jiných právních předpisů. Základní otázkou tak je, zda tato práva nejsou inherentní součástí informovaného souhlasu s poskytováním zdravotních služeb. V obecné rovině je zřejmé, že jedním z významných statků chráněných při užití AI je autonomie člověka –⁠ viz čl. 7 Rámcové úmluvy Rady Evropy o umělé inteligenci.

Podle defaultní teorie autonomie Beauchampa a Childresse (15) je jednání autonomní, pokud osoba jedná „intencionálně, s porozuměním a bez ovládajících vlivů“. I právní teorie informovaného souhlasu (16) vycházejí z toho, že podstatnou podmínkou autonomního rozhodnutí je informovanost o okolnostech podstatných pro rozhodnutí. Proto čl. 5 Úmluvy o lidských právech a biomedicíně stanoví, že udělení informovaného souhlasu je podmíněno předchozí informací o účelu a povaze zákroku, jakož i o jeho důsledcích a rizicích. ZZS v § 31 zakotvuje povinnost poskytovatele zdravotních služeb zajistit, aby byl pacient srozumitelným způsobem v dostatečném rozsahu informován o svém zdravotním stavu a o navrženém individuálním léčebném postupu. Zpráva CDBIO (1) týkající se přímo problematiky užití AI při poskytování zdravotních služeb doporučuje v rámci respektu k autonomii pacienta informovat o užití AI: „Autonomie vyžaduje více informací, vysvětlení a transparentnosti, nikoliv méně. To rovněž zahrnuje, aby si pacienti byli vědomi, že komunikují s umělou inteligencí, a aby věděli, jak udělit souhlas –⁠ zejména v případech, kdy nasazení systémů umělé inteligence vede k poskytování zdravotní péče s menším zapojením lékaře nebo zcela bez něj.“ Nelze nezmínit metodický pokyn MZ ČR (15), který doporučuje transparentně informovat o použití AI systémů.

V rámci rozsahu poučovací povinnosti je zajímavé i rozhodnutí Nejvyššího soudu ČR č.j. 25 Cdo 410/2024-249, kdy se soud vyjádřil k problematice rozsahu poučení ve vztahu k rozsahu poučení o rizicích zákroku, ovšem ponechal stranou možnost se vyjádřit i k problematice poučení o alternativě (laparoskopické/robotické provedení zákroku) a nutnosti poučit o použití určitých technologií –⁠ tím by se mohlo rozhodnutí stát zajímavým interpretačním vodítkem pro užití AI při poskytování zdravotních služeb.

Ačkoliv tedy právo na informaci a vysvětlení o použití AI nelze nalézt v Aktu o umělé inteligenci ani dalších právních předpisech upravujících specificky užití AI, lze ho z našeho pohledu dovodit z široce chápaného pojetí informovaného souhlasu podle ZZS a Úmluvy o lidských právech a biomedicíně. Tento pohled podporuje také řada zahraničních názorů, kdy se autoři domnívají, že právo na informaci o užití AI je součástí informovaného souhlasu (16, 17).

VYMEZENÍ ROZSAHU POVINNOSTI POUČENÍ –⁠ MOŽNÁ DOPORUČENÍ PRO KLINICKOU PRAXI

Jak bylo uvedeno v předchozích pasážích tohoto článku, jsme přesvědčeni, že v určitých případech –⁠ z pohledu etického i právního –⁠ existuje právo pacienta na informaci a vysvětlení o použití AI a tomu odpovídající povinnost na straně zdravotnických pracovníků, respektive poskytovatelů zdravotních služeb. Toto právo, vzhledem k jeho problematickému zakotvení ve stávajících právních předpisech, ovšem není samozřejmé a s ohledem na účel informovaného souhlasu bude jeho existence a jeho případný rozsah záviset na důležitosti takové informace pro rozhodnutí pacienta o poskytování zdravotních služeb –⁠ s výjimkou práva na vysvětlení, které je pro specifické situace upraveno v čl. 86 Aktu o umělé inteligenci. Zcela zjevně je nutné rozlišovat případy, kdy bude AI použita pro kontrolu výsledků při popisu snímku radiologem, a dále případy, kdy bude AI hrát klíčovou roli při rozhodování. Pro klinickou praxi je takové rozlišování podstatné, neboť vymezuje samotnou existenci práva pacienta na informaci a práva na vysvětlení.

Někteří autoři navrhují odstupňování povinnosti informovat pacienta o použití AI podle míry významu, kterou má zapojení AI pro klinické rozhodnutí zdravotnického pracovníka, a hovoří o tzv. threshold-based framework for AI disclosure. Pflanzer (10) pak pracuje s nízkou mírou významu (low treshold) a vysokou mírou významu (high treshold) a dovozuje, že pokud je míra významu zapojení AI pro vlastní klinické rozhodnutí nulová či velmi nízká, neexistuje etická ani právní povinnost takovou informaci poskytnout. Opakem je potom situace, kdy zapojení AI výrazně ovlivňuje klinické rozhodnutí zdravotnického pracovníka nebo je klinické rozhodnutí učiněno primárně na základě tohoto zapojení. Příkladem zapojení AI s nízkým významem pro klinická rozhodnutí mohou být pomoc při vedení zdravotnické dokumentace, optimalizace administrativních procesů, předběžné vyhodnocení obrazových nálezů, podpora rozhodování podle standardních protokolů nebo automatická detekce abnormálních procesů. Příkladem, kdy zapojení AI výrazně ovlivňuje klinické rozhodnutí, naopak mohou být plně autonomní diagnostické systémy, prediktivní skórování rizik, vyhodnocování priorit při přijetí pacientů nebo chatboty poskytující psychologickou či terapeutickou podporu.

Podle našeho názoru lze při stanovení povinnosti poskytnout informace o použití AI skutečně vyjít z míry významu, kterou má zapojení AI pro klinické rozhodnutí zdravotnického pracovníka. Toto pojetí odpovídá etickým i právním požadavkům kladeným na poučení v rámci informovaného souhlasu při poskytování zdravotních služeb. Samozřejmě se tento přístup neuplatní tam, kde je povinnost informovat o použití AI nebo povinnost vysvětlení stanovena přímo právními předpisy upravujícími použití AI systémů.

Protože je v řadě případů použití AI systémů ve zdravotnictví teprve v začátcích, jsme přesvědčeni, že v současné době je z etického pohledu vhodné pacienta informovat o jakémkoliv zapojení AI, jež se dotýká poskytované zdravotní péče.

ZÁVĚR

Právo pacienta na informaci a vysvětlení o použití AI je velmi důležitým právem, jehož prostřednictvím se realizuje respekt k autonomii pacienta a vytváří důvěra ve vztahu lékař –⁠ pacient. V právní rovině není právo na informaci o použití AI v současné době zakotveno ani v Aktu o umělé inteligenci, ani v dalších právních předpisech upravujících specificky užití AI. Toto právo však lze dovodit z široce chápaného pojetí informovaného souhlasu.

Povinnost informovat o užití AI v kontextu informovaného souhlasu není bezvýjimečná –⁠ existence i rozsah této povinnosti se budou odvíjet z míry významu, kterou má zapojení AI pro klinické rozhodnutí zdravotnického pracovníka. Právo na vysvětlení je v Aktu o umělé inteligenci upraveno v čl. 86, ale pro oblast běžného poskytování zdravotních služeb má tato úprava velmi omezený význam.

Čestné prohlášení

Autoři práce prohlašují, že v souvislosti s tématem, vznikem a publikací tohoto článku nejsou ve střetu zájmů a vznik ani publikace článku nebyly podpořeny žádnou farmaceutickou firmou.

Seznam použitých zkratek

AI                umělá inteligence

Adresa pro korespondenci:

doc. JUDr. Tomáš Doležal, Ph.D., LL.M.