Hawthornský efekt aneb zázraky se dějí – hlavně když se někdo dívá

Každý z nás už se jistě na některé odborné akci setkal s prezentací „zázračných“ výsledků studií, kdy například přidání určité další intervence do procedury ošetření pacienta nejenže nevedlo k prodloužení celkové doby ošetření, ale naopak k jejímu zkrácení vůči historickým časům. Logicky pak z takového výsledku vyplývá, že „čím víc toho s pacientem udělám, tím rychlejší ošetření bude“ – což asi nebude tak úplně pravda. Naposledy mě tohle téma napadlo při poslechu jedné přednášky australských autorů na kongresu EMS 2019 v Madridu, kterým po složitém statistickém porovnání nově měřených dat o použití AED vyšlo, že pokud defibrilaci provede laik AEDčkem, jsou výsledky významně lepší, než pokud (podle historických kontrol) v tomtéž čase defibrilovala záchranka. Vymýšlí si tedy výzkumníci? Ne, jen se stali obětí Hawthornského efektu.

Hawthornský efekt, popsaný poprvé ve třicátých letech minulého století profesorem Mayem z Harwardu, je sociálně-psychologický pojem popisující změny v chování účastníků výzkumné studie – ve stručnosti se dá popsat slovy „když vím, že se někdo dívá, dělám svoji práci lépe“.

To je samozřejmě jev, který je z běžného života notoricky známý a přirozený. Málo si ale uvědomujeme, jak zásadní vliv má na vznik a průběh nejrůznějších studií, kdy na základě skvělých výsledků nadšených propagátorů určité metody měníme svoji praxi, abychom za pár let zjistilili… že „to“ nefunguje zdaleka tak krásně (pokud vůbec), jak se ze začátku zdálo. Zcela namátkou – vzpomeňme nedávné nadšení pro hypotermii po resuscitacích, mechanizovanou resuscitaci, kortikody u kraniotrumat či stávající okouzlení kysleninou tramexanovou, ale našli bychom i mraky dalších příkladů.

Nejvíce „v ohrožení“ jsou potom studie, srovnávající novou metodu s historickými, rutinně sbíranými daty. Zcela typicky tak nastává situace, že ve skutečnosti studie nezjišťuje ani tak vliv nové metody, jako spíš rozdíl mezi výsledkem rutinní práce a práce „když se někdo dívá“. V krajním případě může dokonce dojít k tomu, že skutečný vliv nové metody je negativní, ale Hawthornský fenomén „převáží“ výsledek na pozitivní stranu.

A je to přesně důvod, proč je nutné si dávat velký pozor na to, kdo a jak výsledky prezentuje. Medicína totiž není černobílá. Každý pacient je jiný a i většina objektivních měření má subjektivní složku (třeba i obyčejné měření krevního tlaku). To vytváří prostor pro určité podvědomé zkreslení. Pokud se zkoumáním nové metody zabývá její nadšený propagátor, je tedy zcela přirozené (a vůbec nejde o nějaký zlý úmysl, ale zpravidla o podvědomé konání), že:

  • optimalizuje svůj postup na dosažení co největšího zlepšení v parametrech, které jsou sledované (byť třeba na úkor jiných aspektů, které ale ve studii sledované nejsou);
  • pokud jsou výsledky byť i částečně hodnocené subjektivně, výsledky v experimentální skupině mohou být favorizované (např. položením sugestivní otázky – srovnej „Změnila se nějak bolest po podání léku?“ vs. „Už vás to bolí méně, že?“)
  • vybírá do studie takové pacienty, kde je největší naděje na dosažení žádaného efektu;
  • vylučovací kritéria jsou přísněji uplatňovaná tehdy, pokud metoda nemá očekávaný efekt, a naopak benevolentněji tam, kde efekt má;
  • pracuje pečlivě a dává si záležet i na takových detailech, které jsou v obecné praxi nedosažitelné;
  • data jsou interpretovaná manipulativně („předtím pouhých 29%, ale nyní plná třetina…“);
  • v některých případech může hrát svoji roli (byť i nepřímá) pozitivní motivace výrobce léků, přístrojů či pomůcek.

Poznámka: Hawthornský efekt platí samozřejmě i „naopak“ – pokud novou metodu hodnotí někdo, kdo jí není příliš nakloněn, zkreslení může být přesně opačné. U pilotních studií to ale není příliš obvyklá situace.

Ve výše uvedeném příkladu tedy samozřejmě přidání nové intervence neurychluje ošetření pacienta – naprosto logicky ho musí zpomalit – ale tým, který ví, že čas ošetřování je předmětem měření, zkrátka pracuje celkově rychleji a racionálněji, což nakonec může eliminovat zdržení, dané novou procedurou.

Obdobně řada nadějných pomůcek, které měly zvýšit kvalitu resuscitace (např. resuscitační zvon, ITD…) v praxi neuspěla, přestože v pilotních pokusech byly výsledky více než slibné. Jenže to záchranáři věděli, že kvalitu jejich resuscitace někdo měří, a dodržovali její metodiku daleko lépe. Zlepšení tak tedy bylo způsobeno spíše pečlivějším dodržením metodiky, než novou pomůckou. A podobných příkladů, kdy nová nadějná metoda v rukou jejího propagátora perfektně fungovala, ale v rutinním provozu zcela selhala, existuje celá řada.

A jaké je zásadní poučení?

Budiž sláva všem nadšeným výzkumníkům, ale současně je potřeba akceptovat, že čím větší nadšení, tím větší náchylnost k ovlivnění Hawthornským efektem, a to včetně ovlivnění celých týmů. Proto budiž sláva i skeptikům, kteří v roli recenzentů („ďáblova advokáta“) hledají všechny možné způsoby vysvětlení skvělých výsledků. Jen konstruktivní a poctivou diskuzí a zvažováním všech variant se totiž dá včas předejít velkým ekonomických, ale i morálním škodám, když se po nasazení velkého úsilí a spousty peněz ukáže, že nová metoda nefunguje podle představ. Odtud už je totiž jen krůček k absurdním, ale z praxe známým situacím typu „víme že to nefunguje, ale musíme se tvářit, že je všechno v pořádku, aby nám někdo nevyčítal chybnou investici“.

Výsledky pilotních studií by proto měly být především prezentovány korektně – tj. tak, že danou metodu JE MOŽNÉ používat (samozřejmě, pokud se ukáže, že to doopravdy je možné), což ale ještě neznamená, že JE LEPŠÍ než stávající stav, i když se tak výsledky na první pohled jeví.

Na průkaz toho, co je pro pacienta doopravdy přínosem, bychom měli být schopni připravit studie, prováděné v běžném provozu širším týmem, ideálně randomizovaně a v podmínkách „slepého“ pokusu. A hlavně – cílem naší snahy by mělo být zlepšení systému a ne soutěž v tom, kdo si JAKO PRVNÍ koupí dražší přístroj, aplikuje nový lék nebo polepí sanitku barevnějšími kostičkami. A to zatím zdaleka není tak samozřejmé, jak to na první pohled vypadá.

(c) Ondřej Franěk, www.zachrannasluzba.cz