AI naletela na vymyslenú chorobu. Do pasce vedcov sa chytili aj chatboty
AI naletela na vymyslenú chorobu a rozdávala zdravotné rady. Do pasce vedcov sa chytili aj popredné chatboty
Ochorenie malo príznaky, vedecké texty aj svoju históriu. Švédski vedci na internete vytvorili stopu po chorobe, ktorá v skutočnosti neexistovala. Potom čakali, ako zareaguje AI.
Švédski vedci vymysleli chorobu, ktorá nikdy neexistovala, a následne sledovali, čo s informáciami o nej urobia systémy umelej inteligencie. Experiment ukázal znepokojivý výsledok. ChatGPT, Gemini, Copilot či Perplexity určitý čas prezentovali bixonimániu ako skutočné ochorenie.
Bixonimánia mala byť údajne ochorením súvisiacim s vystavením modrému svetlu z obrazoviek. Medzi jej vymyslené príznaky patrili napríklad začervenané viečka či tmavé kruhy okolo očí. Chorobu vytvorila Almira Osmanovic Thunström z Univerzity v Göteborgu spolu s kolegami.
Vedci vytvorili falošnú stopu
Výskumníci začali informácie o bixonimánii šíriť v roku 2024. Na internete zverejnili blogové príspevky a dve vedecky pôsobiace práce na serveri pre preprinty, teda články, ktoré ešte neprešli odborným recenzným konaním.
Falošné materiály pritom obsahovali množstvo signálov, že nejde o skutočný vedecký výskum. Objavili sa v nich napríklad vymyslení autori či neexistujúce inštitúcie. Jeden z textov dokonca obsahoval priamo upozornenie, že ide o výmysel.
Ďalšie indície boli ešte absurdnejšie. Autori napríklad ďakovali za podporu postavám či miestam zo sveta Pána prsteňov alebo sci-fi seriálu Star Trek. Napriek tomu sa informácie dostali do databáz, z ktorých čerpali jazykové modely. A tie pascu neodhalili.
AI neodhalila podvod
Chatboty začali bixonimániu opisovať ako skutočné ochorenie. Microsoft Copilot ju označoval za relatívne zriedkavé ochorenie, Gemini ju spájal s nadmerným vystavením modrému svetlu a ChatGPT používateľom dokonca pomáhal posudzovať, či ich príznaky môžu s vymyslenou chorobou súvisieť.
Experiment tak ukázal jeden z problémov súčasných jazykových modelov. Systém nemusí automaticky rozpoznať, že informácia je nepravdivá len preto, že pochádza z nespoľahlivého alebo falošného zdroja. Naopak, ak je podaná vo forme vedeckého textu a pôsobí autoritatívne, môže jej pripísať väčšiu dôveryhodnosť.
Podobný problém zachytáva aj novšia štúdia publikovaná v časopise The Lancet Digital Health. Výskumníci testovali veľké jazykové modely na falošných zdravotníckych tvrdeniach a zistili, že ich náchylnosť na prijatie nepravdivých informácií bola vyššia v prípade, keď boli formulované autoritatívnym či formálnym jazykom.
Na vymyslenú chorobu naleteli aj ľudia
Experiment však neukázal problém iba na strane umelej inteligencie. Falošné informácie o bixonimánii prevzali aj niektorí ľudia z vedeckého prostredia.
Časopis Smithsonian upozornil, že niektorí výskumníci citovali falošné práce vo vlastných textoch. To naznačuje, že ich pravdepodobne nečítali dostatočne pozorne. Pri dôkladnom preštudovaní by totiž podľa autorov experimentu bolo možné pomerne ľahko odhaliť, že ide o podvrh.
Jeden z falošných článkov sa dokonca dostal do skutočnej vedeckej publikácie. Neskôr bola práca stiahnutá.
Overovanie lekárskych rád od AI
Od uskutočnenia experimentu sa modely umelej inteligencie posunuli a pri zdravotných otázkach častejšie upozorňujú používateľov, že ich odpovede nenahrádzajú lekársku konzultáciu. Samotný prípad bixonimánie však podľa vedcov ukazuje, prečo nestačí slepo dôverovať presvedčivo znejúcej odpovedi.
Prípad je ukážkou toho, ako sa môže nesprávna informácia dostať do systémov umelej inteligencie a následne sa cez ne ďalej šíriť. Pri zdravotných otázkach preto zostáva dôležité overovať informácie aj mimo chatbotu – ideálne v dôveryhodných odborných zdrojoch alebo priamo u zdravotníka.
