Kedy vypnúť nebezpečnú AI? Pri miliardovej škode alebo smrti aspoň 50 ľudí

Anthropic navrhuje pravidlá pre súdny zásah proti nebezpečným modelom AI

Spoločnosť Anthropic, ktorá stojí za AI Claude, navrhuje pravidlá, ktoré by americkej vláde umožnili požiadať súd o zastavenie nebezpečného modelu umelej inteligencie. Zásah by bol viazaný na predvídateľné a bezprostredné riziko katastrofy. Pracovný návrh však zároveň stanovuje úzke podmienky, za ktorých by štát mohol konať.

O dokumente, ktorý firma predstavovala zákonodarcom, informoval portál Politico. Podľa jeho zistení by príslušný mechanizmus umožnil zablokovať uvedenie alebo používanie modelu pri hrozbe škôd presahujúcich miliardu dolárov alebo smrti či vážneho zranenia viac než 50 ľudí. Neznamená to, že úrady majú čakať, kým takéto následky skutočne nastanú.

Hrozba by navyše musela súvisieť s vytvorením alebo vypustením biologickej zbrane, kybernetickým útokom alebo obídením kontrolných mechanizmov vývojára. Samotné splnenie číselnej hranice by preto automatické vypnutie systému nespustilo.

Riziká by posudzovali nezávislí hodnotitelia registrovaní pri americkom ministerstve obchodu. Pri zistení bezprostrednej hrozby by ju museli oznámiť do 72 hodín od dokončenia hodnotenia. Ministerstvo by následne mohlo požiadať federálny súd v District of Columbia o pozastavenie modelu.

Práve rozdelenie právomocí je podstatnou súčasťou návrhu. Podľa zverejneného opisu by ostatné federálne úrady nemohli samostatne nariadiť pozastavenie vývoja, nasadzovania alebo interného používania modelu. Nejde teda iba o vytvorenie možnosti zasiahnuť, ale aj o obmedzenie toho, kto a za akých podmienok ju môže využiť.

Nadväznosť na rámec Advanced AI Framework

Anthropic spája návrh so svojím verejným dokumentom Advanced AI Framework z júna 2026. Ten presadzuje testovanie najpokročilejších modelov, externé hodnotenie bezpečnosti a pravidelné zverejňovanie rizík. Vývojári by mali publikovať bezpečnostné postupy, dokumentáciu k významným zmenám modelov a najmenej raz za šesť mesiacov správu o rizikách.

Rámec počíta aj s ochranou zamestnancov upozorňujúcich na problémy a sankciami za zavádzajúce vyhlásenia či nesplnené povinnosti.

Otvorenou otázkou zostáva nezávislosť hodnotiteľov

Verejný rámec výslovne upozorňuje na riziko, že si firmy vyberú posudzovateľa s najmiernejšími nárokmi. Navrhuje preto kontrolu konfliktov záujmov, hodnotenie kvality práce a spoločné financovanie, ktoré by znížilo závislosť od konkrétneho vývojára.

Číselné hranice pritom nevyriešia, ako spoľahlivo predpovedať budúce následky. Rozhodujúca bude kvalita testov, prístup hodnotiteľov k modelom a schopnosť úradov vyhodnotiť dôkazy včas.