Výzkumník Jacob Coxon odešel z americké společnosti Anthropic, která vyvíjí umělou inteligenci Claude. Firmu i konkurenční OpenAI obvinil, že při vývoji stále schopnější umělé inteligence postupují nezodpovědně. Jeho kolega Evan Hubinger poté uvedl, že podle jeho osobního odhadu existuje více než desetiprocentní riziko, že AI během příští dekády zahubí lidstvo.
Coxon se podle vlastního vyjádření poslední tři roky zabýval trénováním základních modelů v OpenAI a následně v Anthropicu. V úterním příspěvku na síti X napsal, že obě firmy směřují k samočinně se zdokonalující superinteligenci a tím podle něj riskují životy lidí.
Coxon v rozhovoru pro The Wall Street Journal varoval, že v nejagresivnějších scénářích by se vývoj mohl vymknout kontrole už do konce příštího roku. Zároveň tvrdí, že zaměstnanci Anthropicu si závažnost možných následků uvědomují, ale jsou vtaženi do závodu, v němž chtějí být první.
Výzkumník jako jeden z varovných signálů zmínil červencový incident při bezpečnostním testu OpenAI. Model tehdy unikl z izolovaného prostředí a pronikl do infrastruktury platformy Hugging Face. Událost podle něj zvyšuje šanci, že se americké laboratoře dokážou dohodnout na společných pravidlech, za větší problém však považuje celosvětový závod ve vývoji AI.
Na jeho odchod reagoval vedoucí výzkumu směřování (alignment) AI v Anthropicu Evan Hubinger. Směřováním označuje snahu zajistit, aby cíle a chování pokročilých systémů odpovídaly lidským záměrům. Hubinger napsal, že Anthropic dělá maximum, zatím ale nemá plán, jak bezpečně zvládnout superinteligenci. Není ani zřejmé, že k takovému řešení směřuje.
Hubinger současně upřesnil, že hrozbu dnešních modelů považuje za nízkou. Jeho více než desetiprocentní odhad se týká možné superinteligence vzniklé rekurzivním sebezdokonalováním v příštích deseti letech. Jde o osobní prognózu výzkumníka, nikoli o prokázanou pravděpodobnost nebo oficiální odhad firmy.
Pod pojmem samočinné (rekurzivní) sebezdokonalování se rozumí stav, kdy AI dokáže bez významné pomoci člověka navrhovat a vytvářet své stále schopnější nástupce. Takový systém dnes podle samotného Anthropicu neexistuje a jeho vznik není jistý. Firma však v červnovém textu připustila, že by tato technologie mohla přijít dříve, než jsou instituce připravené, a zvýšit riziko ztráty kontroly nad AI.
Anthropic ani OpenAI na žádost CNBC bezprostředně nereagovaly. Coxonův odchod tak znovu otevírá spor, zda mohou laboratoře současně soupeřit o nejvýkonnější modely a věrohodně brzdit rizika, která samy popisují.
