Americká technologická firma Anthropic, která stojí za chatbotem Claude, zveřejnila zprávu o tom, jak lidé zneužívají umělou inteligenci způsobem, který by mohl posloužit k vývoji biologických zbraní. Za devět měsíců už odhalila pátý takový případ, přitom v dalších šesti případech s Claudem uživatelé vyvíjeli software pro konvenční zbraně. Anthropic sám označuje biologické zneužití za jedno z nejzávažnějších rizik současné AI.
Všech pět případů, kdy uživatelé používali model způsobem, který by mohl podpořit vývoj biologických zbraní, Anthropic bez výjimky zablokoval. Zároveň upozornil, že stejné znalosti mohou sloužit k vývoji vakcíny nebo léku, takže rozlišit legitimní výzkum od zneužití není jednoduché.
Šéf zpravodajské analýzy firmy Jacob Klein to pro New York Times popsal jako mimořádně nejednoznačnou situaci, protože nikdo do chatu nenapíše, že chce sestrojit zbraň a vyhubit lidstvo.
V šesti dalších případech uživatelé s Claudem vyvíjeli software pro konvenční zbraně, včetně střelných zbraní, raket, ozbrojených dronů a munice, a také pro zaměřovací a řídicí systémy.
Jedna hackerská skupina, jejíž postup odpovídá ruské Midnight Blizzard, si podle Anthropicu pomocí AI postavila systém, který sám rozpoznal, že bezpečnostní software odhalil jeho malware, a následně přepisoval kód tak dlouho, dokud detekci neobešel.
Model firmy využila také íránská propagandistická instituce. Mezi dalšími případy jsou falešné seznamovací aplikace, podvody přes hotelové Wi-Fi sítě nebo nástroje na sledování disidentů.
Zneužity byly modely Claude Haiku, Sonnet a Opus. Nejsilnějších modelů se zprávy podle Anthropicu netýkají, s jedinou výjimkou, kdy se je někdo pokusil použít k takzvané distilaci, tedy vytrénování menšího a levnějšího modelu na výstupech toho většího.
Pak je tady i otázka, jak moc umělá inteligence útočníkům reálně pomůže. Podle nedávné studie neziskové organizace Active Site, o níž psal týdeník The Economist, nepřinesly modely 153 laikům při laboratorních úkolech souvisejících s výrobou viru žádnou měřitelnou výhodu. Chatboty často vydávaly odpovědi, které zněly věrohodně, nicméně byly chybné.
K podobnému závěru došli i interní hodnotitelé Anthropicu, podle nichž modely sice pomáhají expertům pracovat rychleji, ale jejich postupy obsahují chyby, kvůli kterým by experiment v praxi selhal.
