Únik z vězení, po němž následovala krádež a zapojení FBI. To není nejnovější akční film z Hollywoodu, ale poslední test umělé inteligence, který se inženýrům z OpenAI nepovedl. AI poháněná cílem co nejefektivněji splnit svůj úkol se totiž zcela samostatně rozhodla napadnout jinou platformu.
Že už je umělá inteligence schopná i takovýchto věcí, vyděsilo mnohé – napadenou společnost Hugging Face, americké politiky i největší technologické firmy světa, jež se spojily, aby podobným hrozbám vzdorovaly společně. OpenAI přitom týden ani nevěděla, že se něco stalo.
Teď však Sam Altman, generální ředitel útočící společnosti, tvrdí, že jsme dosáhli singularity. „Na tohle jsem čekal celý život a myslím, že to bude úžasné, nesmírně pozitivní a pro celý svět skvělé,“ řekl v pondělí v podcastu Relentless. Proč má z vlastního selhání takovou radost?
Průběh hacku
Celá událost započala už 11. května, kdy výzkumníci z několika amerických akademických institucí společně s partnery ze společností Anthropic, OpenAI a Google publikovali srovnávací test ExploitGym.
Ten měl jednoduchý cíl – odhalit, zda velké jazykové modely dokážou přetvořit známé softwarové zranitelnosti ve funkční exploity. OpenAI tento test spustila 9. července, přičemž se společnost rozhodla vypnout část bezpečnostních mantinelů, aby odhalila skutečný potenciál dvou zkoušených modelů.
Nenechala je však úplně volné – počítač s AI směl komunikovat jen s jediným vnitřním serverem, který sloužil jako skladiště pro stahování běžných programových balíčků.
Přestože tak modely zůstaly v izolovaném prostředí, to je zastavilo pouze na dva dny. Jedenáctého července odhalily zranitelnost, díky níž převzaly nad serverem kontrolu a otevřely si vrátka na veřejný internet.
Jenže i tak modely vyhodnotily, že by luštění všech problémů zabralo příliš moc času a výkonu. Ve snaze splnit svůj úkol co nejefektivněji proto odhadly, že řešení testu bude hostovat platforma Hugging Face, kterou musejí pro jeho získání napadnout.
Zanedlouho do prostředí vnikl jejich škodlivý kód, čímž ovládly tamní počítač a získaly interní přihlašovací údaje. Agent se nakonec dostal k produkční databázi obsahující testovací řešení ExploitGym a odcizil tyto údaje společně s omezeným množstvím interních datových sad a servisních tokenů.
Systém odhalil napadení až později a firmě se následně podařilo izolovat kompromitovaná místa, odvolat získané přihlašovací údaje a opravit zranitelnosti.
Reakce
Šestnáctého července Hugging Face vydala první veřejné oznámení o útoku. Společnost incident oznámila i FBI s tím, že neví, kdo stojí za AI agentním systémem provádějícím tisíce automatizovaných úkonů.
Ještě déle však trvalo, než OpenAI došlo, co se stalo. Až týden po hacku inženýři při kontrole záznamů odhalili, že za útok mohli oni. Teprve po dalších pár dnech to oznámili Hugging Face.
I tady ale AI potrápila – když se napadená společnost pokusila vložit záznam více než sedmnácti tisíc automatizovaných kroků do volně dostupných modelů, ty jí odmítly pomoci s jeho rozklíčováním s tím, že nesmějí hackovat.
Po odhalení navíc generální ředitel Hugging Face Clément Delangue vyzval k „radikální transparentnosti“ ve vyšetřování a na OpenAI se obrátil s požadavkem, aby darovala výpočetní výkon v hodnotě sta milionů dolarů na vybudování obrany proti budoucím hrozbám ze strany autonomní umělé inteligence.
Mezinárodní obavy
Zděšení vyvolal incident také ve společnostech jako Nvidia, SpaceX nebo Microsoft, které v pondělí založily sdružení Open Secure AI Alliance. To se zaměří na vývoj a sdílení vlastních nástrojů umělé inteligence pro kybernetickou obranu a zajistí, že bezpečnostní týmy nikdy neztratí přístup ke svým vlastním diagnostickým nástrojům během aktivní hrozby.
OpenAI okamžitě pozastavila podobné kybernetické testování a společně s dalšími AI společnostmi přepracovává způsob hodnocení modelů.
Situace donutila ke spolupráci i politické rivaly. Demokratický kongresman z Kalifornie Ted Lieu a republikánský z Texasu Nathaniel Moran navrhli zákon o nouzovém vypínači pro umělou inteligenci. Ten ukládá vývojářům umělé inteligence povinnost zachovat si technickou schopnost zpomalit, pozastavit nebo vypnout výkonné modely.
Pokud by zákon prošel, dávalo by to ministerstvu vnitřní bezpečnosti možnost nařídit zastavení či omezení provozu AI systémů, u nichž se předpokládá, že by mohly způsobit katastrofální škody.
Máme se strachovat?
Rozhodně to není překvapivé, myslí si Will Douglas Heaven z publikace MIT Technology Review, podle něhož mohla přesně něco takového OpenAI očekávat.
Společnost ostatně už sama před dekádou informovala o případu, kdy umělá inteligence ve videohře záměrně jezdila protisměrem a narážela, čímž dosáhla vyššího skóre, než kdyby hrála normálně.
„Ačkoli je takové chování v kontextu videohry neškodné a zábavné, poukazuje na obecnější problém… Často je obtížné nebo nemožné přesně zachytit, co přesně chceme, aby agent udělal,“ napsala tehdy společnost.
Jenže přestože to i v Heavenovi vyvolává obavy, někteří si nejsou slovy OpenAI zcela jistí. Může za to například to, že společnost už několikrát označila své modely za příliš nebezpečné, a odmítla je proto zpřístupnit veřejnosti.
To už několikrát u investorů zafungovalo – například v roce 2019, kdy po takovém oznámení o modelu GPT-2 získala od Microsoftu investici ve výši jedné miliardy dolarů.
„Kdyby modely OpenAI skutečně narušovaly fungování jiných amerických společností, představovalo by to tak závažnou hrozbu pro hospodářskou činnost, že by ji každé ministerstvo spravedlnosti, které si zaslouží své jméno, chtělo zastavit,“ komentuje dnešní případ Joe Wilkins z magazínu Futurism.
Skepsi to vyvolává i proto, že stejnou strategii volí také další firmy zabývající se AI. Například Anthropic v dubnu varoval před svým modelem Mythos, který je podle něj tak nebezpečný, že se nesmí dostat mezi běžné smrtelníky.
Microsoft pak toto pondělí oznámil, že jeho model MAI-Cyber-1-Flash je mnohem silnější než Mythos i útočník GPT-5.6 Sol. Společnosti se tak neustále předhánějí v tom, kdo je nejnebezpečnější.
