Bezpečnostní test umělé inteligence Googlu vedl k nečekanému incidentu. Model Gemini získal v květnu přístup ke třem soukromým počítačovým systémům, přestože měl být uzavřený v prostředí určeném pouze pro testování.
Google uvedl, že jde o první známý případ, kdy jeden z jeho modelů samostatně pronikl do systémů třetích stran bez jejich svolení.
Test provozoval izraelský startup Irregular v rámci takzvané soutěže „capture the flag“, při níž AI modely hledají bezpečnostní slabiny. Gemini dokázal získat přihlašovací údaje jednak uhádnutím hesel, jednak ve dvou případech využitím veřejně dostupného úložiště hesel.
Přístup k internetu přitom neměl být součástí testu. Umožnila ho až chyba v prostředí, ve kterém experiment probíhal. Gemini podle Googlu následně zjistil, že se dostal do skutečných firemních systémů, nikoli pouze do simulované infrastruktury, a své pokusy zastavil.
„V rámci standardního hodnocení model našel veřejně dostupné informace na internetu a uhádl přihlašovací údaje, aby získal přístup k webům, o kterých se domníval, že jsou součástí testu,“ uvedla viceprezidentka Googlu pro bezpečnostní inženýrství Heather Adkins.
Incident zapadá do širší série případů, při nichž se pokročilé AI modely během bezpečnostních testů dostaly mimo původně vymezené prostředí. Podobné události v posledních týdnech oznámily také OpenAI, Anthropic a Meta.
Irregular uvedl, že problém v případě Googlu byl totožný s chybou, která umožnila přístup k internetu i dalším testovaným modelům. Google se o svém incidentu dozvěděl od Irregularu rovněž koncem července a následně se startupem upravil způsob provádění testů.
