Umělá inteligence za nás jednou možná vyřídí cestu do zahraničí od letenky až po potřebné dokumenty. Aby to dokázala, bude muset procházet weby a jednat naším jménem. Podle Petra Somola, ředitele vývoje AI ze společnosti Gen Digital, se tím ale otevírá nový bezpečnostní problém.
Na konferenci Forbes Next Big Thing, která se konala minulý týden v Brně, upozornil, co se může stát, když AI asistent začne při plnění našeho úkolu poslouchat někoho jiného.
Představte si, že zařizujete pracovní cestu do New Yorku. Dnes vás čeká hledání letenek, hotelu, kontrola platnosti pasu, vyřízení víz a dalších dokumentů. Jednou ale bude stačit říct do telefonu: „V tento den mám být v New Yorku. Zařiď to.“
Tak popsal Petr Somol z kyberbezpečnostní společnosti Gen Digital jednu z možností, které otevírají AI agenti. Na rozdíl od běžného chatbota dokážou nejen odpovědět na otázku, ale i vyhledávat informace a v propojených systémech provádět jednotlivé kroky. Člověku, který se nechce proklikávat aplikacemi a formuláři, by to mohlo výrazně usnadnit život.
Technologie podle Somola postupuje rychle, ve firmách už se agenti zavádějí. Pro běžné uživatele ale zatím nejsou dost spolehliví ani snadní na používání, aby jim mohli bez obav svěřit podobný úkol od začátku do konce.
Rozvojem AI agentů se zároveň otevírají nové možnosti pro kyberzločince. Ti už nemusejí přesvědčovat konkrétního člověka, aby klikl na podvodný odkaz nebo prozradil heslo. Mohou zkusit přesvědčit agenta, aby pokyn ukrytý v cizím obsahu považoval za součást svého zadání.
Pokyn schovaný v životopisu
Pro lepší pochopení Somol uvedl příklad z oblasti náboru zaměstnanců. „Pokud firma používá AI k třídění životopisů, uchazeč může do PDF vložit text, který lidský čtenář nevidí, ale nástroj jej přečte. Skrytý pokyn mu může říkat, aby kandidáta zařadil na první místo,“ popisuje odborník takzvaný prompt injection.
Podobný pokyn se může skrývat i na webové stránce, kterou agent navštíví při hledání informací. Výsledek pak závisí na tom, zda systém dokáže rozlišit obsah stránky od příkazu, který má skutečně poslechnout.
Nejde přitom jen o nový typ útoku. Podle Somola se s nástupem agentů mění i samotný internet. Zatímco dříve byl jeho hlavním uživatelem člověk, dnes stále větší část vyhledávání a práce s informacemi začínají provádět stroje mezi sebou. Přibývají proto služby a protokoly navržené přímo pro komunikaci mezi agentem a internetem.
Somol v tom vidí další fázi vývoje kybernetických hrozeb. Zatímco dříve útočníci mířili především na zařízení a později začali útočit přímo na lidi pomocí phishingu a podvodů, nyní se otevírá prostor pro útoky na autonomní systémy.
Agent totiž může být nejen cílem útoku, ale také prostředníkem, který útočníkovi sám provede požadovanou akci.
Foto Martin Svoboda
Dalším rizikem jsou takzvané skills: návody, někdy doplněné kódem, které agentům rozšiřují jejich schopnosti. Uživatel si je může stáhnout, aby mu agent pomohl s konkrétním úkolem. Takový návod může na první pohled dělat přesně to, co slibuje, a zároveň se pokusit získat přihlašovací údaje nebo odeslat citlivé informace jinam.
„Na internetu najdete na různých tržištích desítky, možná stovky tisíc takových skillů. Před pár měsíci jsme prakticky všechny prozkoumali a zjistili jsme, že dvanáct procent z nich je škodlivých,“ konstatuje expert.
Somol zmínil ještě jeden scénář, a tím jsou manipulace mezi samotnými agenty. „Pokud spolu systémy různých provozovatelů komunikují, mohl by se agent řízený útočníkem pokusit přimět jiného agenta, aby změnil postup proti vůli svého uživatele,“ popisuje útoky, které už se začínají objevovat.
Zatím jde ale především o problém firem a lidí, kteří s těmito systémy experimentují. Somol však očekává, že se agenti postupně dostanou i do běžných počítačů a telefonů.
Na závěr Petr Somol promluvil o dopadu AI na lidskou práci. Zrychlení některých činností ve firmách už je podle něj vidět. „Proměny na pracovním trhu nás čekají stoprocentně. Doufám ale, že to nebude tak agresivní, jak si někteří pesimisté myslí. Možná tam pořád vidím roli lidí jako dost významnou,“ uzavřel téma šéf vývoje AI v Gen Digital.
