Americká vláda na konci minulého týdne šokovala trhy, když nařídila AI společnosti Anthropic, aby zabránila všem cizincům v přístupu k jejím novým modelům Claude Fable 5 a Mythos 5. Razantní krok Washington zdůvodnil obavami o národní bezpečnost.
Anthropic tak musel odepřít přístup k technologiím dokonce i některým svým zaměstnancům. Jsou ale zmiňované modely, zejména Fable, který je zeslabenou verzí Mythosu, opravdu takovou hrozbou pro USA? Co doopravdy umějí? A jaké bude mít americké rozhodnutí důsledky pro Evropu?
To rozebíráme s experty na umělou inteligenci Adamem Hankou, spoluautorem podcastu „Uhlík vs. Křemík“ a ředitelem dat a AI ve společnosti Creative Dock, a s Filipem Dřímalkou, zakladatelem společnosti Aibility a autorem knihy o umělé inteligenci a digitální ekonomice „Budoucnost nepráce“.
Jak si modely Fable 5 a Mythos 5 doopravdy stojí v porovnání s konkurencí a asijskými systémy, které nepodléhají žádným vládním restrikcím?
Dřímalka: Frontier modely jako Fable 5 jsou zatím nepřekonané, ať už podle žebříčků (třeba na artificialanalysis.ai), tak podle našich vlastních zkušeností. Některé takzvané open-weight modely (modely, které mohou firmy provozovat na vlastním hardwaru – pozn. red.) je ale dotahují. Není to však jednoduché, protože provoz těchto modelů je náročný na hardware a investice tak mohou být poměrně vysoké, a to při nižším výkonu a horších schopnostech.
Hanka: Asijské a zejména čínské modely typu DeepSeek, Qwen, Kimi nebo GLM se velmi rychle přibližují západní špičce a v některých oblastech jsou s nimi dokonce srovnatelné. Nicméně z porovnání vyplývá, že spíše postupně dosahují úrovně modelů jako GPT/Gemini, ne úrovně modelů jako Mythos. Existuje ale možnost, že někde v Číně existují laboratoře s pokročilejšími modely, které nejsou běžnému uživateli dostupné.
Které konkrétní kybernetické schopnosti Mythos 5 v současné době nahánějí vládám největší obavy?
Hanka: Jde hlavně o to, že Mythos byl cíleně vytrénovaný a udělaný tak, aby dokázal přečíst a analyzovat velké množství kódu a pracovat autonomně delší dobu. Díky tomu může pracovat i několik dní bez zásahu člověka a jeho kontroly.
Model si dokáže vytvořit hypotézu o zranitelnostech, tuto hypotézu následně otestovat, například tím, že v prostředí serveru vytvoří a spustí testovací instanci daného kódu, a po otestování této hypotézy pokračuje na další hypotézu. Běžný uživatel si dnes představuje pokrok v modelech jako „lepší odpovědi v ChatuGPT“, v tomto případě se ale jedná o komplexní agentní workflow, které vypadá, jako když ten chat zavoláte třeba tisíckrát za sebou.
Model díky tomu zvládá procházet rozsáhlé projekty a hledat vzorce, jejichž nalezení by týmu lidí bez AI trvalo týdny. Jenže u toho to nekončí, vzorce následně umějí zkombinovat, otestovat a analyzovat výsledky a propojovat dílčí nalezené slabiny do větších celků. Jinými slovy, do reálného scénáře útoku na systém.
Můžeme tedy Anthropicu věřit, že je Fable bezpečný?
Hanka: Tady je potřeba si říct, že dokonalá bezpečnost neexistuje, a to ani u AI modelů, ani u nožů u vás v kuchyni. Anthropic ale dokonalou bezpečnost modelů nedeklaruje. Tvrdí, že rizika spojená se zapojením modelu Fable jsou srovnatelná s riziky jiných modelů, které už jsou dnes produkčně nasazené.
Dřímalka: Každá firma vám bude říkat, že její produkty jsou bezpečné, takže je potřeba to brát s rezervou. Jestli ale na trhu existuje firma, která k AI přistupuje odpovědně, je to za mě Anthropic.
Jak účinné jsou pojistky a klasifikátory implementované ve variantě Fable 5?
Hanka: Žádné pojistky nejsou stoprocentně účinné, ale to není nic nového. Zároveň platí, že úspěšný jailbreak (postup, při němž jsou obcházeny ochranné mechanismy softwaru – pozn. red.) automaticky neznamená, že pojistky nefungují. Musíme rozlišovat mezi překonáním jedné nebo několika pojistek, a překonáním velkého množství či dokonce všech pojistek naráz.
Co se týče překonání ochrany, kvůli které vláda Spojených států nechala modely Fable a Mythos vypnout, Anthropic tvrdí, že šlo o úzký jailbreak a týkal se několika známých zranitelností. V tom bych mnohem více věřil firmě než administrativě prezidenta Donalda Trumpa.
Anthropic uvádí, že model Fable prošel tisíci hodinami testování týmy, které se pokoušely jeho ochranu prolomit. Byly mezi nimi mimo jiné týmy z vlády USA, britského vládního institutu pro bezpečnost umělé inteligence a další. Ty lze považovat za nezávislé experty. Žádnému z nich se během těchto tisíců hodin testování nepodařilo najít způsob, jak ochranu modelu plošně obejít.
Dřímalka: Případů, kdy lidé dokázali obejít guardrails (technické a procesní mechanismy, které vymezují bezpečné chování systémů umělé inteligence – pozn. red.) velkých firem, je ale celá řada, takže bych byl opatrný i v tomto případě.
A co říkáte na argument bezpečnostních expertů, že globální pozastavení přístupu k nejlepším modelům vzalo nejlepší modely obráncům kybernetické bezpečnosti?
Hanka: Tento argument je do jisté míry pravdivý, nicméně dvousečný. Kybernetická bezpečnost je hra na kočku a na myš a obránci jsou v této hře vždy v nevýhodě – ti totiž musejí postupně opravovat všechny chyby, zatímco útočníkovi stačí najít jednu zranitelnost.
Takže ano, platí argument, že útočník používá stejný nástroj k hledání zranitelností a obránce naopak na jejich záplatování. Pokud však budeme vycházet z toho, že momentálně existuje velké množství zranitelností, dává silnější nástroj do rukou větší moc útočníkům – právě proto, že těm stačí objevit první dostupnou zranitelnost.
Dřímalka: Stejné schopnosti, které dnes pomáhají hledat zranitelnosti a testovat jejich dopad, mohou pomáhat i s jejich opravou. Když přístup k nim vypnete, obránce, který si ho zabudoval do procesů, o nástroj přijde, zatímco útočníkům často zůstanou alternativy.
V našem regionu máme silné zázemí i talenty a měli bychom na tom stavět, protože nejde jen o modely, ale hlavně o jejich dostupnost a kontrolu. Klíčové je ale ještě něco jiného. Z hlediska bezpečnosti přestává být využívání nejnovějších frontier modelů a špičkových bezpečnostních služeb volitelným doplňkem. Je to pevná součást řízení rizik s plnou odpovědností managementu firem.
A co by si z uvedeného incidentu měla vzít Evropa?
Hanka: Vláda Spojených států překročila pomyslnou hranici, kdy zasahuje do toho, který model bude komu dostupný. Potvrdila tím obavy, že závislost na mimoevropské technologii je pro nás ohromným bezpečnostním rizikem a velkou zranitelností.
Dalším velkým problémem je samozřejmě to, s jakou svévolí americká vláda jedná a nelze vyloučit, že jde o pomstu Anthropicu za to, že odmítl podepsat smlouvu na vojenské využití umělé inteligence.
Dřímalka: Vývoj top modelů už dávno nestojí jen na kapitálu a talentu. Čím dál tím víc jde o to, využít nejlepší modely k vývoji dalších generací, a tam se náskok dohání hodně obtížně. K tomu se přidává hardware, tedy datacentra a energie, u kterých se už dnes řeší podobné geopolitické restrikce jako u samotných modelů. A pak je tu Evropa, která namísto toho, aby využila svůj kapitál a přilákala nejlepší talenty, tráví čas stavěním bariér.
Hanka: Evropa musí do technologií, vědy a výzkumu investovat více, to je jasné, ale současná situace je způsobena také tím, že v Evropě jednoduše chybí společný kapitálový trh, kde se dá shromáždit dostatečný kapitál pro soukromé subjekty, které by vyvíjely AI – například tak, jak se to podařilo Anthropicu a dalším americkým firmám.
Dřímalka: Není to ale rozhodně důvod k rezignaci. Je možné, že lokální nebo open-weight modely časem úroveň špičkových modelů doženou. Jak se navíc ukazuje už dnes, podobné kvality může jít dosáhnout i chytrým kombinováním více modelů. I proto bychom se měli jako Evropa snažit získat alespoň částečnou technologickou nezávislost.
