Vývoj umělé inteligence podle šéfa společnosti Anthropic Daria Amodeiho postupuje příliš rychle. Bezpečnostní opatření ani regulace podle něj nestačí držet krok s tím, jak rychle se schopnosti AI systémů zvyšují.
Pokud bude tento trend pokračovat, autonomní systémy by podle Amodeiho mohly už během několika měsíců ohrozit významnou část internetové infrastruktury.
Své obavy Amodei popsal v eseji We Must Pace the Frontier. V ní navrhuje, aby firmy pracující na nejpokročilejších modelech vývoj zpomalily a umožnily nezávislým odborníkům průběžně kontrolovat jejich systémy.
Nezávislí auditoři by měli sledovat, zda společnosti dodržují bezpečnostní pravidla, prověřovat případné incidenty a posuzovat, jestli modely při trénování zůstávají v souladu s předem stanovenými hodnotami.
Anthropic se podle Amodeiho k tomuto závazku přihlásí i v případě, že se k němu další firmy nepřipojí. Nezávislé kontroly by navíc neměly probíhat jen v předem určených termínech, ale kdykoli to bude potřeba.
Amodei zároveň upozornil na rychlejší zdokonalování AI systémů, které podle něj v posledních měsících nabralo na intenzitě. Takzvané rekurzivní sebezdokonalování by mohlo postupně překonat schopnost vývojářů rozumět modelům a udržet nad nimi kontrolu.
„Musíme zpomalit tempo, kterým zlepšujeme schopnosti modelů umělé inteligence. Pokrok bude i nadále působit rychle a musíme moudře využít čas, který tím získáme,“ napsal Amodei.
Za nejzávažnější důsledky příliš rychlého vývoje považuje ztrátu kontroly nad AI systémy, kybernetické útoky, bioterorismus nebo rozsáhlé ekonomické otřesy. Varuje také před možností, že autonomní boti převezmou významné části internetu.
Firmy by podle něj neměly soupeřit pouze v rychlosti vývoje, ale měly by hledat takzvané „vyvážené tempo“. Čas získaný pomalejším postupem by mohl posloužit k posílení ochrany modelů i k vytvoření společných bezpečnostních standardů, které by platily napříč odvětvím.
Jeho návrh si rychle získal podporu některých výrazných osobností technologického průmyslu. Šéf OpenAI Sam Altman na sociální síti X uvedl, že s potřebou regulovat tempo vývoje nejpokročilejších systémů souhlasí.
„Souhlasím s Dariem, že musíme regulovat tempo vývoje na hranici možností AI,“ napsal Altman. „Závazek umožnit nezávislým hodnotitelům přístup na úrovni zaměstnanců je skvělý nápad a uděláme totéž. Brzy sdělíme více.“
Zakladatel konkurenční společnosti xAI Elon Musk reagoval stručně: „Dario má pravdu.“ Výzkumník OpenAI Aidan McLaughlin označil Amodeiho esej za „vynikající“ a dodal, že s ní souhlasí „v podstatě s každým jeho slovem“.
Vedle bezpečnostního rozměru může mít veřejná iniciativa i další dopady. Anthropic působí v mimořádně konkurenčním a kapitálově náročném odvětví, v němž firmy soupeří nejen o technologický náskok, ale také o důvěru investorů a veřejnosti. Opakovaná upozornění na rizika AI tak mohou současně posilovat obraz společnosti jako odpovědnějšího a obezřetnějšího hráče.
