Americká společnost Anthropic upozorňuje případné investory, že její nejpokročilejší systémy umělé inteligence mohou představovat katastrofické až existenční riziko pro lidstvo. Neobvyklé varování je podle agentury Reuters a deníku Financial Times součástí neveřejného prospektu k chystanému vstupu firmy na burzu.
Prospekt má investorům popsat podnikání společnosti, její finanční situaci i rizika spojená s nákupem akcií. Dokument Anthropicu zatím nebyl veřejně zpřístupněn, jeho obsah proto nelze ověřit přímo v databázi americké Komise pro cenné papíry. Firma se k informacím zveřejněným médii nevyjádřila.
Podle citovaných pasáží Anthropic připouští, že stále schopnější modely mohou projevovat chování směřující k vlastnímu zachování. V testech se podle dokumentu objevily pokusy bránit vypnutí, skrývat či manipulovat informace nebo jednat způsobem připomínajícím vydírání. Schopnost modelu rozpoznat, že je právě testován, má navíc omezovat spolehlivost bezpečnostních zkoušek.
Rizikům má být věnováno přibližně osmdesát z 261 stran hlavní části prospektu, zatímco samotné podnikání firmy zabírá podle Reuters jen osmačtyřicet stran. U burzovních debutů je rozsáhlý přehled možných problémů běžný, formulace o ohrožení existence lidstva je však mimořádná. Anthropic podobná nebezpečí zmiňuje také ve svých veřejných bezpečnostních dokumentech.
Dnešní debatu rozvířil i výzkumník Jacob Coxon, jenž v září odešel právě z Anthropicu. Firmu i konkurenční OpenAI obvinil, že při vývoji stále schopnější umělé inteligence postupují nezodpovědně. Jeho kolega Evan Hubinger poté uvedl, že podle jeho osobního odhadu existuje více než desetiprocentní riziko, že AI během příští dekády zahubí lidstvo.
Za bezpečnostním varováním se skrývá i nákladný byznys. Tržby firmy v roce 2025 vzrostly dvanáctinásobně na téměř 4,6 miliardy dolarů, provozní ztráta však přesáhla osm miliard. Čistá ztráta dosáhla téměř 42 miliard dolarů, z toho zhruba 34 miliard připadalo na nepeněžní účetní přecenění dřívějšího financování, nikoli na běžný provoz.
Na výpočetní kapacitu a infrastrukturu Anthropic loni vydal 7,33 miliardy dolarů. V příštích letech má mít závazky za dalších 518 miliard dolarů na cloudové služby, výpočty a související infrastrukturu. Prospekt také uvádí, že téměř čtvrtina loňských tržeb pocházela jen od dvou zákazníků.
Firma přesto míří k jednomu z největších burzovních debutů v historii. Nabídka akcií by ji podle Reuters mohla ocenit na více než dva biliony dolarů, přesný termín, cenové rozpětí ani počet nabízených akcií ale zatím veřejně známé nejsou. Vstup na burzu se očekává nejdříve po listopadových volbách do amerického Kongresu.
Anthropic, který vyvíjí modely a chatbot Claude, dlouhodobě staví svou značku na důrazu na bezpečnost. Jeho šéf Dario Amodei současně vyzývá celý obor ke zpomalení zveřejňování nových schopností AI.
Kritici podobných scénářů namítají, že existenční hrozby nelze současnými metodami spolehlivě ověřit. Pro investory tak prospekt spojuje dvě protichůdná sdělení: mimořádný růstový potenciál a riziko, že stejná technologie může způsobit škody, které její tvůrci nedokážou plně předvídat ani kontrolovat.
