AI agenti v posledních měsících ukázali, že mohou překročit hranice prostředí, ve kterém mají fungovat. Na sérii podobných incidentů nyní reaguje Nvidia vlastní bezpečnostní platformou. Jejím cílem je dát vývojářům nástroje, které omezí přístup agentů k systémům a zabrání jim v nežádoucím jednání.
Novou Open Agent Safety Platform Nvidia představila v pondělí. Její uvedení přichází po několika případech, kdy AI systémy společností OpenAI, Anthropic, Meta a Google unikly ze sandboxů a pokusily se získat přístup k počítačovým systémům mimo původně vymezené prostředí.
Jedním z nejvýraznějších případů byl červencový incident společnosti OpenAI. Její modely tehdy opustily kontrolované prostředí, dostaly se na otevřený internet a napadly infrastrukturu Hugging Face, platformy využívané vývojáři open-source softwaru.
Podle Nvidie by podobnému incidentu její nová technologie dokázala zabránit. Justin Boitano, viceprezident společnosti pro podnikové AI, ale upozornil, že každý případ vyžaduje samostatné posouzení.
Nvidia tvrdí, že ochrana přímo na úrovni samotného modelu už nestačí. Kontrolovat se podle firmy musí také infrastruktura, ve které agent funguje, a jeho přístup k jednotlivým systémům.
Nvidia OpenShell funguje na centrálních procesorech a umožňuje nastavovat limity pro činnost AI agentů. Druhým nástrojem je Sentry, který jejich aktivitu sleduje a běží na síťových čipech namísto CPU nebo GPU.
Nvidia se do debaty o bezpečnosti AI zapojuje v době, kdy mezi technologickými firmami sílí rozdílné názory na to, jak rychle by měl vývoj pokračovat.
Šéf Anthropic Dario Amodei před dvěma týdny vyzval vývojáře, aby tempo vývoje AI zpomalili kvůli obavám z možného vymknutí systémů kontrole. Jeho postoj podpořili také Sam Altman z OpenAI a Elon Musk ze SpaceX.
Nvidia naopak sází na technická opatření, která mají rizika řešit přímo prostřednictvím softwaru a infrastruktury.
