Nvidias nya programvara ska stoppa AI-agenter från att rymma

Nvidia lanserar en ny plattform som ska hindra AI-agenter från att få obehörig tillgång till företags system. Satsningen kommer efter en rad uppmärksammade incidenter där AI-modeller har tagit sig utanför sina avgränsade miljöer. 

”Vi kan inte ha en framgångsrik AI-industri om världen inte tror att den är byggd eller är säker på att den är byggd och driftsatt på ett säkert sätt”, säger Nvidias vd Jensen Huang till CNBC.

Nvidias Open Agent Safety Platform ska göra det möjligt för utvecklare att sätta tydliga gränser för vad AI-agenter får komma åt och göra.

”Man kan inte låta agenter röra sig fritt och agera på egen hand i hela företaget. Därför måste man hitta ett sätt att begränsa det”, säger Huang till CNBC.

En central del är OpenShell, som körs på processorer och begränsar agenternas funktioner. Nvidia lanserar även Sentry, som övervakar agenter via nätverkschip.

Följer efter uppmärksammade incidenter

Lanseringen sker efter incidenter hos bland andra OpenAI, Anthropic, Meta och Google där AI-modeller uppges ha tagit sig utanför sina avgränsade miljöer.

Lästips: Meta erkänner AI-miss – modellen hackade en organisation

Enligt Nvidia skulle den nya tekniken ha kunnat förhindra en incident i juli, då OpenAI-modeller tog sig ut på internet och bröt sig in i utvecklarplattformen Hugging Face.

”De senaste incidenterna har belyst ett grundläggande hinder för AI-agenter, och det är att skyddsåtgärder på modellnivå inte ensamma kan styra vad agenter kan komma åt eller göra”, säger Justin Boitano, vice vd för företags-AI på Nvidia.

Delar av Nvidias programvara lanseras som öppen källkod, vilket tillåter partners att bygga produkter ovanpå den för att få den ut på marknaden.

Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm och Intel pekas ut som partners. Nvidia samarbetar även med Anthropic kring OpenShell.