Nvidia lança tecnologia para impedir que agentes de IA se rebelem

Pessoa passa por painel com logomarca da Nvidia na Computex em Taiwan em junho de 2024

Ann Wang/Reuters

A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle.

A empresa afirmou que a Open Agent Safety Platform, como é chamada a solução, reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações.

🗒️Tem alguma sugestão de reportagem? Envie para o g1

As divulgações provocaram um intenso debate sobre a segurança de sistemas avançados de IA, incluindo modelos capazes de se aprimorar sozinhos. Há preocupação de que essas tecnologias possam avançar além do controle humano.

Executivos da Nvidia disseram, em uma conversa com jornalistas, que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face.

Agora no g1

"Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início", afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.

O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA. Depois dele, outros incidentes envolvendo modelos da OpenAI foram revelados, incluindo o acesso não autorizado ao site de um departamento de saúde da Austrália.

Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.

Como funciona a plataforma

Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores "verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso".

A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA. Segundo a empresa, o sistema pode "intervir instantaneamente" caso o agente tente ultrapassar os limites definidos para sua atuação.

"O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos", disse Boitano.

Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase.