NVIDIA lança Open Agent Safety Platform para reforçar a segurança em IA

A NVIDIA apresentou a Open Agent Safety Platform, uma solução de software e hardware para garantir a segurança e controlo na implementação de agentes de IA.

Uma nova abordagem à segurança de agentes de IA

A NVIDIA anunciou hoje a NVIDIA Open Agent Safety Platform, uma plataforma de software aberta e um sistema de referência concebidos para reforçar a segurança da Inteligência Artificial. O objetivo é permitir um maior controlo e governação desde a fase de testes até à implementação final, abrangendo tanto o software como o hardware e os sistemas robóticos que executam estes agentes.

Segundo a empresa, incidentes de segurança recentes demonstraram que os agentes de IA conseguem contornar controlos ao nível da camada de aplicação. Com esta nova plataforma, a NVIDIA pretende oferecer ferramentas personalizáveis que permitam às organizações impor limites mais rigorosos.

Componentes principais da plataforma

• NVIDIA OpenShell: Software de runtime seguro que estabelece limites para agentes que correm em CPUs. Está disponível de forma aberta e pode ser estendido para trabalhar com plataformas de terceiros, como Arm e Intel.
• NVIDIA Sentry: Um sistema de vigilância que corre em unidades de processamento de dados (DPUs) NVIDIA BlueField-4. Este componente monitoriza o comportamento dos agentes em tempo real e, caso um agente tente ultrapassar os seus limites, o Sentry isola-o e interrompe a sua execução em milissegundos.

Jensen Huang, CEO da NVIDIA, sublinhou que a segurança e a proteção exigem uma engenharia completa. "A NVIDIA Open Agent Safety Platform reúne a indústria, investigadores e organizações do setor público para partilhar melhores práticas e alinhar métodos de avaliação", afirmou.

Colaboração com a indústria

Várias empresas já estão a colaborar com a NVIDIA para integrar estas tecnologias. A Anthropic, por exemplo, está a trabalhar na segurança dos seus Claude Managed Agents, enquanto a SpaceXAI utiliza a plataforma para os seus modelos Grok e agentes Cursor. A Salesforce também integrou o OpenShell com o Slack, permitindo que as equipas geriam e aprovem permissões de agentes diretamente a partir da plataforma de comunicação.

A plataforma está disponível através da página de recursos para programadores da NVIDIA e no GitHub, integrando-se também nos esforços da Open Secure AI Alliance, governada pela Linux Foundation.

Fontes

• https://nvidianews.nvidia.com/news/open-agent-safety-platform