Anthropic e Accenture unem-se para avaliação independente de modelos de IA

Uma nova abordagem à segurança da IA

A Anthropic anunciou uma parceria com a Accenture focada na avaliação independente de modelos de inteligência artificial de fronteira. Esta iniciativa concretiza o compromisso da empresa em integrar avaliadores externos diretamente dentro da sua estrutura, permitindo uma fiscalização mais próxima e rigorosa do desenvolvimento tecnológico.

O projeto será liderado pela Faculty, a divisão da Accenture especializada em IA. O trabalho incluirá o red-teaming de modelos, avaliações de alinhamento e testes de salvaguardas. A expectativa é que ambas as empresas invistam, pelo menos, mil milhões de dólares ao longo dos próximos cinco anos para construir esta capacidade de avaliação.

O papel dos avaliadores integrados

Diferente dos processos de auditoria externa tradicionais, os avaliadores integrados terão acesso comparável ao de um colaborador interno. Isto permite:

• Acompanhar a evolução dos modelos durante a fase de treino.
• Monitorizar as decisões tomadas durante a construção e implementação.
• Comunicar diretamente com as equipas de desenvolvimento.
• Verificar o cumprimento de compromissos de segurança e identificar pontos cegos.

A Anthropic sublinha que esta medida não reduz a sua responsabilidade sobre a segurança dos modelos, mas torna a prestação de contas mais verificável. Atualmente, ainda não existem normas estabelecidas sobre o acesso a dados ou os métodos de reporte para estes avaliadores, pelo que a Anthropic planeia colaborar com diferentes entidades sob variados modelos de financiamento.

Ecossistema de avaliação

A parceria com a Accenture é não exclusiva. A Anthropic pretende trabalhar com várias organizações em simultâneo e está em diálogo com entidades como a METR para realizar pilotos de avaliação integrada. A empresa defende que, a longo prazo, o financiamento destas atividades de segurança deverá provir de fontes governamentais ou fundos comuns.

Esta estratégia de transparência surge num momento em que a indústria de IA enfrenta desafios crescentes, incluindo a necessidade de gerir riscos de acesso não autorizado a sistemas informáticos, uma questão que a Anthropic continua a analisar em colaboração com parceiros independentes.