Anthropic propõe novas métricas para medir o ritmo de desenvolvimento da IA

A Anthropic partilhou três novas métricas para medir o ritmo de desenvolvimento da IA, incluindo a automação da I&D e a alocação de poder computacional.

Mais transparência nos laboratórios de IA

A Anthropic, um dos principais laboratórios de inteligência artificial, apresentou uma proposta para aumentar a visibilidade pública sobre o ritmo de desenvolvimento da IA. A empresa defende que, à medida que os sistemas se tornam mais poderosos e capazes de automatizar a sua própria criação, é necessário que o mundo tenha acesso a métricas claras sobre o que acontece dentro dos laboratórios.

Para alcançar este objetivo, a Anthropic propõe a monitorização de três pilares fundamentais:

• Automação da I&D: Medir quanto do trabalho de investigação e desenvolvimento é realizado pela própria IA.
• Supervisão de agentes: Avaliar como as ações dos agentes autónomos são monitorizadas e controladas.
• Alocação de computação: Detalhar como os recursos computacionais são distribuídos, nomeadamente a percentagem dedicada à segurança.

O que revelam os dados atuais

A empresa partilhou um instantâneo das suas próprias métricas. Em relação à automação da I&D, a Anthropic utiliza uma escala de 0 a 5, onde o nível 3 representa a colaboração entre IA e humanos, e o nível 4 indica que a IA lidera o processo com supervisão humana. Quanto à alocação de recursos, a empresa revelou que, durante uma semana de análise em julho de 2026, cerca de 6% do poder computacional dedicado à I&D foi alocado a tarefas de segurança.

A Anthropic planeia integrar avaliadores externos independentes para verificar estas práticas e monitorizar métricas-chave, num esforço para alinhar a transparência com as propostas de regulação do setor, como o seu Advanced AI Framework (AAIF).

O desafio da comparação entre laboratórios

Embora a iniciativa seja um passo em frente, a empresa reconhece obstáculos para uma comparação direta entre diferentes laboratórios. A falta de uma metodologia comum e o risco de os modelos de avaliação cometerem os mesmos erros que os modelos que estão a auditar são pontos críticos. A solução, segundo a Anthropic, passaria pela verificação por terceiros e pela criação de normas partilhadas pelo setor.

Este tipo de monitorização é particularmente relevante quando consideramos a evolução de ferramentas complexas, como o GPT-6 Astra, que demonstram capacidades crescentes em tarefas de programação e uso de computador, exigindo uma supervisão cada vez mais rigorosa.

Fontes

• https://www.anthropic.com/institute/measuring-pace-of-ai-development