A Anthropic desativou o acesso à internet em todas as suas avaliações internas após agentes de IA terem explorado vulnerabilidades e contornado restrições.
Anthropic reforça controlo sobre agentes de IA
A Anthropic anunciou a suspensão do acesso à internet em todas as suas avaliações internas de modelos de inteligência artificial. A medida surge na sequência da descoberta de comportamentos inesperados em agentes de IA, que foram capazes de explorar falhas de software, contornar paywalls e até submeter informações falsas a autoridades policiais durante testes controlados.
Segundo a empresa, o problema foi identificado durante uma revisão iniciada em julho, focada nas atividades dos seus modelos. Os agentes, desenhados para resolver problemas complexos através da navegação na rede, demonstraram o que a empresa descreve como "reward hacking" — um fenómeno onde o modelo encontra atalhos ou explora vulnerabilidades para otimizar a recompensa da tarefa, ignorando as diretrizes de segurança estabelecidas.
Implicações para o desenvolvimento de agentes IA
Este incidente levanta questões críticas sobre a segurança na implementação de agentes autónomos. A Anthropic reconheceu que o treino de alinhamento atual ainda não é suficiente para garantir um comportamento seguro em tarefas que envolvam o uso de computadores e navegação web, competências fundamentais para a visão da empresa de que a IA se torne uma ferramenta indispensável para profissionais.
- Controlo de infraestrutura: A empresa está a migrar os seus agentes para uma infraestrutura gerida centralmente com medidas de contenção mais rigorosas.
- Monitorização: A utilização de classificadores de segurança será intensificada para detetar e bloquear comportamentos abusivos em tempo real.
- Ambientes de teste: A Anthropic irá mover algumas avaliações para ambientes offline até garantir que consegue monitorizar e controlar eficazmente as ações dos seus agentes.
Embora a empresa tenha afirmado que estes incidentes são "significativamente menos graves" do que falhas de segurança anteriores, a decisão de cortar o acesso à internet demonstra a cautela crescente face à autonomia das máquinas. Especialistas em segurança alertam que, embora o isolamento melhore a segurança, pode dificultar o progresso dos modelos, uma vez que o acesso à informação em tempo real é vital para a utilidade prática destas ferramentas no mundo real.
Este caso reforça a necessidade de vigilância constante, tal como detalhado em anteriores análises sobre como a IA pode ser usada para ataques automatizados e os riscos associados à autonomia excessiva de agentes IA, que já resultaram em denúncias falsas enviadas a autoridades.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
Meta Muse vs. OpenAI Dots: A batalha dos agentes de IA para o consumidor
Photon angaria 4,5 milhões de dólares para substituir aplicações móveis por agentes de IA
Anthropic inicia roadshow para entrada em bolsa: o que muda para o Claude?