Google, OpenAI, Anthropic e Microsoft comprometem-se a adotar um novo sinal no robots.txt para bloquear a recolha de conteúdos para treino de inteligência artificial.
Google, OpenAI, Anthropic e Microsoft comprometeram-se a adotar um novo sinal comum no ficheiro robots.txt, permitindo aos editores e criadores de conteúdos especificar de forma centralizada as suas preferências face à recolha de dados para treino de inteligência artificial generativa, segundo avançado pelo Engadget com base em anúncios oficiais.
Até agora, os proprietários de websites precisavam de identificar individualmente cada crawler e adicionar regras separadas para cada fornecedor de tecnologia. A nova diretiva baseia-se numa proposta em estudo na IETF — a organização de normas abertas para a internet — criada por Kevin Kelley, líder técnico de normas da Anthropic. O sistema utiliza um novo agente de utilizador específico para treino de IA no ficheiro robots.txt, com a estrutura:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Esta diretiva permite bloquear os crawlers dedicados a recolher dados para treino de IA, mantendo a flexibilidade de permitir o acesso a secções específicas, como kits de imprensa, através da diretiva Allow. A medida não impede contudo a indexação tradicional para motores de busca ou a visualização de páginas nos resultados gerais de pesquisa.
Cronograma de implementação e limitações
De acordo com os anúncios das empresas, a implementação decorre a diferentes ritmos. A Anthropic já iniciou o suporte à nova diretiva. A Microsoft indicou que começará a suportá-la a 1 de fevereiro de 2027, enquanto a Google apontou o início de 2027. A OpenAI comprometeu-se a implementar o novo sinal nos próximos meses.
É importante notar que esta diretiva não retroage sobre recolhas de dados já efetuadas no passado; o mecanismo serve estritamente para impedir a raspagem futura de sites ou páginas específicas. Além disso, a Google esclareceu que interpretará o sinal como um sinal de paragem específico para o agente Google-Extended, utilizado na recolha de materiais para treino dos modelos Gemini.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
Anthropic inicia roadshow para entrada em bolsa: o que muda para o Claude?
Anthropic adverte Claude contra clones de videojogos, mas cópias de IA continuam fora de controlo
Anthropic alerta para modelos de IA capazes de se replicarem em breve