Jakub Pachocki, cientista-chefe da OpenAI, alerta que a falta de controlo sobre a origem dos dados em modelos de IA compromete a segurança e a supervisão humana.
O desafio invisível da proveniência na inteligência artificial
A segurança dos sistemas de inteligência artificial tem focado grande parte da sua atenção no comportamento visível dos modelos, nas restrições impostas e na forma como as ações são monitorizadas por humanos. Contudo, Jakub Pachocki, cientista-chefe da OpenAI, abordou num ensaio intitulado 'An Alien Mind' a complexidade do avanço da inteligência artificial, argumentando que as técnicas atuais de alinhamento e monitorização podem tornar-se inadequadas face ao ritmo de evolução da inteligência das máquinas.
Antes de um sistema tomar uma decisão, este constrói uma representação do mundo com base em resultados de pesquisa, registos corporativos, artigos científicos e conteúdos gerados por outras máquinas. É nesta fase que surge um problema estrutural de proveniência e rastreabilidade dos dados.
Da evidência original à repetição digital
A web atual foi construída para favorecer a circulação rápida de informação. Enquanto os dados viajam de uma publicação para outra, a sua ancestralidade tende a desvanecer-se. Um facto pode originar-se num estudo científico rigoroso, passar por uma notícia, ser resumido num blogue e ressurgir meses mais tarde num fórum de discussão anónimo. Quando a inteligência artificial processa esta cadeia, a linha temporal e a evidência original tornam-se difíceis de reconstituir.
Este efeito é intensificado pelos modelos generativos atuais, uma vez que o conteúdo produzido por uma IA passa a ser ingerido por gerações futuras de sistemas. Uma afirmação frágil pode ser gerada, recolhida, resumida e republicada de forma cíclica até adquirir uma falsa aparência de consenso perante o algoritmo.
Riscos práticos e o papel da supervisão humana
As consequências ganham uma dimensão crítica à medida que os agentes adquirem capacidade de agir. Quando uma premissa incerta serve de base para uma ação, o impacto estende-se a setores sensíveis como a banca, a segurança, os serviços públicos e a gestão de infraestruturas. Instituições financeiras investem fortemente em registos auditáveis que comprovam a origem de cada transação, mas a inteligência artificial carece ainda de uma disciplina comparável para o tratamento da informação.
Além disso, a eficácia da supervisão humana fica comprometida quando o revisor humano dispõe apenas de uma fração do tempo e dos meios de pesquisa que o modelo utilizou para cruzar milhares de páginas de dados. A monitorização baseada em raciocínio interno enfrenta desafios à medida que os modelos ganham autonomia, tornando relevante a discussão sobre padrões de supervisão e registos auditáveis de proveniência, conforme reportado pelo TechRadar.
Pachocki defende que a indústria deve estabelecer sistemas capazes de demonstrar a origem do conhecimento antes de confiar a estes agentes a capacidade de atuar no mundo real, sugerindo que a próxima fase da segurança da IA começa com a evidência que um agente observa, a autoridade que atribui a essa evidência e a incerteza que preserva antes de tomar qualquer decisão.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
Google Cloud antecipa cibersegurança em 2027 com foco em agentes autónomos e integridade de decisões
Git: 6 vulnerabilidades de segurança corrigidas. Atualize agora
Gemini 4 Carbon: A nova aposta da Google para agentes de desenvolvimento