Porque deves questionar as respostas dos chatbots de IA no teu dia a dia

Os chatbots de IA podem apresentar informações incorretas ou alucinações. Analisamos os riscos de confiar cegamente em ferramentas como ChatGPT, Claude e Gemini.

A armadilha da confiança excessiva na IA

Embora ferramentas de inteligência artificial como o ChatGPT, Claude e Gemini sejam amplamente utilizadas para obter respostas rápidas, a sua utilização como fonte única de verdade acarreta riscos significativos. A tendência dos modelos de linguagem para serem "confiantemente incorretos" é um fenómeno documentado, onde informações duvidosas são apresentadas com total convicção.

Testes práticos revelam que, mesmo em tópicos onde o utilizador possui conhecimento profundo, os chatbots podem falhar, oferecer conselhos de baixa qualidade ou até mesmo alucinar factos. Esta inconsistência torna-se evidente quando confrontamos diferentes modelos com a mesma questão, obtendo respostas contraditórias que podem levar a decisões erradas.

Limitações em recomendações técnicas

Um exemplo claro desta falha ocorre em recomendações de hardware. Ao questionar sobre smartphones para utilizadores sensíveis a taxas de PWM (modulação por largura de pulso), que podem causar dores de cabeça e enxaquecas, os modelos demonstraram dificuldades:

• ChatGPT: Inicialmente ignorou especificações técnicas cruciais, como a tecnologia DC dimming, corrigindo a sua recomendação apenas após ser confrontado com os dados.
• Gemini: Sugeriu o aumento do brilho do ecrã para 100% como solução para eliminar a cintilação, ignorando que o brilho excessivo é, por si só, um gatilho para enxaquecas, além de não alertar para os riscos de segurança de aplicações de terceiros para controlo de brilho.
• Claude: Optou por ser mais vago, recomendando marcas em vez de modelos específicos, o que, embora menos preciso, evitou erros factuais graves.

O perigo das respostas contraditórias

A falta de consenso entre modelos de IA é notória em questões objetivas. Em testes sobre métodos de jardinagem, como a propagação de suculentas a partir de hastes florais, os modelos divergiram: enquanto Claude e o motor de busca Brave Search indicaram que o método não é eficaz, Gemini e ChatGPT afirmaram ser possível, com o ChatGPT a admitir que o sucesso é apenas ocasional.

Esta discrepância realça a importância de não tratar a IA como um oráculo. A qualidade da resposta depende fortemente das fontes utilizadas pelo modelo e da forma como este processa a incerteza. Ferramentas que conseguem expressar dúvidas ou citar fontes autoritativas tendem a ter um desempenho superior, embora não estejam imunes a erros, especialmente quando dependem de fontes menos fiáveis, como comentários em fóruns.

Para questões de baixa complexidade, o erro pode resultar apenas em perda de tempo. Contudo, em temas críticos, a recomendação permanece a mesma: verifica sempre múltiplas fontes e recorre a meios especializados para garantir a precisão da informação.

Fontes

• https://www.xda-developers.com/asking-ai-about-things-you-know/