O GitHub apresentou o ReviewBench, um novo benchmark concebido para avaliar a eficácia e precisão de agentes de IA na revisão de código em ambientes de produção.
Uma nova forma de medir a eficácia da IA na revisão de código
O GitHub anunciou o lançamento do ReviewBench, um novo benchmark desenhado especificamente para avaliar agentes de revisão de código baseados em inteligência artificial. Com a crescente adoção de agentes autónomos para inspecionar pull requests, identificar problemas e sugerir melhorias antes da integração do código, a necessidade de métricas rigorosas tornou-se uma prioridade para as equipas de engenharia.
A plataforma foi construída com base em mais de 100 milhões de pull requests reais do GitHub, garantindo que a distribuição de linguagens, o tamanho dos repositórios e a natureza das alterações reflitam o trabalho real dos programadores. O ReviewBench inclui 219 pull requests públicos em 19 linguagens diferentes, cada um com marcações detalhadas de severidade e categoria, permitindo uma análise precisa do desempenho dos modelos.
Por que é que o ReviewBench é importante?
Atualmente, medir a qualidade de um revisor de código por IA é um desafio. Alguns sistemas destacam-se por detetar um maior número de problemas, enquanto outros focam-se em reduzir o ruído ou em identificar falhas críticas. O ReviewBench procura colmatar esta lacuna ao oferecer:
- Metodologia rigorosa: Utiliza um conjunto de dados de referência (golden set) validado por engenheiros seniores.
- Métricas alinhadas com a produção: Permite que as equipas percebam se as melhorias medidas em ambiente de teste se traduzem em ganhos reais no fluxo de trabalho.
- Flexibilidade: Suporta a análise por severidade e categoria, ajudando os utilizadores a escolher o agente que melhor se adapta às necessidades específicas do seu projeto.
Segundo o GitHub, a utilização interna do ReviewBench já permitiu tornar a avaliação do Copilot Code Review (CCR) mais eficaz, antecipando com maior precisão os resultados de experiências em produção. A ferramenta está agora disponível para que qualquer equipa possa integrar o seu próprio sistema de revisão e submeter resultados para comparação.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
GitHub Copilot: guia prático revela como estruturar 'agent skills' reutilizáveis
Gemini 4 Hydrogen: novo modelo da Google focado em programação e agentes
AWS Emulator: emulador local de serviços AWS construído por agentes autónomos de IA