Conhece o Multimodal Knowledge Agent (MKA), o novo benchmark desenvolvido com a Artificial Analysis para avaliar como os agentes de IA raciocinam em tarefas visuais.
O que é o MKA e porque surge
A Google, em parceria com a Artificial Analysis, anunciou o lançamento do Multimodal Knowledge Agent (MKA), um novo benchmark concebido para avaliar o modo como os modelos e agentes de inteligência artificial conseguem raciocinar através de ficheiros visualmente complexos. Ao contrário de testes tradicionais que podem ser resolvidos estritamente com recurso a texto, o MKA foca-se em cenários do mundo profissional onde o trabalho diário é profundamente visual, como a análise de plantas arquitetónicas, esquemas de engenharia ou a síntese de relatórios e folhas de cálculo.
Como foi construído o benchmark
Para aproximar a avaliação de fluxos de trabalho reais, o desenvolvimento contou com a colaboração de especialistas de dez verticais e 83 ocupações diferentes, desde arquitetos a biólogos e cientistas de dados. O conjunto inicial inclui 200 tarefas de avaliação, correspondendo cada uma a um projeto multi-passo que tipicamente exigiria entre três a oito horas de trabalho a um profissional experiente. As tarefas combinam um prompt realista com ficheiros de entrada multimodais, avaliadas por um sistema de rubricas com dezenas de verificações binárias (sim/não) ponderadas essencialmente entre exatidão factual e design visual.
Desempenho dos modelos e disponibilidade
Os resultados preliminares divulgados mostram diferenças acentuadas na eficiência dos modelos testados para concluir as mesmas tarefas, evidenciando a importância de capacidades avançadas de perceção visual. Entre os modelos avaliados, o Gemini 4 Carbon destacou-se ao alcançar o segundo lugar em termos de qualidade e uma maior eficiência económica na execução. O conjunto completo de 200 tarefas mantêm-se privado pela Artificial Analysis para evitar fugas de dados para treino, mas foi disponibilizado um conjunto público separado de dez tarefas no Hugging Face, juntamente com relatórios técnicos detalhados e acesso ao modelo através da API da Google em Google AI Studio.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
Tom's Hardware desenvolve benchmark para medir desempenho de agentes de IA em CPUs
Gemini 4 Hydrogen: novo modelo da Google focado em programação e agentes
Gemini 4 Carbon: A nova aposta da Google para agentes de desenvolvimento