Tom's Hardware desenvolve benchmark para medir desempenho de agentes de IA em CPUs

O portal Tom's Hardware está a criar um benchmark para medir o desempenho de agentes de IA em CPUs, isolando o hardware da aceleração por GPU.

O portal Tom's Hardware anunciou o desenvolvimento de um conjunto de testes internos destinado a medir o desempenho de agentes de Inteligência Artificial (IA) diretamente no CPU, isolando a carga de trabalho da aceleração por GPU. O objetivo é compreender como os processadores e a memória contribuem para os ciclos de execução de agentes, uma área que, segundo o portal, carece atualmente de métricas padronizadas e repetíveis.

Metodologia de teste

O benchmark utiliza agentes construídos com o framework LangGraph, que executam uma sequência de 30 tarefas. Para garantir a consistência dos resultados, o sistema utiliza um servidor proxy que regista as interações com o modelo de linguagem (LLM). Desta forma, os testes subsequentes podem ser realizados através da reprodução destas sequências (traces), eliminando a variabilidade da inferência em tempo real e focando a análise na capacidade de processamento do CPU.

O teste escala a carga de trabalho desde um único processo até ao número máximo de threads do processador, medindo a taxa de sessões concluídas por segundo. A métrica principal, designada como "ideal throughput", identifica o ponto de saturação onde o desempenho começa a degradar-se significativamente.

Implicações práticas

A abordagem do Tom's Hardware destaca dois pontos cruciais para o futuro do hardware de IA:

• Isolamento de recursos: Ao remover a GPU da equação, é possível identificar gargalos específicos no CPU e na memória que ocorrem durante a execução de tarefas complexas, como a compilação de código ou a consulta de bases de dados.
• Concorrência: O benchmark foca-se na execução de múltiplas sessões de agentes em simultâneo, simulando cenários reais onde a contenção de recursos no chip pode limitar a produtividade do sistema.

Embora o projeto ainda esteja em fase de protótipo, o portal sublinha que esta ferramenta não pretende substituir os testes de IA local já existentes, mas sim complementar a avaliação do sistema como um todo. A disponibilidade destas métricas em Portugal não está confirmada, tratando-se de uma iniciativa de desenvolvimento técnico do portal americano.

Fontes

• https://www.tomshardware.com/tech-industry/artificial-intelligence/our-first-step-at-defining-a-cpu-benchmark-for-agentic-ai-how-we-can-measure-throughput-of-agentic-ai-workloads-without-any-gpu-involved