Guia de termos de IA: como funcionam os modelos de linguagem

Descodificamos os termos essenciais da inteligência artificial, desde o funcionamento dos LLMs e pesos até à quantização, KV cache e inferência.

Com o avanço das ferramentas de IA local e a proliferação de novos acrónimos, compreender o que acontece "debaixo do capô" tornou-se essencial para utilizadores curiosos. O Tom's Hardware publicou recentemente um guia que clarifica os conceitos fundamentais que definem o funcionamento dos Grandes Modelos de Linguagem (LLMs).

O que compõe um modelo de IA?

Um modelo é, na sua essência, um programa estatístico treinado em vastos conjuntos de dados. O seu funcionamento baseia-se em pesos (weights), que representam a força das ligações entre diferentes tokens (palavras ou partes de palavras). Estes pesos são fixos após o treino; para os alterar, seria necessário um novo processo de treino.

A quantização é uma técnica crucial de "arredondamento" que reduz a precisão destes pesos. Embora modelos de fronteira utilizem precisão elevada (como BF16) para manter a qualidade, a quantização permite que modelos de código aberto (open-weight) sejam executados em hardware de consumo, como placas gráficas com VRAM limitada, ao converter os dados para formatos como INT8 ou FP4.

Inferência: Prefill e Decode

O processo de gerar uma resposta chama-se inferência e divide-se em duas fases:

• Prefill: A fase inicial onde o modelo processa o histórico da conversa e o pedido do utilizador em paralelo. É aqui que se mede o tempo até ao primeiro token (TTFT).
• Decode: A geração da resposta, feita token a token de forma sequencial. Esta fase é frequentemente limitada pela largura de banda da memória.

Para otimizar este processo, utiliza-se a KV Cache (key-value cache), um conjunto de dados que armazena as relações entre tokens de uma sessão. Ao reutilizar estes dados entre perguntas, evita-se o recálculo dispendioso de cada passo da conversa, embora isto consuma VRAM adicional.

Consequências práticas para o utilizador

A compreensão destes mecanismos permite decisões mais informadas sobre o hardware necessário:

• Gestão de VRAM: O tamanho da context window (a "memória de trabalho" do modelo) e a KV Cache competem diretamente pelos recursos da placa gráfica. Se a VRAM for insuficiente, o modelo não correrá ou sofrerá uma degradação severa de desempenho.
• Escolha de modelos: Modelos com mais parâmetros (ex: 70B) não são automaticamente "mais inteligentes" que modelos menores. A eficácia depende da qualidade do treino e da adequação do modelo à tarefa, sendo que modelos Mixture-of-Experts (MoE) oferecem um equilíbrio ao ativar apenas sub-redes específicas por token, aumentando a velocidade sem exigir a execução total do modelo.

Em Portugal, a disponibilidade destas tecnologias para execução local depende da capacidade de hardware do utilizador. Não existe uma confirmação de restrições geográficas específicas para o uso de modelos de código aberto, uma vez que a sua execução é local e independente de serviços na nuvem.

Fontes

• https://www.tomshardware.com/tech-industry/artificial-intelligence/a-primer-on-key-ai-llm-concepts-kv-cache-weights-quantization-and-how-inference-actually-works