IA local: A experiência de usar modelos offline no Mac Studio e Windows

Exploramos a utilização de IA local com o Hermes Agent e modelos Qwen. Vantagens de privacidade e automação de tarefas no computador pessoal.

O desafio da IA local

A utilização de modelos de inteligência artificial tem sido dominada por serviços na nuvem, mas a crescente capacidade de processamento local em computadores de alto desempenho está a mudar esta dinâmica. O objetivo de manter dados pessoais fora de servidores externos é o principal motor para quem procura alternativas offline.

A experiência de utilizar o Hermes Agent, uma aplicação de código aberto para macOS, Windows e Linux, demonstra que é possível executar modelos LLM (Large Language Models) de forma autónoma. Em testes realizados com um Mac Studio equipado com 256GB de memória unificada, foi possível correr o modelo Qwen 3.8 Flash Next, que conta com 125 mil milhões de parâmetros e ocupa cerca de 105GB.

Casos de uso práticos

Ao contrário dos chatbots tradicionais, a IA local pode ser integrada no fluxo de trabalho do sistema operativo para realizar tarefas específicas:

• Briefings diários: Através de cron jobs, é possível automatizar a recolha de emails, eventos de calendário e meteorologia, desde que o computador não esteja em modo de suspensão.
• Gestão de bibliotecas digitais: A organização automática de bibliotecas de jogos, como a do Steam, é possível através da utilização de chaves API, permitindo categorizar centenas de títulos por género ou critérios personalizados.
• Análise de dados sensíveis: A grande vantagem reside na privacidade. Documentos financeiros ou informações sob embargo podem ser processados localmente sem risco de exposição em servidores de terceiros.

Limitações e considerações

Apesar do potencial, a IA local não é uma solução mágica. A configuração exige conhecimentos técnicos e a fiabilidade pode ser inferior à das soluções na nuvem. A automação de tarefas complexas, como a execução de scripts de benchmarks, continua a ser um trabalho em progresso que exige supervisão constante.

Para utilizadores em Portugal que ponderam esta transição, é importante notar que o hardware necessário para correr modelos de grande dimensão representa um investimento significativo. A escolha entre IA local e serviços na nuvem depende da necessidade de privacidade e da natureza das tarefas a automatizar, tal como discutido em IA local vs. Cloud: O que aprendi ao substituir o ChatGPT por modelos offline durante uma semana.

Fontes

• https://www.theverge.com/ai-artificial-intelligence/1008484/learning-local-ai-hermes-qwen-model-mac-studio-testing-diary-progress