O projeto ToshLLM possibilita a execução de modelos de inteligência artificial de forma local em computadores Mac equipados com placas gráficas AMD.
Execução local de IA em hardware Apple
Para os utilizadores de computadores Mac que não possuem os mais recentes processadores Apple Silicon, mas que contam com placas gráficas dedicadas da AMD, o projeto ToshLLM surge como uma nova possibilidade para a execução de modelos de inteligência artificial (IA) localmente. Segundo a informação reportada, este projeto foca-se em aproveitar o hardware já existente nas máquinas, evitando a dependência de serviços na nuvem.
O ToshLLM destaca-se por oferecer aceleração nativa via Metal, a framework da Apple para processamento gráfico e computacional. A grande vantagem apontada pelos criadores é a eliminação de custos por token, uma característica comum em serviços de IA baseados em subscrição ou pagamento por uso, garantindo que todo o processamento ocorre inteiramente na máquina do utilizador.
O que muda para o utilizador
Embora a solução permita a utilização de modelos de linguagem em hardware que não seja de última geração, é importante gerir expectativas quanto ao desempenho. O ToshLLM não pretende competir em velocidade com sistemas de topo, como o Mac Studio equipado com o chip M5 Ultra, mas sim oferecer uma via de acesso funcional para quem já possui hardware compatível com placas AMD.
- Zero Cloud: Os dados e o processamento permanecem no dispositivo.
- Aceleração Metal: Utiliza a API da Apple para otimizar o desempenho em hardware gráfico.
- Sem custos por token: Ideal para experimentação sem encargos recorrentes.
Esta solução é particularmente relevante para entusiastas de tecnologia e programadores em Portugal que procuram explorar modelos de IA sem necessitar de investir imediatamente em hardware de última geração, aproveitando a longevidade dos equipamentos Mac com GPU AMD. A instalação e configuração de projetos open-source deste tipo exigem, contudo, algum conhecimento técnico, sendo recomendada a consulta da documentação oficial do projeto antes de iniciar o processo.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
AMD Instinct MI450X: nova GPU reforça flexibilidade na série MI400
AMD, IBM e Oak Ridge colaboram em plataforma de correção de erros para computação quântica
AMD expande parceria com a Oracle para reforçar infraestrutura de inteligência artificial na cloud