A HPE otimizou o Alletra Storage MP X10000 com descarregamento de cache KV para reduzir a carga nas GPUs e acelerar a inferência de modelos de IA.
A Hewlett Packard Enterprise (HPE) reforçou as capacidades do seu sistema Alletra Storage MP X10000 com uma nova funcionalidade de descarregamento (offload) da cache de valores-chave (KV cache). Esta estratégia visa mitigar a sobrecarga de memória nas unidades de processamento gráfico (GPU) ao permitir que estados de inferência intermédios sejam armazenados externamente, evitando a necessidade de recálculos dispendiosos.
Resultados e desempenho
Testes validados pela Kamiwaza, utilizando GPUs NVIDIA H200 e a plataforma de IA da mesma empresa, demonstraram ganhos significativos. A implementação permitiu alcançar uma velocidade até 20 vezes superior no tempo para o primeiro token e um aumento de 17 vezes no débito efetivo de inferência em comparação com a execução sem o descarregamento da cache KV. Estes resultados são particularmente expressivos em fluxos de trabalho de agentes de IA, que processam repetidamente documentos e históricos de conversação.
É importante notar que estes ganhos são dependentes da carga de trabalho específica, variando conforme o comprimento do contexto, a concorrência e a taxa de acertos da cache. A HPE sublinha que a solução não substitui a necessidade de uma estratégia de governação de dados eficaz, sendo essencial garantir que os agentes acedam apenas a informação autorizada.
O que muda para as empresas
Para organizações que operam com modelos de linguagem de grande escala, esta tecnologia introduz uma variável económica relevante: a redução do trabalho de processamento repetitivo. Ao mover a decisão de armazenamento para o contexto da infraestrutura, a HPE procura oferecer uma alternativa ao custo crescente da memória GPU.
Contudo, a disponibilidade desta solução em Portugal não está confirmada. A HPE não detalhou calendários de implementação ou preços específicos para o mercado nacional. Os gestores de TI devem avaliar métricas como a taxa de acertos da cache e o débito sustentado nas suas cargas de trabalho reais antes de considerar a integração desta arquitetura.
Fontes
Antes de comprares, compara no AHT Scan
Vê preços em várias lojas, promoções e histórico observado num único lugar.
Porque é que o Windows continua a usar letras nas drives e como o Linux faz de outra forma
Fujifilm investe 63 milhões de dólares para aumentar em cinco vezes a produção de fitas magnéticas de 100 TB
SK Hynix aposta em mais de 100 processadores em cada controlador SSD para acelerar dados em IA