Ai2 revoluciona agendamento de GPUs com novo sistema de gestão de recursos

O Allen Institute for AI (Ai2) introduziu um novo sistema de agendamento de GPUs baseado em orçamentos, visando maximizar a eficiência e o impacto da investigação.

Uma nova abordagem à gestão de recursos computacionais

O Allen Institute for AI (Ai2) anunciou uma mudança significativa na forma como gere a sua infraestrutura de computação de alto desempenho. A equipa de Infraestrutura de IA da organização substituiu o seu antigo agendador baseado em prioridades por um sistema mais sofisticado, que integra orçamentos de tempo de GPU, alocação hierárquica e contratos de tempo de execução.

Com uma frota que inclui milhares de GPUs NVIDIA H100, B200 e B300, o Ai2 enfrentava desafios comuns em laboratórios de investigação: uma procura que excede a oferta em 2 a 3 vezes e fenómenos como o "squatting" (ocupação indevida) de recursos. A transição para este modelo de "orçamento de tempo" permite que a liderança do instituto defina prioridades estratégicas antes da submissão das tarefas, tratando o tempo de GPU como um investimento.

Principais mudanças no agendamento

• Orçamentos de tempo: Cada projeto recebe uma quota de tempo de GPU, eliminando a ideia de que o acesso aos recursos é gratuito ou ilimitado.
• Contratos de tempo de execução: As tarefas devem declarar o tempo mínimo de execução necessário. Isto permite ao agendador reequilibrar recursos de forma automática, reduzindo a necessidade de intervenção humana em 74%.
• Ocupação total: O sistema distingue entre ocupação alocada (protegida) e não alocada (sujeita a preempção), garantindo que os GPUs nunca fiquem inativos.

Os resultados iniciais são promissores. O tempo de espera para tarefas de depuração (debug) caiu de 2 horas para apenas 30 segundos, enquanto a ocupação global do cluster se manteve estável em 98%. Além disso, a transparência do novo sistema permitiu que os investigadores compreendessem melhor os compromissos necessários para a alocação de recursos.

Desafios e o futuro

Apesar do sucesso, o Ai2 identificou que nem todos os casos de uso beneficiaram da mudança. As sessões interativas de análise de dados foram afetadas pelos limites de tempo de execução, levando o instituto a planear a criação de um cluster dedicado a tarefas de desenvolvimento (CPU-only) e o desenvolvimento de sessões restauráveis. Esta evolução reflete a necessidade constante de equilibrar a eficiência da infraestrutura com a flexibilidade exigida pela investigação científica em IA.

Fontes

• https://huggingface.co/blog/allenai/impactful-scheduling