Alors que les modèles d'intelligence artificielle (IA) continuent de se développer rapidement, des experts de l'industrie suggèrent que l'avenir de l'IA pourrait reposer sur un nouveau type de superordinateur reliant plusieurs datacenters sur de vastes distances.
Avec la demande croissante de puissance de calcul, les analystes prédisent que les datacenters traditionnels pourraient ne plus suffire. "La distribution est inévitable", a déclaré Sameh Boujelbene, analyste chez Dell'Oro.
Des entreprises comme Nvidia explorent des moyens d'intégrer des datacenters distants en un superordinateur virtuel cohérent. Cette approche pourrait répondre aux limitations de puissance et améliorer l'efficacité de l'entraînement de l'IA.
Les technologies actuelles, telles que l'InfiniBand de Nvidia et la multiplexion par répartition de longueur d'onde dense, permettent le transfert de données sur des distances allant jusqu'à 40 kilomètres. Cependant, des recherches sont en cours pour étendre ces capacités de manière significative, facilitant potentiellement les connexions sur des milliers de kilomètres.
Malgré ces avancées, des défis tels que la latence et la bande passante demeurent. Les charges de travail de l'IA nécessitent une bande passante élevée et une faible latence, avec jusqu'à 30 % du temps d'entraînement souvent passé à attendre des transferts de données. De nouvelles technologies, y compris la fibre à cœur creux, visent à réduire la latence en minimisant le besoin de répéteurs.
Les experts soulignent que l'optimisation logicielle peut atténuer certains de ces défis, permettant une gestion des données plus efficace à travers des réseaux distribués. Cependant, atteindre une architecture de calcul uniforme entre les datacenters est crucial pour éviter les goulets d'étranglement de performance.
À mesure que les modèles d'IA deviennent de plus en plus complexes, l'industrie pourrait devoir adopter l'entraînement multi-datacenter pour suivre le rythme. Bien que les contraintes de puissance limitent actuellement le nombre de GPU dans un seul datacenter, le besoin de charges de travail distribuées pourrait bientôt devenir essentiel.