Microsoft a annoncé de nouvelles machines virtuelles puissantes et hautement évolutives qui intègrent les derniers GPU NVIDIA H100 Tensor Core et la mise en réseau NVIDIA Quantum-2 InfiniBand.
Microsoft a investi des centaines de millions de dollars dans la construction d'un supercalculateur colossal pour alimenter le chatbot ChatGPT d'OpenAI. Dans un rapport, Microsoft explique comment elle a créé la puissante infrastructure d'IA Azure utilisée par OpenAI et comment ses systèmes sont constamment améliorés.
Pour construire le supercalculateur qui alimente les projets d'OpenAI, Microsoft affirme avoir connecté des milliers de processeurs graphiques (GPU) NVIDIA à sa plateforme de cloud computing Azure. Ceci a permis à OpenAI d'entraîner des modèles de plus en plus performants et de « libérer le potentiel de l'IA » d'outils comme ChatGPT et Bing.
Scott Guthrie, vice-président de Microsoft en charge de l'intelligence artificielle et du cloud, a déclaré que l'entreprise avait investi plusieurs centaines de millions de dollars dans ce projet , selon un communiqué. Bien que cela puisse paraître une goutte d'eau dans l'océan pour Microsoft, qui a récemment augmenté son investissement pluriannuel de plusieurs milliards de dollars dans OpenAI, cela démontre assurément sa volonté d'investir davantage dans le domaine de l'IA.
En 2019, lorsque Microsoft a investi 1 milliard de dollars dans OpenAI, l'entreprise s'est engagée à construire un supercalculateur de pointe pour cette jeune pousse spécialisée dans la recherche en intelligence artificielle. Seul problème : Microsoft ne disposait d'aucune des ressources nécessaires à OpenAI et n'était pas certain de pouvoir déployer une infrastructure d'une telle envergure sur son service cloud Azure sans risque de panne.
OpenAI essayait de former un ensemble toujours croissant de programmes d'intelligence artificielle appelés modèles, qui ingéraient de plus grands volumes de données et apprenaient de plus en plus de paramètres, les variables que le système d'IA découvrait grâce à la formation et au recyclage. Cela signifiait qu'OpenAI avait besoin d'accéder à de puissants services de cloud computing pendant de longues périodes.
Pour relever ce défi, Microsoft a dû trouver des moyens de relier des dizaines de milliers de puces graphiques NVIDIA A100 et modifier la façon dont il place ses serveurs dans les racks afin d'éviter les coupures de courant.
« Nous avons construit une architecture système qui pourrait fonctionner et être fiable à grande échelle. C'est ce qui a rendu ChatGPT possible », a déclaré Nidhi Chappell, directeur général de Microsoft pour l'infrastructure Azure AI. « C'est un schéma qui vient de là. Il y en aura beaucoup, beaucoup plus."
La technologie a permis à OpenAI de lancer ChatGPT, le chatbot viral qui a attiré plus d'un million d'utilisateurs quelques jours après son introduction en bourse en novembre et qui est maintenant absorbé par les modèles commerciaux d'autres sociétés, de celles dirigées par le fondateur milliardaire du fonds spéculatif Ken Griffin au délai de livraison.
À mesure que les outils d'IA génératifs tels que ChatGPT suscitent l'intérêt des entreprises et des consommateurs, les fournisseurs de services cloud tels que Microsoft, Amazon et Google subiront une pression accrue pour s'assurer que leurs centres de données peuvent fournir l'énorme puissance de calcul requise.
Désormais, Microsoft utilise le même ensemble de ressources qu'il a construit pour OpenAI pour former et exécuter ses propres grands modèles d'IA, y compris le nouveau robot de recherche Bing introduit le mois dernier. L'entreprise vend également le système à d'autres clients. Le géant du logiciel travaille déjà sur la prochaine génération du supercalculateur d'IA, dans le cadre d'un accord élargi avec OpenAI dans lequel Microsoft a ajouté 10 milliards de dollars à son investissement.
« Nous ne les construisons pas comme quelque chose de personnalisé ; cela a commencé comme quelque chose de personnalisé, mais nous l'avons toujours construit de manière à ce qu'il soit généralisé afin que quiconque souhaite former un grand modèle de langage puisse profiter des mêmes améliorations. Guthrie a déclaré dans une interview. "Cela nous a vraiment aidés à devenir un meilleur cloud pour l'IA dans son ensemble."
L'entraînement d'un modèle d'IA massif nécessite un grand nombre d'unités de traitement graphique connectées en un seul endroit, comme le supercalculateur d'IA assemblé par Microsoft. Une fois qu'un modèle est utilisé, répondre à toutes les questions posées par les utilisateurs (appelées inférence) nécessite une configuration légèrement différente. Microsoft déploie également des puces graphiques pour l'inférence, mais ces processeurs (des centaines de milliers) sont dispersés géographiquement dans les plus de 60 régions de centres de données de l'entreprise. Désormais, la société ajoute la dernière puce graphique NVIDIA pour les charges de travail AI (la H100) et la dernière version de la technologie réseau Infiniband de NVIDIA pour un partage de données encore plus rapide.
La décision de Microsoft de s'associer à OpenAI reposait sur la conviction que cette infrastructure d'une ampleur sans précédent produirait des résultats concrets – de nouvelles capacités d'IA, une nouvelle plateforme de programmation – que Microsoft pourrait transformer en produits et services apportant de réels avantages à ses clients, a déclaré Waymouth. Cette conviction a alimenté l'ambition des deux entreprises de surmonter tous les défis techniques liés à sa construction et de repousser sans cesse les limites du supercalcul IA.
Source : https://news.microsoft.com/