Réseau de centres de données IA ABC
L'entraînement des modèles d'IA représente un défi particulier. Le développement de modèles de langage complexes (LLM) tels que Llama 3.1 et GPT 4.0 exige un budget et des ressources considérables, que seules quelques grandes entreprises dans le monde peuvent se permettre. Ces LLM comportent des milliards, voire des billions, de paramètres qui nécessitent des ajustements de la matrice complexe de commutation des centres de données afin de mener à bien l'entraînement dans un délai raisonnable.
Pour de nombreuses entreprises, investir dans l'IA exige une approche novatrice : exploiter leurs propres données pour affiner leurs modèles économiques fondamentaux, résoudre des problèmes commerciaux spécifiques ou proposer une expérience client plus approfondie. Cependant, avec la popularisation de l'IA, les entreprises espèrent utiliser de nouvelles méthodes pour optimiser leurs investissements dans ce domaine, améliorant ainsi la confidentialité des données et la différenciation des services.
Pour la plupart des entreprises, cela implique de transférer une partie de leurs charges de travail d'IA internes vers des centres de données privés. Le débat actuel entre « cloud public » et « cloud privé » s'applique également aux centres de données dédiés à l'IA. Nombre d'entreprises appréhendent les nouveaux projets tels que la mise en place d'une infrastructure d'IA. Des défis existent, certes, mais ils ne sont pas insurmontables. Les connaissances actuelles en matière de centres de données restent pertinentes. Un accompagnement est nécessaire ; Zhanbo Network peut vous guider.
Dans cette série d'articles de blog, nous explorerons les différentes considérations que les entreprises doivent prendre en compte lorsqu'elles investissent dans l'IA, et comment Réseau Juniper« AI Data Center ABC » propose différentes approches : application (A), construction (B) vs. achat (B) et coût (C).
Il serait utile de mieux comprendre les options d'infrastructure, certains principes de base de l'architecture de l'IA et les catégories fondamentales du développement, de la mise en œuvre, de l'entraînement et de l'inférence en IA.
Le serveur d'inférence est hébergé dans le centre de données frontal connecté à Internet, où les utilisateurs et les appareils peuvent interroger des applications d'IA entièrement entraînées (telles que Llama 3). Utilisant le protocole TCP, les requêtes d'inférence et les modèles de trafic sont similaires à ceux des autres charges de travail hébergées dans le cloud. Le serveur d'inférence peut effectuer une inférence en temps réel à l'aide d'un processeur (CPU) classique ou du même processeur graphique (GPU) que celui utilisé pour l'entraînement, offrant ainsi la vitesse de réponse la plus rapide avec la latence la plus faible, généralement mesurée par des indicateurs tels que le « temps d'obtention du premier jeton » et le « temps d'obtention des jetons incrémentaux ». Concrètement, il s'agit de la vitesse à laquelle LLM répond aux requêtes. Si le volume de données est important, cela peut nécessiter des investissements et une expertise considérables pour garantir des performances constantes.
En revanche, l'entraînement présente des défis de traitement uniques qui nécessitent des architectures de centres de données spécifiques. Il est réalisé dans un centre de données dorsal, où le modèle LLM et l'ensemble de données d'entraînement sont isolés d'Internet. Ces centres de données sont conçus avec des plateformes de calcul et de stockage GPU haute capacité et haute performance, et utilisent des matrices de commutation dédiées et optimisées, interconnectées par des réseaux 400 Gbit/s et 800 Gbit/s. En raison du grand nombre de flux de données volumineux et des communications GPU à GPU intensives, ces réseaux doivent être optimisés pour gérer la capacité, les modèles de trafic et les exigences de gestion du trafic des cycles d'entraînement continus, qui peuvent durer plusieurs mois.
Le temps nécessaire pour achever la formation dépend de la complexité du LLM, du nombre de couches de réseau neuronal utilisées pour entraîner le LLM, du nombre de paramètres qui doivent être ajustés pour améliorer la précision et de la conception de l'infrastructure du centre de données.
Mais qu'est-ce qu'un réseau neuronal et quels paramètres peuvent améliorer les résultats LLM ?
Un réseau de neurones est une architecture informatique conçue pour imiter le modèle de calcul du cerveau humain. Il est constitué d'une série de couches fonctionnelles successives : la couche d'entrée reçoit les données, la couche de sortie présente les résultats et la couche cachée intermédiaire traite les données brutes pour les transformer en informations exploitables. La sortie d'une couche devient l'entrée de la suivante, permettant ainsi de décomposer, d'analyser et de traiter systématiquement les requêtes sur chaque ensemble de nœuds neuronaux (ou fonctions mathématiques) jusqu'à l'obtention des résultats.
Chaque nœud neuronal de chaque couche possède une structure de réseau de connexions neuronales, et les chercheurs en IA peuvent pondérer chaque connexion. Chaque pondération est une valeur numérique représentant la force de l'association avec une connexion spécifique.