Réseau de centres de données IA ABC : Construction vs Achat et Chapitre sur les coûts

La popularisation de l'IA stimule la croissance et les investissements dans les centres de données dédiés. Les entreprises, autrefois presque entièrement dépendantes des fournisseurs de cloud, étendent désormais leur couverture de centres de données IA via des centres privés, espérant ainsi exercer un meilleur contrôle sur les charges de travail et les applications d'IA.

Exploiter pleinement l'investissement dans les centres de données IA

D'après les prévisions d'IDC, d'ici 2027, les investissements des entreprises dans les équipements de commutation des centres de données dédiés à l'IA atteindront 1 milliard de dollars, soit un taux de croissance annuel composé de 158 %. Sur la même période, le volume d'échanges des fournisseurs de cloud devrait poursuivre sa forte croissance, à un taux annuel composé de 91,5 %, certaines entreprises envisageant de transférer une partie de leurs charges de travail d'entraînement et d'inférence vers des centres de données privés et d'adopter une stratégie de cloud hybride.

Qu’il s’agisse de construire son propre centre de données privé, d’acheter des services d’IA auprès de fournisseurs de cloud public ou d’utiliser un modèle de cloud hybride, plusieurs points clés doivent être pris en compte :

sensibilité des données

Avez-vous besoin de conserver des données sensibles ou confidentielles dans votre cloud privé local, ou devez-vous vous conformer aux règles de souveraineté des données et limiter leur accès à une zone géographique définie ? Les secteurs de la technologie, de la finance, des administrations publiques et de la santé sont plus susceptibles d’exiger des centres de données privés pour protéger leur propriété intellectuelle ou éviter les risques de litiges.

Connaissances professionnelles

Quel est votre niveau d'expertise en science des données ou en réseaux internes ? Si vous disposez du personnel qualifié, le déploiement d'un centre de données privé est une solution pertinente. Dans le cas contraire, nous devrons développer ou externaliser cette expertise.

Situation géographique

Disposez-vous, sur le site prévu, d'infrastructures suffisantes pour répondre aux besoins du centre de données ? La consommation électrique de chaque GPU dans un grand cluster d'entraînement est de 700 W, ce qui pourrait nécessiter des mises à niveau coûteuses des installations électriques existantes.
Les entreprises peuvent également choisir de répartir leurs clusters d'IA sur plusieurs centres de données afin de maîtriser leur consommation électrique. Les performances d'inférence, notamment le RAG (Rapid Aggregation), pourraient inciter les centres de données d'IA à se rapprocher de la périphérie du réseau, les petits clusters étant physiquement plus proches des utilisateurs. On peut citer en exemple les applications IoT déployées dans les ateliers de production.
L'architecture hybride permet aux entreprises de développer des solutions en fonction de leurs capacités et d'acquérir des solutions en dehors de celles-ci, déployant ainsi des fonctions d'IA pour l'entraînement, l'inférence et le RAG (Random Agile, Analytics, Data) aux endroits les plus avantageux.

Délai de mise sur le marché

Quel est le délai de lancement de votre produit ? Si les délais sont serrés, les services de cloud public peuvent accélérer le lancement et vous offrir un temps précieux pour planifier le déploiement de votre centre de données privé.
Où en est votre transformation vers l'IA ? Êtes-vous au début et devez-vous encore mener des expérimentations approfondies pour déterminer la méthode la plus adaptée à votre entreprise ? Dans ce cas, optez pour le cloud public. En revanche, si vous êtes déterminé à développer des technologies d'IA et que vous avez des projets d'utilisation dans différents secteurs d'activité, une analyse économique vous orientera généralement vers un investissement dans une infrastructure de cloud privé.

Stratégie d'entreprise

Comme de nombreux projets de transformation vers le cloud, les solutions d'IA débutent généralement au niveau départemental, créant des clusters d'IA isolés pour répondre à des défis spécifiques liés aux clients ou aux opérations. À mesure que les entreprises développent des stratégies globales intégrant une infrastructure d'IA plus unifiée et partagée, les coûts d'investissement en IA peuvent être amortis plus efficacement, permettant ainsi d'aligner les investissements en IA dans les centres de données privés sur les budgets existants de l'entreprise.
Au départ, pour les innovateurs et les pionniers de l'IA, le cloud public était la seule option. Bien que le cloud public demeure un élément important de la plupart des stratégies d'IA, les préoccupations liées à la sécurité des données et aux coûts favorisent l'adoption généralisée des centres de données privés et des solutions de cloud hybride.
Lors du récent événement virtuel sur la saisie des opportunités offertes par l'IA, organisé par Réseau JuniperDes entreprises, des clients, des partenaires et des experts du secteur ont discuté de leurs cas d'utilisation et stratégies respectifs en matière de cloud hybride, notamment des problèmes de sécurité des données pour les institutions financières et des stratégies pour équilibrer les coûts et les performances grâce au cloud hybride.

Coût : Maximiser le retour sur investissement dans le monde coûteux de l'IA

Quel que soit le mode de déploiement adopté, le coût élevé de l'IA est un fait avéré. Ce coût se mesure en fonction du budget, de l'expertise et du temps, autant de facteurs soumis à des contraintes de ressources. Les connaissances et le temps consacrés par les professionnels constituent des coûts variables d'une entreprise à l'autre, tandis que l'investissement direct dans l'IA est dicté par le marché et ne se heurte qu'à la difficulté d'allocation budgétaire.
Chaque serveur GPU coûte environ 400 000 $ et l'infrastructure d'un seul petit centre de données d'IA peut coûter des millions de dollars. Cependant, nous pouvons peut-être enfin pousser un soupir de soulagement. Les frameworks d'IA tels que PyTorch 2.0 éliminent l'intégration étroite et la dépendance aux chipsets NVIDIA. Cela a permis à Intel, AMD et d'autres fabricants de lancer des GPU compétitifs, bouleversant ainsi les schémas du marché et ramenant les prix à des niveaux plus normaux.

Lorsqu'on investit dans des modèles de cloud privé ou hybride, les exigences applicatives, les modèles de déploiement et les coûts sont des éléments essentiels. Mais les entreprises ne sont pas seules. L'IA est un domaine relativement nouveau pour la plupart d'entre elles, et son infrastructure soulève des défis complexes, mais il n'y a pas de solution miracle : la plupart de vos connaissances actuelles en matière de réseaux de centres de données sont applicables.