Clients Amazon SageMaker HyperPod

Chez Intercom, nous formons constamment de nouveaux modèles pour améliorer Fin, et nous sommes très heureux d’intégrer la formation sans point de contrôle à nos pipelines. Cela éliminera complètement le besoin de restauration manuelle des points de contrôle. Combiné à un entraînement élastique, cela nous permettra d’apporter des améliorations à Fin plus rapidement et à moindre coût d’infrastructure.

Grâce à SageMaker HyperPod, Bayer a entraîné et utilisé de nouveaux modèles de fondation en seulement quelques mois. Leur équipe scientifique peut désormais traiter d’énormes volumes de données d’imagerie biomédicale, entraîner des modèles de machine learning (ML) sophistiqués et identifier des candidats-médicaments prometteurs à partir de signatures phénotypiques. Alors que Bayer continue d’innover, la collaboration avec AWS contribue à accélérer et à optimiser la recherche et le développement pharmaceutiques.  

Sony Honda Mobility utilise SageMaker HyperPod pour l’entraînement des modèles au sein de leur pipeline MLOps afin d’améliorer AFEELA Intelligent Drive. « Les fonctionnalités d’observabilité prêtes à l’emploi HyperPod nous fournissent un ensemble complet de métriques sur plusieurs dimensions (cluster, nœud, tâche, etc.). Nous avons hâte d’obtenir des analyses d’état et de performance plus approfondies, préconfigurées et avec une agrégation au niveau des tâches. »

Motoi Kataoka, ingénieur MLOps, Division Développement des Services Réseau chez Sony Honda Mobility

Thomson Reuters est à la pointe du développement de l’IA depuis plus de 30 ans, et nous nous engageons à fournir des solutions qui aident significativement nos clients à obtenir des résultats plus rapidement, avec un meilleur accès à des informations fiables. Pour accélérer notre innovation en matière d’IA générative, outre le partenariat avec des fournisseurs de LLM, nous étudions également la possibilité d’entraîner des modèles personnalisés plus efficacement grâce à notre contenu unique et exclusif et à notre expertise humaine. Les bibliothèques d'entraînement distribué de SageMaker HyperPod nous permettent d'améliorer les performances d'entraînement des modèles à grande échelle. De plus, sa fonctionnalité de résilience permet de gagner du temps lors de la surveillance et de la gestion de l’infrastructure. L’entraînement de nos modèles de fondation sur SageMaker HyperPod accélérera davantage notre délai de mise sur le marché et nous aidera à fournir des solutions de qualité à nos clients à un rythme soutenu.

Joel Hron, responsable de l’IA et des laboratoires chez Thomson Reuters, et John Duprey, ingénieur émérite chez Thomson Reuters Labs

En tant que leader de l’IA générative open source, notre objectif est de maximiser l’accessibilité de l’IA moderne. Nous construisons des modèles de fondation avec des dizaines de milliards de paramètres, ce qui nécessite une infrastructure capable de mettre à l’échelle des performances d’entraînement optimisées. Grâce à l’infrastructure gérée et aux bibliothèques d’optimisation de SageMaker HyperPod, nous pouvons réduire le temps et les coûts d’entraînement de plus de 50 %. Cela rend l’entraînement de nos modèles plus résilient et plus performant afin de construire plus rapidement des modèles de pointe.

Emad Mostaque, fondateur et PDG, Stability AI

L’ensemble du processus a été rationalisé. Grâce à SageMaker HyperPod, nous pouvons tirer parti des fonctionnalités de résilience des clusters qui, en cas de panne matérielle, identifient les tâches d’entraînement et assurent leur reprise automatique depuis le dernier point de contrôle enregistré. Nous exécutons des charges de travail très diverses, qu’il s’agisse d’applications, d’inférence ou d’entraînement, avec Kubernetes comme fil conducteur. Pour nous, Amazon EKS avec SageMaker HyperPod fonctionne parfaitement, les nœuds s’intègrent directement à notre cluster.

Nathan Wilce, responsable de l’infrastructure et des données, Recursal

Hippocratic AI, une société d’IA qui développe le premier grand modèle de langage (LLM) axé sur la sécurité pour les soins de santé. Pour entraîner son principal LLM et les modèles superviseurs, Hippocratic AI avait besoin de ressources de calcul puissantes, très sollicitées et difficiles à obtenir. Les plans d’entraînement flexibles d’Amazon SageMaker HyperPod a permis à l’entreprise d’accéder plus facilement aux instances Amazon Elastic Compute Cloud (Amazon EC2) P5. Hippocratic AI tire également parti de services AWS tels que Grafana pour suivre les métriques d’utilisation du GPU stratégiques. À l’aide des instances Amazon EC2 P5, Hippocratic AI a multiplié par quatre la vitesse d’entraînement des modèles et met à l’échelle sa solution pour s’adapter à des centaines de cas d’utilisation. Cela a permis à l’entreprise de sécuriser les ressources de calcul nécessaires et d’entraîner rapidement leurs modèles.

NinjaTech AI, une société d’IA générative qui fournit un SuperAgent tout-en-un pour une productivité illimitée, a utilisé les plans d’entraînement flexibles Amazon SageMaker HyperPod pour accélérer le peaufinage de divers modèles internes, notamment le modèle Llama 3.1 405B, afin de réduire les coûts d’entraînement des modèles et d’automatiser les processus. L’entreprise vise à fournir une expérience fluide à ses utilisateurs qui souhaitent accéder aux différents agents d’IA qui optimisent leur technologie SuperAgent. Pour y parvenir, elle avait besoin d’un modèle capable de prédire automatiquement l’intention de l’utilisateur et de déterminer quel agent d’IA lui conviendrait le mieux. Ce mécanisme nécessitait de fréquentes mises à jour du modèle en intégrant les commentaires des clients et les nouvelles fonctionnalités de manière itérative, impliquant entre 10 millions et 100 millions de jetons à chaque cycle de peaufinage LoRA. En tant que start-up, l’acquisition et l’exploitation de ressources de calcul hautes performances constituent un défi en raison de leurs coûts élevés et de leurs problèmes de bande passante, en particulier dans les clusters à nœuds multiples qui impliquent un réseau et un stockage rapides en plus d’un calcul accéléré. En outre, le processus d’entraînement prend beaucoup de temps et implique des étapes telles que le téléchargement de modèle, l’entraînement distribué, la création de points de contrôle, la surveillance, la correction automatique, la fusion et la quantification. Les plans d’entraînement flexibles d’HyperPod ont fourni à l’entreprise un calcul fiable et abordable avant le cycle d’entraînement, répondant à ses exigences spécifiques en matière de calcul et de calendrier, tout en garantissant un entraînement des modèles efficace.

Les développeurs et les scientifiques de données d’OpenBabylon, une société d’intelligence artificielle qui personnalise de grands modèles de langages pour les langues sous-représentées, utilisent les plans d’entraînement flexibles de SageMaker HyperPod depuis quelques mois afin de rationaliser leur accès aux ressources GPU et de réaliser des expériences à grande échelle. En utilisant les fonctionnalités d’entraînement distribué SageMaker HyperPod à nœuds multiples, ils ont mené 100 expériences d’entraînement de modèle à grande échelle et obtenu des résultats de pointe en matière de traduction de l’anglais vers l’ukrainien. Cette avancée a été réalisée dans les délais et à moindre coût, démontrant la capacité de SageMaker HyperPod à mener à bien des projets complexes dans les délais et le budget impartis.

« Avec Amazon SageMaker HyperPod, nous avons créé et déployé les modèles de fondation de notre plateforme d’IA agentique en utilisant le même calcul haute performance. Cette transition fluide de l’entraînement à l’inférence a rationalisé notre flux de travail, réduit les délais de production et garanti des performances constantes en environnement réel. HyperPod nous a permis de transformer nos expérimentations en résultats concrets, plus rapidement et plus efficacement. »

Laurent Sifre, cofondateur et directeur technique, H.AI

« Nous sommes ravis d’utiliser la solution d’observabilité en un clic d’Amazon SageMaker HyperPod. Nos cadres supérieurs avaient besoin d’informations analytiques sur la manière dont nous utilisons les ressources GPU coûteuses. Les tableaux de bord préconfigurés de Grafana nous fourniront exactement ce dont nous avions besoin, avec une visibilité immédiate sur les métriques critiques, de l’utilisation des GPU par tâche à la performance du système de fichiers (FSx pour Lustre), sans nécessiter la maintenance d’une infrastructure de surveillance. En tant que personne qui apprécie la puissance du Prometheus Query Language, j’apprécie de pouvoir écrire mes propres requêtes et analyser des métriques personnalisées sans me soucier des problèmes d’infrastructure. »

Josh Wills, technicien, Datology AI

« Avec SageMaker HyperPod et Trainium, nos chercheurs expérimentent aussi rapidement que notre communauté crée. Nous ne nous contentons pas de suivre les tendances musicales : nous les définissons. »

Randeep Bhatia, directeur de la technologie, Splash Music

« Nous étendons notre partenariat avec AWS en tant que partenaire de lancement pour la gouvernance des tâches Amazon SageMaker HyperPod. Notre collaboration avec AWS nous permettra de guider les clients vers les dernières avancées technologiques tout en contribuant à réduire les coûts des applications d’IA générative. En combinant les fonctionnalités de gouvernance centralisées de SageMaker HyperPod et notre expérience en matière de projets d’IA générative, nous pouvons aider les entreprises à tirer parti de l’IA générative encore plus rapidement, en améliorant l’expérience client et en augmentant le retour sur investissement. »

Jennifer Jackson, responsable mondiale d’Accenture AWS Business Group et directrice générale senior

« Nous sommes ravis de collaborer avec AWS en tant que partenaire de lancement pour la gouvernance des tâches Amazon SageMaker HyperPod. En collaborant avec AWS, nous pouvons désormais aider nos clients à adopter rapidement les dernières avancées technologiques et à réduire les coûts de leurs applications d’IA générative. En associant les fonctionnalités de gouvernance centralisées SageMaker HyperPod à la vaste expérience de Slalom en matière d’IA et de cloud, nous pouvons offrir des expériences client exceptionnelles tout en augmentant le retour sur investissement. »

Jeff Kempiners, directeur général du Centre d’excellence Amazon (CoE) de Slalom

« Nous sommes ravis de collaborer avec AWS en tant que partenaire de lancement pour la gouvernance des tâches de SageMaker HyperPod. Ensemble, nous pouvons aider nos clients à réduire les coûts des applications d’IA générative, tout en restant au fait des dernières avancées technologiques. En combinant les fonctionnalités de gouvernance centralisée SageMaker HyperPod avec l’expertise approfondie de Rackspace en matière d’IA et de cloud, nous pouvons transformer les expériences clients et améliorer simultanément leur retour sur investissement. »

Srini Koushik, président de l’IA, de la technologie et du développement durable chez Rackspace Technology