AWS Trainium

Les serveurs Trn3 UltraServers intègrent les dernières innovations en matière de technologie UltraServer évolutive, avec NeuronSwitch-v1 pour des collectifs « all-to-all » plus rapides sur un maximum de 144 puces Trainium3. L’UltraServer Trn3 offre jusqu’à 20,7 To de HBM3e, une bande passante mémoire de 706 To/s et 362 MXFP8 PFLOPs, offrant jusqu’à 4,4 fois plus de performances et une efficacité énergétique plus de 4 fois supérieure à celle des UltraServers Trn2. Trn3 fournit les plus hautes performances au moindre coût pour l’entraînement et l’inférence avec les derniers modèles MoE à paramètres 1T+ et de type de raisonnement, et augmente considérablement le débit pour le GPT-OSS servant à grande échelle par rapport aux instances basées sur Trainium2.

Les serveurs Trn2 UltraServer restent une option performante et économique pour l’entraînement de l’IA générative et l’inférence de modèles comportant jusqu’à 1 T de paramètres. Les instances Trn2 intègrent jusqu’à 16 puces Trainium2, tandis que les serveurs Trn2 UltraServer intègrent jusqu’à 64 puces Trainium2 reliées par NeuronLink, une interconnexion puce-à-puce propriétaire.

Les instances Trn1 intègrent jusqu’à 16 puces Trainium et offrent jusqu’à 3 FP8 PFLOPs, 512 Go de mémoire HBM avec une bande passante mémoire de 9,8 To/s, ainsi qu’un réseau EFA pouvant atteindre 1,6 Tbit/s.

AWS Neuron SDK vous permet de tirer pleinement parti des instances Trn3, Trn2 et Trn1 afin que vous puissiez vous concentrer sur la création et le déploiement de modèles tout en accélérant la mise sur le marché. AWS Neuron s’intègre nativement à et PyTorch Jax, ainsi qu’aux bibliothèques essentielles telles que Hugging Face, vLLM, PyTorch Lightning et d’autres. Il optimise les modèles prêts à l’emploi pour l’entraînement et l’inférence distribués, tout en fournissant des informations analytiques détaillées pour le profilage et le débogage. AWS Neuron s’intègre à des services tels qu’Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster et AWS Batch, et à des services tiers tels que Ray (Anyscale), Domino Data Lab et Datadog.

Pour fournir des performances élevées tout en atteignant les objectifs de précision, AWS Trainium prend en charge une gamme de niveaux de précision mixtes
de types de données tels que BF16, FP16, FP8, MXFP8 et MXFP4. Pour soutenir le rythme rapide de l’innovation dans le domaine de l’IA générative,
Trainium2 et Trainium3 proposent des optimisations matérielles pour une dispersion 4 fois plus faible (16:4), une micro-mise à l’échelle et une stochastique
arrondi et moteurs collectifs dédiés.

Neuron permet aux développeurs d’optimiser leurs charges de travail à l’aide de Neuron Kernel Interface (NKI) pour le développement du noyau. NKI expose l’intégralité de Trainium ISA, permettant un contrôle total de la programmation au niveau des instructions, de l’allocation de mémoire et de la planification de l’exécution. En plus de créer leurs propres noyaux, les développeurs peuvent utiliser la bibliothèque de noyaux Neuron, qui est open source et prête à déployer des noyaux optimisés. Enfin, Neuron Explore offre une visibilité complète de la pile, en connectant le code des développeurs jusqu’aux moteurs du matériel.