UltraClusters Amazon EC2

Exécutez des applications HPC et ML à grande échelle

Démarrer avec le P6-B200
Démarrer avec Trn2

Pourquoi utiliser les UltraClusters Amazon EC2 ?

Les UltraClusters Amazon Elastic Compute Cloud (Amazon EC2) permettent une mise à l’échelle à des milliers de GPU ou à des puces AI de ML conçus à cet effet, tels qu’AWS Trainium, pour accéder à la demande à un superordinateur. Il démocratise l'accès à des performances d'un superordinateur pour les développeurs de machine learning (ML), d'IA générative et de calcul haute performance (HPC) grâce à un modèle de tarification à l'usage simple sans aucun coût de configuration ou de maintenance. Les instances Amazon EC2 déployées dans EC2 UltraClusters incluent les instances P6-B200, P5en, P5e, P5, P4d, Trn2 et Trn1.

Les UltraClusters EC2 sont composés de milliers d’instances EC2 accélérées qui sont co-localisées dans une zone de disponibilité AWS donnée et interconnectées via le réseau Elastic Fabric Adapter (EFA) dans un réseau non bloquant à l’échelle du pétabit. Les UltraClusters EC2 donnent également accès à Amazon FSx pour Lustre, un stockage partagé entièrement géré basé sur le système de fichiers parallèle haute performance le plus populaire pour traiter rapidement des jeux de données volumineux à la demande et à grande échelle avec des latences inférieures à la milliseconde. Les UltraClusters EC2 fournissent des fonctionnalités de mise à l'échelle horizontale pour l'entraînement distribué de ML et les charges de travail HPC étroitement couplées.

Avantages

Les UltraClusters EC2 vous aident à réduire les temps d'entraînement et de résolution de plusieurs semaines à quelques jours seulement. Cela vous permet d'itérer plus rapidement et de commercialiser plus rapidement vos applications de deep learning (DL), d'IA générative et HPC.

Les instances P5 sont déployées dans des UltraClusters EC2 dotés d'un maximum de 20 000 GPU H100 pour fournir plus de 20 exaflops de capacité de calcul agrégée. De même, les instances Trn1 peuvent s'adapter à 30 000 accélérateurs Trainium, et les instances P4 peuvent se mettre à l'échelle jusqu'à 10 000 GPU A100 pour fournir un calcul exascale à la demande.

Les UltraClusters EC2 sont pris en charge sur une liste croissante d'instances EC2 et vous permettent de choisir la bonne option de calcul pour optimiser les performances tout en maîtrisant les coûts de votre charge de travail.

Caractéristiques

Mise en réseau haute performance

Les instances EC2 déployées dans les UltraClusters EC2 sont interconnectées au réseau EFA afin d'améliorer les performances des charges de travail d'entraînement distribuées et des charges de travail HPC étroitement couplées. Les instances P6-B200 fournissent jusqu’à 3,2 térabits par seconde de réseau EFAv4. Les serveurs Trn2 UltraServers disposent de 12,8 térabits par seconde de réseau EFAv3. Les instances P5en, P5e, P5 et Trn2 fournissent jusqu’à 3 200 Gbit/s ; les instances Trn1 fournissent jusqu’à 1 600 Gbit/s ; et les instances P4d fournissent jusqu’à 400 Gbit/s de réseau EFA. EFA est également couplé à NVIDIA GPUDirect Remote Direct Memory Access (RDMA) (P6-B200, P5en, P5e, P5, P4d) et NeuronLink (Trn2, Trn1) pour permettre une communication d’accélérateur à accélérateur à faible latence entre les serveurs grâce à un contournement du système d’exploitation.

Systèmes à haute performance

EC2 UltraClusters utilise FSx pour Lustre, un système de stockage partagé entièrement géré basé sur le système de fichiers parallèle à haute performance le plus populaire. Avec FSx pour Lustre, vous pouvez traiter rapidement des jeux de données volumineux à la demande et à l'échelle, et fournir des latences inférieures à la milliseconde. Les caractéristiques de faible latence et de haut débit de FSx pour Lustre sont optimisées pour les charges de travail de DL, d'IA générative et HPC sur les UltraClusters EC2. FSx pour Lustre alimente en données les GPU et les accélérateurs de ML des UltraClusters EC2, accélérant ainsi les charges de travail les plus exigeantes. Ces charges de travail incluent l'entraînement sur les grands modèles de langage (LLM), l'inférence par IA générative, le DL, la génomique et la modélisation des risques financiers. Vous pouvez également accéder à un stockage rentable pratiquement illimité avec Amazon Simple Storage Service (Amazon S3).

Instances et UltraServers pris en charge

Les instances Amazon EC2 P6-B200, accélérées par les GPU NVIDIA Blackwell, offrent des instances hautes performances pour l’entraînement de l’IA, l’inférence et le HPC.

En savoir plus

Alimentées par les puces IA AWS Trainium2, les instances Trn2 offrent un rapport prix/performances jusqu’à 30 % à 40 % supérieur à celui des instances basées sur des GPU comparables.

En savoir plus

Alimentées par les GPU NVIDIA H200 Tensor Core, les instances P5en et P5e offrent les meilleures performances dans Amazon EC2 pour l’entraînement de ML et les applications HPC.

En savoir plus

Alimentées par les GPU NVIDIA A100 Tensor Core, les instances P4D offrent des performances élevées pour l'entraînement de ML et les applications HPC.

En savoir plus

Alimentées par les puces IA AWS Trainium, les instances Trn1 sont spécialement conçues pour l’entraînement de ML à haute performance. Elles permettent d'économiser jusqu'à 50 % sur les coûts d'entraînement par rapport aux instances EC2 comparables.

En savoir plus