NVIDIA Grace Blackwell GPU によって強化され、最高の AI パフォーマンスを実現する新しい Amazon EC2 P6e-GB200 UltraServers

7 月 9 日、 Amazon Elastic Compute Cloud (Amazon EC2) P6e-GB200 UltraServers の一般提供をお知らせします。この製品は NVIDIA GB200 NVL72 によって強化されており、AI トレーニングと推論向けに最高の GPU パフォーマンスを提供します。Amazon EC2 UltraServers は、複数の EC2 インスタンス間で高帯域幅かつ低レイテンシーの専用アクセラレータインターコネクトを使用して、これらのインスタンスを接続します。

NVIDIA Grace Blackwell Superchip は、NVIDIA NVLink-C2C インターコネクトを使用して、2 つの高性能 NVIDIA Blackwell テンソルコア GPU と Arm アーキテクチャベースの NVIDIA Grace CPU を接続します。各 Grace Blackwell Superchip は、10 ペタフロップスの FP8 コンピューティング (スパース性なし) と最大 372 GB の HBM3e メモリを搭載しています。Superchip アーキテクチャでは、GPU と CPU が 1 つのコンピューティングモジュール内に配置されるため、現世代の EC2 P5en インスタンスと比較して、GPU と CPU 間の帯域幅が大幅に増加します。

EC2 P6e-GB200 UltraServers を使用すると、1 つの NVLink ドメイン内で最大 72 個の NVIDIA Blackwell GPU にアクセスして、360 ペタフロップスの FP8 コンピューティング (スパース性なし) と合計 13.4 TB の高帯域幅メモリ (HBM3e) を使用できます。AWS Nitro System を搭載した P6e-GB200 UltraServers は、EC2 UltraClusters にデプロイされ、数万台の GPU まで安全かつ確実にスケーリングできます。

EC2 P6e-GB200 UltraServers は、合計で最大 28.8 Tbps の Elastic Fabric Adapter (EFAv4) ネットワーキングを実現します。また、EFA は NVIDIA GPUDirect RDMA と組み合わされているため、オペレーティングシステムのバイパスを使用してサーバー間の GPU から GPU への通信を低レイテンシーで実現できます。

EC2 P6e-GB200 UltraServers の仕様
EC2 P6e-GB200 UltraServers は、NVLink で 36 個から 72 個の GPU のサイズでご利用いただけます。EC2 P6e-GB200 UltraServers の仕様は次のとおりです。

P6e-GB200 UltraServers は、エキスパートモデルと推論モデルの混合を含む、1 兆パラメータスケールでのフロンティアモデルのトレーニングや推論など、コンピューティングとメモリを非常に多く消費する AI ワークロードに最適です。

質問応答、コード生成、動画と画像の生成、音声認識などを含む、エージェンティック AI および生成 AI アプリケーションを構築できます。

動作中の P6e-GB200 UltraServers
ダラスローカルゾーンの EC2 P6e-GB200 UltraServers は、ML 用 EC2 キャパシティブロックを通じてご利用いただけます。ダラスローカルゾーン (us-east-1-dfw-2a) は、米国東部 (バージニア北部) リージョンの延長です。

EC2 キャパシティブロックを予約するには、Amazon EC2 コンソールで、[キャパシティ予約] を選択します。[ML 用キャパシティブロックを購入] を選択してから合計容量を選択し、u-p6e-gb200x36 または u-p6e-gb200x72 UltraServers 用の EC2 キャパシティブロックが必要な期間を指定します。

キャパシティブロックのスケジュールが正常に設定されると、事前に請求が行われ、購入後も料金は変わりません。支払いは、EC2 キャパシティブロックを購入してから 12 時間以内にお客様のアカウントに請求されます。詳細については、Amazon EC2 ユーザーガイドの「機械学習用のキャパシティブロック」を参照してください。

購入したキャパシティブロック内では、AWS マネジメントコンソール、AWS コマンドラインインターフェイス (AWS CLI)、または AWS SDK を使用してインスタンスを実行できます。ソフトウェア側では、AWS Deep Learning AMI を使用して開始できます。これらのイメージは、お客様がおそらく既にご存知であり、使用しているフレームワークとツール (PyTorch、JAX など) で事前設定されています。

また、EC2 P6e-GB200 UltraServers をさまざまな AWS マネージドサービスとシームレスに統合することも可能です。例:

• Amazon SageMaker Hyperpod は、P6e-GB200 UltraServers のプロビジョニングと管理を自動的に処理する、耐障害性の高いマネージド型のインフラストラクチャを提供し、障害が発生したインスタンスを同一 NVLink ドメイン内の事前設定済みの予備キャパシティに置き換えて、パフォーマンスを維持します。
• Amazon Elastic Kubernetes Service (Amazon EKS) を使用すると、1 つのマネージドノードグループをノードとして複数の P6e-GB200 UltraServer 間で使用し、Kubernetes クラスター内のプロビジョニングとライフサイクル管理を自動化することができます。P6e-GB200 UltraServers では EKS トポロジ対応ルーティングを使用できるため、分散ワークロードの緊密に結合されたコンポーネントを、単一の UltraServer の NVLink 接続インスタンス内に最適に配置することが可能です。
• Amazon FSx for Lustre ファイルシステムは、大規模な HPC および AI ワークロードに必要となる数百 GB/秒のスループットと、数百万回の 1 秒あたりの入出力オペレーション (IOPS) で、P6e-GB200 UltraServers のデータアクセスを提供します。大規模なデータセットにすばやくアクセスするには、最大 405 TB のローカル NVMe SSD ストレージを使用するか、Amazon Simple Storage Service (Amazon S3) で費用対効果の高い事実上無制限のストレージを使用することができます。

今すぐご利用いただけます
Amazon EC2 P6e-GB200 UltraServers は現在、ML 用 EC2 キャパシティブロックを通じてダラスローカルゾーン (us-east-1-dfw-2a) でご利用いただけます。詳細については、Amazon EC2 の料金ページを参照してください。

Amazon EC2 コンソールで Amazon EC2 P6e-GB200 UltraServers をぜひお試しください。詳細については、Amazon EC2 P6e インスタンスのページをご覧ください。また、AWS re:Post for EC2 に、または通常の AWS サポートの連絡先を通じて、ぜひフィードバックをお寄せください。

– Channy

原文はこちらです。