Lewati ke Konten Utama

Amazon EC2

Mengapa memilih UltraServers Amazon EC2?

UltraServers Amazon Elastic Compute Cloud (Amazon EC2) ideal untuk pelanggan yang mencari pelatihan AI dan performa inferensi terbaik untuk model pada skala triliunan parameter. UltraServers menghubungkan beberapa instans EC2 menggunakan interkoneksi akselerator khusus dengan bandwidth tinggi dan latensi rendah yang memungkinkan Anda memanfaatkan jaringan akselerator yang dipasangkan secara erat di seluruh instans EC2, dan mengakses komputasi dan memori yang jauh lebih banyak daripada instans EC2 mandiri.

UltraServers EC2 ideal untuk model terbesar yang membutuhkan lebih banyak memori dan bandwidth memori daripada yang dapat disediakan oleh instans EC2 mandiri. Desain UltraServer menggunakan konektivitas akselerator intra-instans untuk menghubungkan beberapa instans ke dalam satu simpul, yang membuka kemampuan baru. Kesimpulannya, UltraServers membantu memberikan waktu respons terdepan di industri untuk menciptakan pengalaman waktu nyata terbaik. Untuk pelatihan, UltraServers meningkatkan kecepatan dan efisiensi pelatihan model dengan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri. UltraServers EC2 mendukung jaringan EFA dan ketika digunakan di UltraClusters EC2 memungkinkan pelatihan terdistribusi dengan penambahan skala di puluhan ribu akselerator pada jaringan berskala petabit tunggal dan non-pemblokiran. Dengan memberikan performa yang lebih tinggi untuk pelatihan dan inferensi, UltraServers mempercepat waktu Anda menuju pasar dan membantu Anda menghadirkan aplikasi waktu nyata yang didukung oleh model fondasi generasi berikutnya dengan performa paling tinggi.

Keuntungan

UltraServers memungkinkan pelatihan dan inferensi model yang efisien dengan ratusan miliar hingga triliunan parameter dengan menghubungkan serangkaian akselerator yang lebih besar dengan interkoneksi bandwidth tinggi dan, latensi rendah untuk menghasilkan lebih banyak komputasi dan memori daripada instans EC2 mandiri.

UltraServers memungkinkan inferensi waktu nyata untuk model ultra-besar yang membutuhkan memori dan sumber daya bandwidth memori yang substansial di luar yang dapat ditawarkan oleh satu instans EC2.

UltraServers memungkinkan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri, yang membantu Anda mengurangi waktu untuk melatih.

Fitur

Anda dapat meluncurkan instans ke UltraServer dan memanfaatkan interkoneksi akselerator khusus, bandwidth tinggi, dan latensi rendah di seluruh instans ini. UltraServers memungkinkan akses ke sejumlah besar akselerator yang terhubung dengan interkoneksi khusus ini, memberikan komputasi dan memori yang jauh lebih banyak dalam satu simpul daripada instans EC2 mandiri.

UltraServers EC2 yang di-deploy di UltraClusters EC2 saling terhubung dengan jaringan EFA berskala petabit untuk meningkatkan performa beban kerja pelatihan terdistribusi.

Anda dapat menggunakan UltraServers EC2 bersama dengan solusi penyimpanan beperforma tinggi, seperti Amazon FSx for Lustre, penyimpanan bersama yang dikelola sepenuhnya yang dibangun di atas sistem file paralel beperforma tinggi paling yang populer. Anda juga dapat menggunakan penyimpanan hemat biaya yang hampir tak terbatas dengan Amazon Simple Storage Service (Amazon S3).

UltraServers EC2 dibangun di AWS Nitro System, yaitu kumpulan komponen dasar yang kaya, yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus. Nitro memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sehingga mengurangi overhead virtualisasi.

Instans didukung

Instans Trn2

Didukung oleh chip AWS Trainium2, instans Trn2 dalam konfigurasi Trn2 UltraServer (tersedia dalam pratinjau) memungkinkan Anda menskalakan hingga 64 chip Trainium2 yang terhubung dengan NeuronLink, interkoneksi dengan bandwidth tinggi dan latensi rendah khusus untuk chip AI AWS. UltraServers Trn2 memberikan performa terobosan di Amazon EC2 untuk pelatihan dan inferensi AI generatif.

Pelajari selengkapnya

Instans P6e-GB200

Didukung oleh NVIDIA GB200 NVL72, instans P6e-GB200 dalam konfigurasi UltraServer memungkinkan Anda mengakses hingga 72 GPU Blackwell dalam satu domain NVLink untuk memanfaatkan 360 petaflop komputasi FP8 (tanpa sparsity), 13,4 TB total memori bandwidth tinggi (HBM3e), dan hingga 28,8 terabit per detik jaringan Elastic Fabric Adapter (EFAv4). Instans P6e-GB200 hanya tersedia dalam UltraServer dengan jumlah GPU mulai dari 8 hingga 72 GPU.

Pelajari selengkapnya