AWS Trainium

Trn3 UltraServers, 144 adede kadar Trainium3 yongasında daha hızlı tümden tüme kolektifler sağlayan NeuronSwitch-v1 sayesinde, ölçeği artırılan UltraServer teknolojisindeki en son yeniliklere sahiptir. Trn3 UltraServer, 20,7 TB'a kadar HBM3e, 706 Tb/sn bellek bant genişliği ve 362 MXFP8 PFLOP sağlayarak, Trn2 UltraServers'a göre 4,4 kata kadar daha yüksek performans ve 4 katın üzerinde daha iyi enerji verimliliği sunar. Trn3, en yeni 1 trilyondan fazla parametreli MoE ve akıl yürütme tipi modelleriyle eğitim ve çıkarım için en düşük maliyetle en yüksek performansı sunar ve Trainium2 tabanlı bulut sunucularına kıyasla uygun ölçekte hizmet veren GPT-OSS için önemli ölçüde daha yüksek aktarım hızı sağlar.

Trn2 UltraServers, 1 trilyona kadar parametreye sahip modellerin üretken yapay zekâ eğitimi ve çıkarımı için yüksek performanslı ve uygun maliyetli bir seçenek olmaya devam ediyor. Trn2 bulut sunucuları 16 adede kadar Trainium2 yongasına sahiptir ve Trn2 UltraServers, tescilli bir yongadan yongaya ara bağlantı olan NeuronLink ile bağlantılı 64 adede kadar Trainium2 yongasına sahiptir.

Trn1 bulut sunucuları 16 adede kadar Trainium yongasına sahiptir ve 3 PFLOP'a kadar FP8 işlem gücü, 9,8 TB/sn bellek bant genişliğine sahip 512 GB HBM ve 1,6 Tbps'ye kadar EFA ağ iletişimi sağlar.

AWS Neuron SDK, Trn3, Trn2 ve Trn1 bulut sunucularından tam performansı elde etmenize yardımcı olur, böylece modeller oluşturmaya ve dağıtmaya ve pazara ulaşma sürenizi hızlandırmaya odaklanabilirsiniz. AWS Neuron; PyTorch ve Jax'ın yanı sıra Hugging Face, vLLM, PyTorch Lightning ve diğerleri gibi gerekli kitaplıklarla yerel olarak entegre olur. Profil oluşturma ve hata ayıklama için derin öngörüler sağlarken modelleri optimize ederek dağıtılmış eğitim ve çıkarım için kullanıma hazır hâlde sunar. AWS Neuron hem Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster ve AWS Batch gibi hizmetlerle hem de Ray (Anyscale), Domino Data Lab ve Datadog gibi üçüncü taraf hizmetleriyle entegrasyon sağlar.

AWS Trainium, doğruluk hedeflerini karşılarken yüksek performans sunmak için
BF16, FP16, FP8, MXFP8 ve MXFP4 gibi çeşitli karma duyarlıklı veri türlerini destekler. Trainium2 ve Trainium3, üretken yapay zekâda yüksek inovasyon hızını
desteklemek üzere 4 kat seyreklik (16:4), mikro ölçekleme, stokastik yuvarlama ve tahsis edilmiş kolektif altyapılar
için donanım optimizasyonlarına sahiptir.

Neuron, geliştiricilerin çekirdek geliştirme için Nöron Kernel Arabirimi (NKI) kullanarak iş yüklerini optimize etmelerini sağlar. NKI, talimat düzeyinde programlama, bellek tahsisi ve yürütme zamanlaması üzerinde tam kontrol sağlayan eksiksiz Trainium ISA'yı kullanıma sunar. Geliştiriciler, kendi çekirdeklerini oluşturabilir ve ayrıca, optimize edilmiş çekirdekleri dağıtmaya hazır olan, açık kaynaklı Neuron Çekirdek Kitaplığını kullanabilir. Son olarak, Neuron Explore, geliştiricilerin kodunu donanımdaki altyapılara bağlayarak tam yığın görünürlüğünü sağlar.