- Ürün›
- Makine Öğrenimi›
- AWS Trainium
AWS Trainium
Trainium3, yeni nesil ajans, akıl yürütme ve video oluşturma uygulamaları için en iyi token ekonomisini sunmak üzere tasarlanmış ilk 3nm AWS AI çipimiz
Neden Trainium?
AWS Trainium, çok çeşitli üretken yapay zeka iş yüklerinde eğitim ve çıkarım için ölçeklenebilir performans ve maliyet verimliliği sağlamak üzere tasarlanmış, amaca yönelik bir yapay zeka hızlandırıcıları ailesidir (Trn1, Trn2 ve Trn3)
AWS Trainium Ailesi
Eğitim1
Birinci nesil AWS Trainium yongası, benzer Amazon EC2 bulut sunucularına kıyasla %50'ye kadar daha düşük eğitim maliyetleri içeren Amazon Elastic Compute Cloud (Amazon EC2) Trn1 bulut sunucularına güç vermektedir. Ricoh, Karakuri, SplashMusic ve Arcee AI dahil olmak üzere birçok müşteri, Trn1 bulut sunucularının performans ve maliyet avantajlarını fark ediyor.
Eğitim2
AWS Trainium2 yongası, birinci nesil Trainium'a kıyasla 4 kata kadar daha yüksek performans sunar. Trainium2 tabanlı Amazon EC2 Trn2 bulut sunucuları ve Trn2 UltraServers, üret ken yapay zeka için özel olarak oluşturulmuştur ve GPU tabanlı EC2 P5e ve P5en bulut sunucularına kıyasla %30-40 daha iyi fiyat performansı sunar. Trn2 bulut sunucuları 16 adede kadar Trainium2 yongasına sahiptir ve Trn2 UltraServers, tescilli çip-çip ara bağlantımız olan NeuronLink ile birbirine bağlanan 64 adede kadar Trainium2 yongasına sahiptir. Geniş bir yeni nesil üretken yapay zeka uygulamaları kümesi oluşturmak için büyük dil modelleri (LLM'ler), çok modlu modeller ve difüzyon transformatörleri dahil olmak üzere en zorlu modelleri eğitmek ve dağıtmak için Trn2 bulut sunucularını ve UltraServer'ı kullanabilirsiniz.
Eğitim3
Dördüncü nesil yapay zeka çipimiz olan AWS Trainium—AWS'nin ilk 3 nm yapay zeka çipiyle desteklenen Trn3 UltraServers, yeni nesil ajans, akıl yürütme ve video oluşturma uygulamaları için en iyi token ekonomisini sunmak üzere özel olarak tasarlanmıştır. Trn3 UltraServers, Trn2 UltraServer'a kıyasla 4,4 kata kadar daha yüksek performans, 3,9 kat daha yüksek bellek bant genişliği ve 4 kat daha iyi enerji verimliliği sunarak güçlendirilmiş öğrenme, Uzmanların Karışımı (MoE), akıl yürütme ve uzun bağlamlı mimariler dahil olmak üzere eğitim ve öncü ölçekli modellere hizmet vermek için en iyi fiyat-performansı sağlar.
Her AWS Trainium3 yongası 2,52 petaflop (PFLOPS) FP8 hesaplama sağlar, Trainium2 üzerinden 1,5 kat ve bant genişliğini 1,7 kat artırarak 144 GB HBM3e belleğe ve 4,9 TB/s bellek bant genişliğine sahiptir. Trainium3, gelişmiş veri türleri (MXFP8 ve MXFP4) ve gelişmiş bellekten hesaplama ile hem yoğun hem de uzman paralel iş yükleri için tasarlanmıştır. gerçek zamanlı, çok modlu ve akıl yürütme görevleri için denge.
Amazon Bedrock'ta Trainium3, Trainium2'den 3 kat daha hızlı performans ve hizmetteki diğer hızlandırıcılardan 3 kat daha iyi güç verimliliği sağlayan en hızlı hızlandırıcıdır. Büyük ölçekli hizmet testlerinde (örn. GPT-OSS), Trn3, kullanıcı başına benzer gecikmeyle megawatt başına Trn2'den 5 kat daha yüksek çıktı belirteçleri sunarak, ölçekte daha sürdürülebilir, daha yüksek verim çıkarımı sağlar.
Geliştiriciler için tasarlandı
Yeni Trainium3 tabanlı bulut sunucuları, yapay zeka araştırmacıları için oluşturulmuş ve kilidini açmak için AWS Neuron SDK tarafından desteklenmiştir
çığır açan performans.
Yerel PyTorch entegrasyonu ile geliştiriciler, tek bir kod satırını değiştirmeden eğitebilir ve dağıtabilir. Yapay Zeka için
Performans mühendisleri, Trainium3'e daha derin erişim sağladık, böylece geliştiriciler performansa ince ayar yapabilir,
çekirdekleri özelleştirin ve modellerinizi daha da ileri itin. İnovasyon açıklığı arttırdığı için kararlıyız
açık kaynaklı araçlar ve kaynaklar aracılığıyla geliştiricilerimizle etkileşim kurmak.
Daha fazla bilgi edinmek için Amazon EC2 Trn3 bulut sunucularını ziyaret edin, AWS N euron SDK'yı keşfedin veya önizleme erişimi için kaydolun.
Avantajlar
Trn3 UltraServers, NeuronSwitch-v1 ile ölçeklendirilen UltraServer teknolojisindeki en son yeniliklere sahiptir.
144 adede kadar Trainium3 çipinde daha hızlı hepsi herkese kolektifler. Toplamda, tek bir Trn3 UltraServer şunları sağlar
20,7 TB'a kadar HBM3e, 706 TB/sn bellek bant genişliği ve 362 FP8 PFLOP'a kadar 4,4 kata kadar daha fazlasını sunar
Trn2 UltraServers'a göre performans ve 4 kat daha iyi enerji verimliliği. Trn3 en yüksek seviyeyi sağlar
En yeni 1T+ parametre MoE ve akıl yürütme tipi modelleri ile eğitim ve çıkarım için en düşük maliyetle performans sağlar ve Trainium2- ile karşılaştırıldığında ölçekte hizmet veren GPT-OSS için önemli ölçüde daha yüksek verim sağlar.
tabanlı örnekler.
Trn2 UltraServers, üretken yapay zeka eğitimi ve çıkarımı için yüksek performanslı, uygun maliyetli bir seçenek olmaya devam ediyor
1T parametrelerine kadar modeller. Trn2 bulut sunucuları 16 adede kadar Trainium2 yongasına ve Trn2 UltraServers özelliğine sahiptir
tescilli bir çip-çip ara bağlantısı olan NeuronLink ile bağlı 64 adede kadar Trainium2 yongası.
Trn1 bulut sunucuları 16 adede kadar Trainium yongasına sahiptir ve 3 adede kadar FP8 PFLOP, 512 GB HBM ve 9,8 TB/sn
bellek bant genişliği ve 1,6 Tbps'ye kadar EFA ağı.
Araştırma ve Deney için Tasarlandı
AWS Neuron SDK, Trn3, Trn2 ve Trn1 bulut sunucularından tam performansı elde etmenize yardımcı olur, böylece modeller oluşturmaya ve dağıtmaya ve pazara sunma sürenizi hızlandırmaya odaklanabilirsiniz. AWS Neuron, PyTorch Jax ve Hugging Face, vLLM, PyTorch Lightning ve diğerleri gibi temel kütüphanelerle yerel olarak entegre olur. Profilleme ve hata ayıklama için derin öngörüler sağlarken, modelleri dağıtılmış eğitim ve çıkarım için kullanıma hazır halde sunar. AWS Neuron Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster ve AWS Batch gibi hizmetlerin yanı sıra Ray (Anyscale), Domino Data Lab ve Datadog gibi üçüncü taraf hizmetlerle entegre olur.
AWS Trainium, doğruluk hedeflerini karşılarken yüksek performans sunmak için çeşitli karışık hassasiyetleri destekler
BF16, FP16, FP8, MXFP8 veMXFP4 gibi veri türleri. Üretken yapay zekada hızlı inovasyon hızını desteklemek,
Trainium2 ve Trainium3, 4x seyreklik (16:4), mikro ölçekleme, stokastik için donanım optimizasyonlarına sahiptir
yuvarlama ve özel kolektif motorlar.
Neuron, geliştiricilerin çekirdek geliştirme için Neuron Kernel Interface (NKI) kullanarak iş yüklerini optimize etmelerini sağlar. NKI, tam Trainium ISA'yı ortaya çıkararak, talimat düzeyinde programlama, bellek tahsisi ve yürütme zamanlaması üzerinde tam kontrol sağlar. Geliştiriciler, kendi Çekirdeklerinizi oluşturmanın yanı sıra, optimize edilmiş çekirdekleri dağıtmaya hazır açık kaynak olan Neuron Çekirdek Kitaplığını kullanabilir. Son olarak, Neuron Explore, geliştiricilerin kodlarını donanımdaki motorlara bağlayarak tam yığın görünürlüğü sağlar.
Müşteriler
Databricks, Ricoh, Karakuri, SplashMusic ve diğerleri gibi müşteriler, Trn1 bulut sunucularının performans ve maliyet avantajlarını fark ediyor.
Anthropic, Databricks, Poolside, Ricoh ve NinjaTech AI dahil olmak üzere müşteriler, Trn1 ve Trn2 bulut sunucularında önemli performans ve maliyet avantajları elde ediyor.
Trn3'ü ilk benimseyenler, yeni nesil büyük ölçekli üretken yapay zeka modelleri için yeni verimlilik ve ölçeklenebilirlik seviyeleri elde ediyor.
