AWS Trainium

Trn3 UltraServers sở hữu những cải tiến mới nhất trong công nghệ UltraServer mở rộng, với NeuronSwitch-v1 giúp tăng tốc các phương thức giao tiếp all-to-all trên tối đa 144 chip Trainium3. Trn3 UltraServer cung cấp tới 20,7 TB bộ nhớ HBM3e, băng thông bộ nhớ 706 TB/giây và 362 MXFP8 PFLOPs, mang lại hiệu năng cao gấp 4,4 lần và hiệu quả sử dụng năng lượng tốt hơn gấp 4 lần so với Trn2 UltraServer. Trn3 mang lại hiệu năng cao nhất với chi phí thấp nhất cho quá trình huấn luyện và suy luận với các mô hình suy luận và MoE (Mixture of Experts) mới nhất có quy mô trên 1.000 tỷ tham số, đồng thời thúc đẩy thông lượng cao hơn đáng kể cho việc vận hành GPT-OSS trên quy mô lớn so với các phiên bản dựa trên Trainium2.

Trn2 UltraServers vẫn là lựa chọn có hiệu năng cao, tiết kiệm chi phí cho quá trình huấn luyện và suy luận các mô hình AI tạo sinh có quy mô lên tới 1.000 tỷ tham số. Các phiên bản Trn2 sở hữu tối đa 16 chip Trainium2, và Trn2 UltraServers sở hữu tối đa 64 chip Trainium2 được kết nối thông qua NeuronLink, công nghệ kết nối chip với chip độc quyền.

Các phiên bản Trn1 sở hữu tối đa 16 chip Trainium và mang lại hiệu năng tính toán lên tới 3 FP8 PFLOPs, 512 GB bộ nhớ HBM với băng thông bộ nhớ 9,8 TB/s, cùng kết nối mạng EFA lên tới 1,6 Tbps.

AWS Neuron SDK giúp bạn khai thác tối đa hiệu suất từ các phiên bản Trn3, Trn2 và Trn1 để bạn tập trung vào việc xây dựng và triển khai các mô hình cũng như rút ngắn thời gian đưa ra thị trường. AWS Neuron tích hợp nguyên bản với PyTorch, Jax cùng các thư viện thiết yếu như Hugging Face, vLLM, PyTorch Lightning và nhiều công cụ khác. Chip này tối ưu hóa các mô hình ngay từ đầu để huấn luyện và suy luận phân tán, đồng thời cung cấp khả năng quan sát chuyên sâu để lập hồ sơ và gỡ lỗi hiệu quả. AWS Neuron tích hợp với các dịch vụ như Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster và AWS Batch, cũng như các dịch vụ của bên thứ ba như Ray (Anyscale), Domino Data Lab và Datadog.

Để mang lại hiệu năng cao mà vẫn đáp ứng các mục tiêu về độ chính xác, AWS Trainium hỗ trợ nhiều kiểu dữ liệu đa dạng về tính chính xác
như BF16, FP16, FP8, MXFP8 và MXFP4. Để bắt kịp tốc độ đổi mới nhanh chóng của AI tạo sinh,
Trainium2 và Trainium3 được trang bị các tính năng tối ưu hóa phần cứng cho độ thưa gấp 4 lần (16:4), định dạng siêu tỷ lệ, làm tròn ngẫu nhiên
và các công cụ giao tiếp chuyên dụng.

Neuron cho phép các nhà phát triển tối ưu hóa khối lượng công việc thông qua Neuron Kernel Interface (NKI) để phục vụ việc phát triển nhân. NKI mở ra toàn bộ tập lệnh ISA của Trainium, cho phép kiểm soát hoàn toàn việc lập trình ở cấp độ lệnh, cấp phát bộ nhớ và lập lịch thực thi. Cùng với việc tự xây dựng các nhân riêng, nhà phát triển có thể sử dụng Neuron Kernel Library, một thư viện mã nguồn mở với các nhân đã được tối ưu hóa và sẵn sàng triển khai. Cuối cùng, Neuron Explore cung cấp khả năng hiển thị toàn diện, giúp kết nối mã nguồn của nhà phát triển trực tiếp xuống các công cụ thực thi trong phần cứng.