AWS Trainium 客户

性能和规模不仅仅是技术要求，它们对于实现这一使命也至关重要。正因为如此，我们与 AWS 合作，将他们视为我们的主要云提供商，并共同构建了 Project Rainier，这是世界上最强大的运营人工智能超级计算机之一。如今，将近一百万个 Trainium2 芯片正在训练和服务于 Claude，我们对 Trainium3 感到非常兴奋，并期待继续扩展 Claude，让它远远超出我们使用 Project Rainier 构建的成果，并突破人工智能的极限。

Anthropic 计算主管 James Bradbury。

通过与 AWS 合作，我们鱼与熊掌兼得。借助 Trainium，我们的客户可以扩展 poolside 的应用，并实现比其他人工智能加速器更高的性价比。此外，Trainium 即将推出原生 Pytorch 和 vLLM 支持，将为包括 poolside 用户在内的 Trainium 用户带来更多的创新和灵活性。最重要的是，AWS 秉承以客户为中心的崇高理念，还能够快速进行迭代并使用我们的反馈来调整 Trainium，以便满足我们的需求。我们期待在 Trainium 的各个方面深化我们双方的合作。

创始工程师 Joe Rowell

事实证明，Trainium 的独特架构，包括高效的内存层次结构和具有高吞吐量的人工智能引擎，非常适合 Decart 的实时视频模型，可以帮助我们充分利用硬件。早期测试表明，与顶级 GPU 相比，帧吞吐量提高到多达 4 倍，成本效益提高到 2 倍，延迟从 40 毫秒减小到了 10 毫秒。这样的高性能可以大规模生成实时、动态、交互式的视频，这在以前的标准硬件上是不可能实现的。通过 Bedrock，AWS 客户很快就能直接访问这些功能。

联合创始人兼首席执行官 Dean Leitersdorf
 

通过采用 AWS Trainium，我们将 LLM 训练成本降低了 50% 以上，同时保持了稳定的基础设施可用性。这样一来，我们就能够在远低于预算的情况下创建日本最准确的日语模型。基础设施的稳定性还带来了意想不到的生产力收益，让我们的团队能够专注于创新而不是问题排查。

首席产品官 Tomofumi Nakayama

2025 年，人工智能社区迎来了一个转折点，1000 多万名人工智能开发人员在 Hugging Face 上使用和共享了数百万个开放模型和数据集。现在，降低规模更大、更多样化的开放模型的运行成本比以往任何时候都更加重要，这样才能确保人工智能让每一个人和每一个行业受益。在 Hugging Face，自从首个 Inferentia1 实例面世以来，我们一直在与 AWS 的工程团队携手合作，以便构建专用的人工智能芯片。因此，现如今，我们对 Trainium3 感到非常兴奋，这是下一代的 AWS 人工智能芯片，将为从 MoE LLM 到代理和视频生成模型等最苛刻的人工智能应用程序提供支持。借助 Optimum Neuron，我们致力于为转换器、加速器、扩散器和 TRL 的数百万个用户提供 Trainium 3 的高内存和高成本效益优势，这样，他们就可以在控制成本的同时构建自己的人工智能。

PyTorch 的愿景简单明了：相同的代码应当能够在任何硬件平台上的任何位置运行。对于需要快速实验和自由迭代的研究人员，AWS 的原生 Trainium 支持提供了这一硬件选项。随着 AWS Trainium3 的发布，PyTorch 开发人员能够以更高的性能、更小的延迟和更好的令牌经济效益来研究、构建和部署他们的想法，同时保持他们常用的 PyTorch 工作流并留在他们已经熟悉的生态系统内。