通过 AWS Neuron 开始使用 Trn2 实例

Anthropic 每天都有数百万人依靠 Claude 完成工作。我们宣布与 AWS 合作取得两项重大进展：首先是 Claude 3.5 Haiku 的新“延迟优化模式”，通过 Amazon Bedrock 在 Trainium2 上运行时速度提升 60%。其次是 Rainier 项目，这是由数十万个 Trainium2 芯片组成的新集群，可提供数百个百亿亿次运算，其规模是我们以前集群规模的五倍多。Rainier 项目将帮助推动我们的研究和下一代规模扩展。对于我们的客户而言，这意味着更智能、更低价和更快速。我们不仅要构建更快的人工智能，还要构建可扩展的可信赖人工智能。

借助 Databricks 的 Mosaic AI，组织能够构建和部署高质量的代理系统。它原生建立在数据湖仓之上，让客户能够轻松安全地使用企业数据自定义模型，并提供更准确且特定于领域的输出。得益于 Trainium 的高性能和经济高效，客户能够以低成本在 Mosaic AI 上扩展模型训练。随着全球所有客户群对 Mosaic AI 的需求不断扩大，Trainium2 的可用性将为 Databricks 及其客户带来重大益处。Databricks 是全球最大的数据和人工智能公司之一，其计划使用 TRN2 为其客户交付更好的结果，并将总拥有成本降低多达 30%。

在 poolside，我们将建立由人工智能推动大多数具有经济价值的工作和科学进步的世界。我们相信，软件开发将是神经网络中第一个达到人类级智能的主要能力，因为在这个领域，我们可以完美结合搜索和学习方法。为实现这一点，我们正在构建基础模型、API 和助手，助力开发人员手动（或通过键盘）释放生成式人工智能的强大力量。启用这项技术的主要关键是我们用于构建和运行产品的基础设施。借助 AWS Trainium2，我们的客户将能够以与其他人工智能加速器不同的性价比扩展 poolside 的使用。此外，我们计划使用 Trainium2 UltraServers 训练未来模型，与 EC2 P5 实例相比，预计可节省 40％ 的成本。

Itaú Unibanco 的目标是改善人与金钱的关系，对人们的生活产生积极影响，同时扩大转型机会。Itaú Unibanco 相信每位客户都是独一无二的，我们力争通过直观的数字化旅程满足客户的需求，利用人工智能的强大力量不断适应消费者习惯。

我们已在各种任务中测试过 AWS Trainium 和 Inferentia，从标准推理到微调应用程序，不一而足。借助这些人工智能芯片的性能，我们得以在研发中实现重要的里程碑。对于批量和在线推理任务，与 GPU 相比，我们的吞吐量提高了 7 倍。性能的提升推动更多使用案例在整个组织中的扩展。最新一代的 Trainium2 芯片为生成式人工智能解锁突破性的功能，为 Itau 的创新开启新篇章。

Ninja 是一款一体化人工智能代理，可提供无限的生产力：只需一次订阅，即可无限访问全世界优质的人工智能模型以及顶级的人工智能技能，如写作、编码、头脑风暴、图像生成、在线研究。Ninja 是代理平台，提供“SuperAgent”服务，该服务使用代理混合，具有世界一流的准确性，可与前沿基础模型相媲美（在某些类别中甚至更胜一筹）。Ninja 的代理技术需要最高性能的加速器，以提供客户期望的独特实时体验。 

AWS TRN2 的推出让我们兴奋不已，因为我们相信，其将为基于 Llama 3.1 405B 的核心模型 Ninja LLM 提供最佳的单位令牌成本性能以及目前可能的最快速度。Trn2 的低延迟、极具竞争力的价格和按需可用性令人惊叹；我们对 Trn2 的到来感到无比兴奋！

RICOH 机器学习团队开发工作场所解决方案和数字化转型服务，旨在管理和优化企业解决方案中的信息流。

迁移到 Trn1 实例简单又快捷。我们利用由 4096 个 Trainium 芯片组成的集群，仅需 8 天时间即可完成 130 亿参数 LLM 的预训练！ 在我们的小型模型取得成功后，我们基于 Llama-3-Swallow-70B 对更大的新 LLM 进行微调，与使用 AWS 中最新的 GPU 计算机相比，利用 Trainium 可将训练成本降低 50%，能效提高 25%。我们很高兴能利用最新一代 AWS AI 芯片 Trainium2，继续以最低成本为客户提供最佳性能。

我最喜欢 AWS Neuron NxD Inference 库的一点在于其能够与 PyTorch 模型无缝集成。NxD 的方法简单快捷，且对用户友好。我们的团队可在短时间内以最小的代码改动上线 HuggingFace PyTorch 模型。启用连续批处理和推测解码等高级功能非常简单。这种易用性可提高开发人员的工作效率，让团队能够将更多精力放在创新上，减少对集成挑战的关注。

Refact.ai 提供全面的人工智能工具，例如由检索增强生成（RAG）驱动的代码自动完成，以提供更准确的建议，以及使用专有和开源模型的上下文感知聊天。

与 EC2 G5 实例相比，客户发现 EC2 Inf2 实例的性能可提高多达 20%，每美元令牌数可提升 1.5 倍。Refact.ai 的微调功能可进一步增强客户了解和适应组织独特代码库和环境的能力。我们也很高兴提供 Trainium2 的功能，这将为我们的工作流程带来更快速、更高效的处理能力。这项先进的技术将帮助我们的客户提高开发人员的工作效率，同时保持代码库的严格安全标准，从而加快软件开发流程。

KARAKURI 构建人工智能工具，以提高基于 Web 的客户支持效率并简化客户体验。这些工具包括配备生成式人工智能功能的人工智能聊天机器人、常见问题解答集中工具和电子邮件回复工具，所有这些都可以提高客户支持的效率和质量。利用 AWS Trainium，我们成功训练了 KARAKURI LM 8x7B Chat v0.1。对我们这样的初创企业而言，我们需要优化构建时间以及训练 LLM 所需的成本。在 AWS Trainium 和 AWS 团队的支持下，我们能够在短时间内开发出实用级 LLM。此外，通过采用 AWS Inferentia，我们得以构建快速且经济高效的推理服务。我们对 Trainium2 充满信心，因为它将彻底改变我们的训练流程，将我们的训练时间缩短 2 倍，并将效率提升到新的高度！

Stockmark 以“重塑价值创造机制，推动人类进步”为使命，通过提供前沿的自然语言处理技术，帮助众多企业创建和打造创新业务。Stockmark 的新数据分析和收集服务 Anews and SAT 是一项数据结构服务，通过组织存储在组织中的各种形式的信息，显著提高生成式人工智能的使用，这要求我们重新思考如何构建和部署模型，以支持这些产品。借助 256 个 Trainium 加速器，我们已经开发并发布 stockmark-13b，这是一个具有 130 亿个参数的大型语言模型，在包含 2200 亿个令牌的日语语料库数据集上从头开始进行预训练。Trn1 实例已帮助我们将训练成本降低 20%。利用 Trainium，我们已经成功开发出一款 LLM，能够以前所未有的准确性和速度为专业人士解答关键业务问题。鉴于各公司在确保模型开发所需的充足计算资源方面普遍面临挑战，这一成就尤其值得一提。在见识过 Trn1 实例的惊人速度和成本降低后，我们很期待看到 Trainium2 将为我们的工作流程和客户带来的更多益处。