以 AWS Neuron 開始使用 Trn2 執行個體

在 Anthropic，數百萬人員每天都依靠 Claude 開展工作。我們宣佈 AWS 取得的兩項重大進展：首先，Claude 3.5 Haiku 推出了一種新的「延遲最佳化模式」，其透過 Amazon Bedrock 將在 Trainium2 上的執行速度提高 60%。其次，Project Rainier 是一種新的叢集，其擁有數十萬個 Trainium2 晶片，可提供數百 EFLOPS，在規模上比我們之前的叢集高出五倍以上。Project Rainier 將協助推動我們的研究和下一代擴展。對於我們的客戶來說，這意味著更高的智慧、更低的價格和更快的速度。我們不僅是建置更快的 AI，還是在建置可信任的可擴展 AI。

Databricks 的 Mosaic AI 可讓組織建置和部署高品質的代理程式系統。它以資料湖為基礎原生建置，可讓客戶輕鬆、安全地使用企業資料自訂他們的模型，以及提供更準確的特定領域輸出。由於 Trainium 的高效能和經濟高效，客戶能夠以低成本擴展 Mosaic AI 上的模型訓練。隨著對 Mosaic AI 的需求在所有客戶群體和全球範圍內不斷擴大，Trainium2 的推出將為 Databricks 及其客戶帶來巨大優勢。Databricks 是全球最大規模的資料和 AI 公司之一，公司計劃使用 TRN2 為其客戶提供更理想的結果並將 TCO 降低高達 30%。

在 Poolside，我們著手打造 AI 將推動大部分具備經濟價值的工作和科學進步的世界。我們相信，軟體開發將成為神經網路達到人類水準智慧的第一項主要功能，因為它是我們能夠最佳地結合搜尋和學習方法的領域。為達成此目標，我們正在建置基礎模型、API 和助理，將生成式 AI 的強大功能帶到開發人員的手 (或鍵盤) 中。實現這項技術的主要關鍵點是我們用於建置和執行自身產品的基礎設施。藉助 AWS Trainium2，我們的客戶將能以其他 AI 加速器無法比擬的價格效能比，擴展其集區運算使用量。此外，我們計劃使用 Trn2 UltraServer 訓練未來模型，與 EC2 P5 執行個體相比預期可節省 40% 的費用。

Itaú Unibanco 的宗旨是改善客戶與資金之間的關係，對他們的生活產生積極的影響，同時擴大他們的轉型機會。在 Itaú Unibanco，我們相信每位客戶都是獨一無二的，我們專注于透過直觀的數位旅程來滿足他們的需求，以及利用 AI 的強大功能不斷適應他們的消費習慣。

我們已經在各種任務中測試 AWS Trainium 和 Inferentia，從標準推論到微調應用程式。這些 AI 晶片的效能助力我們在研究和開發領域中實現重要的里程碑。對於批次和線上推論任務，我們已發現輸送量提高了 7 倍 (與使用 GPU 相比)。這種增強的效能正在推動組織範圍內進一步擴大使用案例的規模。最新一代 Trainium2 晶片為 GenAI 帶來突破性的功能，並為 Itau 的創新開闢全新的道路。

Ninja 是提供無限生產力的一體化 AI 代理程式：一次簡單訂閱，即可無限制存取全球最出色的 AI 模型以及頂級 AI 技能，例如：寫作、編碼、腦力激盪、影像產生、線上研究。Ninja 是提供「SuperAgent」的代理平台，該平台使用混合代理程式，具有與前沿基礎模型相當的世界級準確性 (並且在某些類別中超越後者)。Ninja 的代理技術需要最高效能的加速器，以提供客戶期望的獨特即時體驗。 

我們非常高興地得知 AWS TRN2 的推出，因為我們相信它將為以 Llama 3.1 405B 為基礎的核心模型 Ninja LLM 提供最佳的每個詞元成本效能和目前最快的速度。Trn2 的低延遲、有競爭力的定價和隨需可用性令人驚訝；我們對 Trn2 的到來感到無比興奮！

RICOH 機器學習團隊開發工作場所解決方案和數位轉型服務，旨在管理和最佳化企業解決方案中的資訊流。

移轉至 Trn1 執行個體非常輕鬆和簡單。我們利用 4,096 個 Trainium 晶片叢集，僅用時 8 天就完成了 13B 參數 LLM 的預先訓練！ 在較小模型上取得成功之後，我們對以 Llama-3-Swallow-70B 為基礎的全新、更大規模 LLM 進行微調，並且利用 Trainium，我們能夠將訓練成本降低 50%、能源效率提高 25% (與使用 AWS 中最新的 GPU 機器相比)。我們很高興利用最新一代 AWS AI 晶片 Trainium2，繼續以最低成本為客戶提供最佳效能。

我最喜歡 AWS Neuron NxD 推論程式庫的一點在於它與 PyTorch 模型的無縫整合。NxD 的方法簡單且使用者友好。我們的團隊能夠在短時間內以最小的程式碼變更量加入 HuggingFace PyTorch 模型。啟用連續批次處理和推測解碼等進階功能非常簡單。這種易用性可提高開發人員的生產力，讓團隊能夠更多專注於創新而非處理整合難題。

Refact.ai 提供全面的 AI 工具，例如由擷取增強生成 (RAG) 支援的程式碼自動完成功能，同時提供更準確的建議，以及使用專有和開放原始碼模型的內容感知聊天。

客戶已發現，與 EC2 G5 執行個體相比，EC2 Inf2 執行個體的效能提升 20%，每美元詞元的價值提高 1.5 倍。Refact.ai 的微調功能進一步增強客戶了解並適應其組織獨特程式碼庫和環境的能力。我們同樣非常高興提供 Trainium2 的功能，這將為我們的工作流程帶來更快速、更高效的處理。這項進階技術將助力我們的客戶加速其軟體發展過程，方法是提高開發人員的工作效率，同時保持其程式碼庫的嚴格安全標準。

KARAKURI 建置 AI 工具以提高 Web 型客戶支援的效率並簡化客戶體驗。這些工具包括配備生成式 AI 功能、常見問答集集中化工具和電子郵件回應工具的 AI 聊天機器人，所有這些工具均提高客戶支援的效率和品質。利用 AWS Trainium，我們成功訓練 KARAKURI LM 8x7B Chat 0.1 版。對於像我們這樣的新創公司，我們需要最佳化建置時間和訓練 LLM 所需的成本。在 AWS Trainium 和 AWS 團隊的支援下，我們能夠在短時間內開發實用層級的 LLM。此外，透過採用 AWS Inferentia，我們能夠建置快速且經濟高效的推論服務。我們對 Trainium2 充滿期待，因為它將徹底變革我們的訓練程序，將訓練時間縮短 2 倍，同時將效率提升到新的高度！

Stockmark 以「重塑價值創造機制和推進人類發展」為使命，透過提供尖端的自然語言處理技術，幫助眾多公司建立和打造創新業務。Stockmark 的全新資料分析和收集服務稱為 Anews and SAT，這是一種資料結構化服務，透過整理組織中儲存的所有形式資訊，大幅度增加生成式 AI 的使用範圍，這就要求我們重新思考如何建置和部署模型來支援這些產品。藉助 256 個 Trainium 加速器，我們已開發並發布 stockmark-13b，這是一款具有 130 億個參數的大型語言模型，並以 2200 億詞元的日文語料資料集從零進行預先訓練。Trn1 執行個體協助我們將訓練成本降低 20%。利用 Trainium，我們成功開發一個 LLM，該 LLM 能夠以前所未有的準確性和速度為專業人士解答關鍵業務問題。鑑於公司在為模型開發提供充分的運算資源方面面臨的廣泛挑戰，這項成就尤其值得注意。由於 Trn1 執行個體具備令人印象深刻的速度和成本降低，我們很高興看到 Trainium2 將為我們的工作流程和客戶帶來的其他優勢。