AWS Neuron を利用して、Trn2 インスタンスの使用を開始する

Anthropic では、毎日何百万人もの人々が業務で Claude を利用しています。AWS で 2 つの大きな進歩がありました。1 つ目は、Claude 3.5 Haiku 向けの新しい「レイテンシー最適化モード」です。これは、Amazon Bedrock 経由で Trainium2 で実行され、60% の高速化を実現しています。そして 2 つ目は、Project Rainier です。これは、数十万個の Trainium2 チップを搭載した新しいクラスターで、以前のクラスターの 5 倍以上のサイズである数百エクサフロップスを実現しています。Project Rainier は、私たちの研究と次世代のスケーリングの両方を後押ししてくれます。お客様にとって、これはより多くのインテリジェンス、より低い料金、より速い速度を意味します。私たちは、より高速な AI を構築するだけでなく、スケールする信頼できる AI を構築しています。

Databricks の Mosaic AI により、組織は高品質のエージェントシステムを構築してデプロイできます。データレイクハウス上にネイティブに構築されているため、お客様はエンタープライズデータを使用してモデルを簡単かつ安全にカスタマイズし、より正確でドメイン固有の出力が得られます。Trainium の高いパフォーマンスと費用対効果のおかげで、お客様は Mosaic AI のモデルトレーニングを低コストでスケールできます。Mosaic AI の需要はすべての顧客セグメントと世界中で拡大し続けているため、Trainium2 の可用性は Databricks とその顧客にとって大きなメリットとなるでしょう。データおよび AI の世界最大手企業の 1 つである Databricks は、TRN2 を使用して顧客のためにより良い結果をもたらし、TCO を最大 30% 削減することを計画しています。

poolside では、経済的に価値のある仕事や科学の進歩の大半を AI が推進する世界を構築することを目指しています。私たちは、ソフトウェア開発がニューラルネットワークで人間レベルの知能に達する最初の主要な能力になると考えています。なぜなら、探求と学習のアプローチを最もうまく組み合わせることができる領域だからです。それを実現するために、生成 AI の力をデベロッパーの手 (またはキーボード) に届けるための基盤モデル、API、アシスタントを構築しています。このテクノロジーを実現するための主な鍵は、製品の構築と運用に使用しているインフラストラクチャです。AWS Trainium2 では、お客様は他の AI アクセラレーターとは異なるコストパフォーマンス比で poolside の使用量をスケールできます。さらに、Trainium2 UltraServer を使用して将来のモデルをトレーニングする予定です。これにより、EC2 P5 インスタンスと比較して 40% の節約が見込まれます。

Itaú Unibanco の目的は、人とお金との関係を改善し、人々の生活にプラスの影響を与えながら、トランスフォーメーションの機会を拡大することです。Itaú Unibanco では、お客様一人ひとりがユニークな存在であると捉えており、AI の力を活用してコンスタントに消費者の動向に適応する直感的なデジタルジャーニーを通じてお客様のニーズを満たすことに力を入れています。

標準的な推論からファインチューニングされたアプリケーションまで、AWS Trainium と Inferentia をさまざまなタスクにわたってテストしてきました。これらの AI チップの性能により、私たちは研究開発において重要なマイルストーンを達成することができました。バッチ推論タスクとオンライン推論タスクの両方で、GPU と比較してスループットが 7 倍向上しました。この性能の向上により、組織全体でユースケースの拡がりが見られます。最新世代の Trainium2 チップは、GenAI の画期的な機能を解き放ち、Itau のイノベーションへの扉を開いています。

Ninja は、Unlimited Productivity にとってオールインワンの AI エージェントです。1 つのサブスクリプションで、世界最高の AI モデルに無制限にアクセスでき、書き込み、コーディング、ブレインストーミング、画像生成、オンラインリサーチなどの最も有用な AI スキルにもアクセスできます。Ninja はエージェント型プラットフォームであり、フロンティア基盤モデルに匹敵する (一部のカテゴリーではそれを上回っている) 世界クラスの精度を持つエージェントを組み合わせた「SuperAgent」を提供しています。Ninja の Agentic テクノロジーは、お客様が期待するユニークなリアルタイム体験を提供するために、最高性能のアクセラレーターを必要とします。 

AWS TRN2 のローンチにワクワクしています。なぜなら、Llama 3.1 405B をベースにしたコアモデル Ninja LLM では、トークンあたり最高のコストパフォーマンスを発揮し、現在到達できる最速のスピードを実現できると考えているからです。Trn2 の低レイテンシーと、競争力のある料金設定、オンデマンドの可用性には目を見張るものがあります。Trn2 の登場にかつてないほどワクワクしています。

リコーの機械学習チームは、エンタープライズソリューション全体の情報の流れを管理および最適化するように設計されたワークプレイスソリューションとデジタルトランスフォーメーションサービスを開発しています。

Trn1 インスタンスへの移行は簡単で明瞭でした。4,096 個の Trainium チップのクラスターを利用して、わずか 8 日間で 13B パラメータの LLM を事前トレーニングすることができました。 小さなモデルで成功を収めた後、Llama-3-Swallow-70B をベースにした新しい大規模 LLM をファインチューニングしました。Trainium を活用することで、AWS で最新の GPU マシンを使用する場合と比較して、トレーニングコストを 50% 削減し、エネルギー効率を 25% 向上させることができました。最新世代の AWS AI チップである Trainium2 を活用して、引き続きお客様に最高のパフォーマンスを最低のコストで提供できることを嬉しく思います。

AWS Neuron NxD 推論ライブラリで私が最も気に入ったのは、PyTorch モデルとシームレスに統合できることです。NxD のアプローチは単純明快でユーザーフレンドリーです。私たちのチームは、最小限のコード変更で短期間で HuggingFace PyTorch モデルをオンボーディングすることができました。連続バッチ処理や投機的デコーディングなどの高度な機能を有効にするのは簡単でした。この使いやすさによってデベロッパーの生産性が向上し、チームは統合の課題に煩わされることなく、イノベーションに集中できるようになります。

Refact.ai には、Retrieval-Augmented Generation (RAG) を利用したコードオートコンプリートなどの包括的な AI ツールが用意されています。これにより、より正確な提案が可能になり、独自モデルとオープンソースモデルの両方を使用してコンテキストに応じたチャットが可能になります。

お客様の話から、EC2 Inf2 インスタンスでは、EC2 G5 インスタンスと比較して、パフォーマンスが最大 20% 高く、1 USD あたりのトークンが 1.5 倍高いことがわかっています。Refact.ai のファインチューニング機能により、お客様が組織独自のコードベースと環境を把握し、それに適応する能力をさらに高めます。また、Trainium2 の機能を提供できることを嬉しく思います。これにより、ワークフローの処理がさらに高速で効率的になります。この高度なテクノロジーにより、コードベースの厳しいセキュリティ基準を順守しながらデベロッパーの生産性を高めることができるため、お客様はソフトウェア開発プロセスを加速できます。

カラクリは、ウェブベースのカスタマーサポートの効率を高め、カスタマーエクスペリエンスを簡素化する AI ツールを構築しています。これらのツールには、生成 AI 機能を搭載した AI チャットボット、FAQ 一元化ツール、E メール返信ツールなどがあり、これらはすべてカスタマーサポートの効率と品質を向上させます。AWS Trainium を活用して、KARAKURI LM 8x7B Chat v0.1 のトレーニングに成功しました。私たちのようなスタートアップ企業にとっては、LLM の構築にかかる時間とトレーニングに必要なコストを最適化する必要があります。AWS Trainium と AWS チームのサポートのおかげで、短期間で実践的なレベルの LLM を開発することができました。また、AWS Inferentia を採用したことで、高速で費用対効果の高い推論サービスを構築できました。Trainium2 はトレーニングプロセスに革命をもたらし、トレーニング時間を半分に短縮し、効率を新たな高みへと導いてくれるので、Trainium2 から力をもらっています。

ストックマークは、「価値創造の仕組みを再発明し、人間性を高める」という使命のもと、最先端の自然言語処理技術を提供することで、多くの企業が革新的なビジネスを創造し、構築できるよう支援しています。ストックマークの新しいデータ分析および収集サービスである Anews と SAT は、組織に保存されているあらゆる形態の情報を整理することで生成 AI の利用を劇的に改善するデータ構造化サービスです。私たちは、これらの製品をサポートするモデルを構築およびデプロイする方法を再考する必要がありました。256 個の Trainium アクセラレーターを使用して、Stockmark-13b を開発してリリースしました。Stockmark-13b は、日本の 2,200 億トークンのコーパスデータセットでゼロから事前にトレーニングされた、130 億のパラメータを持つ大規模な言語モデルです。Trn1 インスタンスにより、トレーニングコストを 20% 削減できました。Trainium を活用して、プロフェッショナル向けのビジネスクリティカルな質問にこれまでにない正確さとスピードで回答できる LLM の開発に成功しました。この成果は、企業がモデル開発のための十分な計算リソースを確保する上で直面する課題が広範囲に及んでいることを考えると、特に注目に値します。Trn1 インスタンスの驚異的な速度とコスト削減により、Trainium2 が当社のワークフローとお客様にさらにどのようなメリットをもたらすのかを見るのを楽しみにしています。