Amazon SageMaker AI での Amazon Nova のカスタマイズの発表

7 月 16 日、Amazon SageMaker AI の Amazon Nova 向けのカスタマイズ機能スイートを発表しました。お客様は、事前トレーニング、教師ありファインチューニング、アライメントなど、モデルトレーニングライフサイクル全体にわたって、Nova Micro、Nova Lite、Nova Pro をカスタマイズできるようになりました。これらの手法は、すぐに使用できる Amazon SageMaker レシピとして提供され、Amazon Bedrock にシームレスにデプロイされ、オンデマンド推論とプロビジョンドスループット推論の両方をサポートします。

Amazon Nova 基盤モデルは、さまざまな業界における多様な生成 AI ユースケースをサポートします。お客様は、デプロイをスケールする中で、独自の知識、ワークフロー、ブランド要件を反映したモデルが必要になります。プロンプト最適化と検索拡張生成 (RAG) は、汎用基盤モデルをアプリケーションに統合するのに適していますが、ビジネスクリティカルなワークフローでは、特定の精度、コスト、レイテンシー要件を満たすためにモデルのカスタマイズが必要です。

適切なカスタマイズ手法の選択
Amazon Nova モデルは、1) 教師ありファインチューニング、2) アライメント、3) 継続的な事前トレーニング、4) 知識蒸留など、幅広いカスタマイズ手法をサポートしています。最適な選択は、目標、ユースケースの複雑さ、データとコンピューティングリソースの可用性によって異なります。また、複数の手法を組み合わせることで、パフォーマンス、コスト、柔軟性の最適な組み合わせで、目的の結果を達成することもできます。

教師ありファインチューニング (SFT) は、対象のタスクとドメインに固有の入出力ペアのトレーニングデータセットを使用して、モデルパラメータをカスタマイズします。データ量とコストに関する考慮事項に基づいて、次の 2 つの実装アプローチから選択します:

• パラメータ効率の高いファインチューニング (PEFT) – LoRA (Low-Rank Adaptation) などの軽量アダプターレイヤーを通じて、モデルパラメータのサブセットのみを更新します。フルファインチューニングと比較して、より迅速なトレーニングと、より低いコンピューティングコストを提供します。PEFT 対応の Nova モデルは Amazon Bedrock にインポートされ、オンデマンド推論を使用して呼び出されます。
• フルファインチューニング (FFT) – モデルのすべてのパラメータを更新し、大規模なトレーニングデータセット (数万件のレコード) がある場合に最適です。FFT を通じてカスタマイズされた Nova モデルも Amazon Bedrock にインポートし、プロビジョンドスループットを使用した推論のために呼び出すことができます。

アライメントは、企業ブランドやカスタマーエクスペリエンスの要件など、製品固有のニーズや振る舞いに関する望ましい選好にモデル出力を導きます。これらの選好は、実証例やポリシーなど、複数の方法でエンコードできます。Nova モデルは、2 つの選好アライメント手法をサポートしています:

• 直接選好最適化 (DPO) – 好ましい/好ましくない応答ペアを使用して、モデル出力をチューニングする簡単な方法を提供します。DPO は、比較ベースの選好から学習し、トーンやスタイルなどの主観的な要件に合わせて出力を最適化します。DPO は、パラメータ効率の高いバージョンとフルモデル更新バージョンの両方を提供します。パラメータ効率の高いバージョンは、オンデマンド推論をサポートします。
• 近似ポリシー最適化 (PPO) – 強化学習を用いて、有用性、安全性、エンゲージメントなどの望ましい報酬を最適化することで、モデルの振る舞いを強化します。報酬モデルは出力にスコアを付けることで最適化をガイドし、モデルが以前に学習した能力を維持しながら効果的な振る舞いを学習するのをサポートします。

継続的事前トレーニング (CPT) は、社内文書、トランスクリプト、ビジネス固有のコンテンツなど、大量のラベルなし所有データを用いた自己教師あり学習を通じて、基本的なモデルの知識を拡張します。CPT に続いて、SFT と、DPO または PPO を通じたアライメントを実施することで、アプリケーションに合わせて Nova モデルを包括的にカスタマイズできます。

知識蒸留は、大規模な「教師」モデルから、小規模でより高速かつコスト効率の高い「生徒」モデルへと知識を伝えます。蒸留は、お客様が十分な参照入出力サンプルを有しておらず、より強力なモデルを活用してトレーニングデータを拡張できるシナリオで役立ちます。このプロセスにより、特定のユースケース向けの教師レベルの精度と、生徒レベルの費用対効果と速度を備えた、カスタマイズされたモデルが作成されます。

さまざまなモダリティとデプロイオプションで使用できるカスタマイズ手法をまとめた表を次に示します。各手法は、実装要件に応じて、特定のトレーニングおよび推論機能を提供します。

Cosine AI、Massachusetts Institute of Technology (MIT) Computer Science and Artificial Intelligence Laboratory (CSAIL)、Volkswagen、Amazon Customer Service、Amazon Catalog Systems Service などのアーリーアクセスのお客様は、既に Amazon Nova のカスタマイズ機能を成功裏に使用しています。

Nova モデルのカスタマイズの実際の仕組み
以下では、既存の選好データセットに対して直接選好最適化を用いて Nova Micro モデルをカスタマイズする例について説明します。これを実行するために、Amazon SageMaker Studio を使用できます。

Amazon SageMaker AI コンソールで SageMaker Studio を起動し、[JumpStart] を選択します。これは、基盤モデル、組み込みアルゴリズム、事前構築済みの ML ソリューションを備えた機械学習 (ML) ハブであり、数回クリックするだけでデプロイできます。

その後、[Nova Micro] を選択し、[トレーニング] を選択します。Nova Micro は、Nova モデルファミリーの中で最も低い推論あたりのコストで最も低レイテンシーで応答を提供するテキストのみのモデルです。

次に、[ファインチューニング] レシピを選択して、ラベル付きデータでモデルをトレーニングし、特定のタスクのパフォーマンスを強化して、望ましい振る舞いになるよう調整できます。[直接選好最適化] を選択すると、好みに合わせてモデル出力を簡単にチューニングできます。

[サンプルノートブックを開く] を選択すると、レシピを実行する環境オプションが 2 つあります。すなわち、SageMaker トレーニングジョブまたは SageMaker Hyperpod のいずれかです:

クラスターを作成し、JupyterLab スペースを選択してサンプルノートブックでモデルをトレーニングする必要がない場合は、[SageMaker トレーニングジョブでレシピを実行] を選択します。

あるいは、反復的なトレーニングプロセスのために最適化された永続的なクラスター環境が必要な場合は、[SageMaker HyperPod でレシピを実行] を選択します。このような Nova モデルのトレーニングに必要な、特殊な分離された環境を提供するために、少なくとも 1 つの制限付きインスタンスグループ (RIG) を持つ HyperPod EKS クラスターを選択できます。その後、JupyterLabSpace を選択し、[サンプルノートブックを開く] を選択します。

このノートブックは、SageMaker Nova モデルとレシピを使用して SageMaker HyperPod ジョブを作成し、推論のためにデプロイするためのエンドツーエンドのチュートリアルを提供します。SageMaker HyperPod レシピを使用することで、最適化されたトレーニングジョブのために、複雑な設定を合理化し、データセットをシームレスに統合できます。

SageMaker Studio では、SageMaker HyperPod ジョブが正常に作成されたことを確認し、その後の進捗状況をモニタリングできます。

ジョブが完了したら、ベンチマークレシピを使用して、カスタマイズされたモデルがエージェントタスクでより優れたパフォーマンスを発揮するかどうかを評価できます。

包括的なドキュメントと追加の実装例については、GitHub で SageMaker HyperPod レシピリポジトリにアクセスしてください。当社は、お客様からのフィードバックと新たな ML トレンドに基づいてレシピを引き続き拡張し、AI モデルのカスタマイズを成功させるために必要なツールをお客様に提供していきます。

利用可能なリージョンと開始方法
Amazon SageMaker AI での Amazon Nova のレシピは、米国東部 (バージニア北部) でご利用いただけます。この機能の詳細については、Amazon Nova のカスタマイズのウェブページと「Amazon Nova ユーザーガイド」にアクセスしてください。使用を開始するには、Amazon SageMaker AI コンソールをご利用ください。

– Betty

原文はこちらです。