Amazon Bedrock Model Distillation が一般提供を開始
モデル蒸留は、より性能の高いモデル (教師) から性能の低いモデル (生徒) に知識を転移するプロセスです。特定のユースケースにおいて、より高速でコスト効率の高い生徒モデルを教師モデルと同等のパフォーマンスにすることを目的としています。一般提供の開始に伴い、次の新しいモデルが利用可能になります: Amazon Nova Premier (教師) とNova Pro (生徒)、Claude 3.5 Sonnet v2 (教師)、Llama 3.3 70B (教師) と Llama 3.2 1B/3B (生徒)。Amazon Bedrock Model Distillation を利用することで、より小規模なモデルでもエージェントのユースケースにおける関数呼び出しを正確に予測できるようになり、応答時間を大幅に短縮し、運用コストを削減することができます。Amazon Bedrock の蒸留モデルは、RAG などのユースケースにおいて、精度の低下を 2% 未満に抑えつつ、オリジナルモデルと比べて最大 5 倍の高速化と、最大 75% のコスト削減を実現します。Model Distillation では、RAG のユースケースに加えて、関数呼び出しを予測するエージェントのユースケースにおけるデータ拡張のサポートも追加されています。
Amazon Bedrock Model Distillation では、教師モデルによる応答生成に必要なプロセスを自動化し、応答の品質を高めるためのデータ合成も追加したうえで、生徒モデルをトレーニングする単一のワークフローを利用できます。また、ユースケースに最適なさまざまなデータ合成方法が適用されることで、特定のユースケースにおいては、高度なモデルの性能にほぼ匹敵する蒸留モデルが作成されることもあります。
詳細については、ドキュメント、ウェブサイト、ブログをご覧ください。