自動推論チェックを使用して、AI のハルシネーションを最小限に抑え、最大 99% の検証精度を実現: 今すぐご利用いただけます

8 月 6 日、AWS re:Invent 中にプレビューした新しい Amazon Bedrock のガードレールポリシーである自動推論チェックの一般提供が開始されたことをお知らせします。自動推論チェックは、基盤モデル (FM) によって生成されたコンテンツの正確性をドメインの知識に照らして検証するのに役立ちます。これは、AI のハルシネーションを理由とする事実誤認を防ぐのに役立ちます。このポリシーは、数学的ロジックと形式検証の手法を用いて正確性を検証し、AI の応答の正確性をチェックするための明確なルールとパラメータを提供します。

このアプローチは、結果に確率を割り当てることで不確実性に対処する確率的推論手法とは根本的に異なります。実際、自動推論チェックは最大 99% の検証精度を実現し、AI のハルシネーションの検出において証明可能な保証を提供すると同時に、モデルの出力について複数の解釈が可能である場合の曖昧性の検出にも役立ちます。

一般提供の開始に伴い、次の新特徴量をご利用いただけます:

• 1 回のビルドにおける、最大 80,000 トークンの大規模ドキュメントのサポート – 膨大なドキュメントを処理します。これは、最大 100 ページ分のコンテンツに相当します
• 簡素化されたポリシー検証 – 検証テストを保存して繰り返し実行します。これにより、時間が経過する中でポリシーを維持および検証することがより容易になります
• シナリオの自動生成 – 定義からテストシナリオを自動的に作成することで、カバレッジをより包括的なものとしながら、時間と労力を削減できます
• 強化されたポリシーフィードバック – ポリシーの変更に関して自然言語での提案を提供することで、ポリシーの改善を簡素化します
• カスタマイズ可能な検証設定 – 特定のニーズに合わせて信頼スコアのしきい値を調整することで、検証の厳密さをより細かく制御できます

これが実際にどのように機能するのかを見てみましょう。

Amazon Bedrock のガードレールでの自動推論チェックの作成
自動推論チェックを使用するには、まずナレッジドメインのルールを自動推論ポリシーにエンコーディングしてから、そのポリシーを使用して生成されたコンテンツを検証します。このシナリオでは、誰が住宅ローンの利用資格を得ることができるかを評価する AI アシスタントを保護するための住宅ローン承認ポリシーを作成します。AI システムの予測が、住宅ローンの承認用に確立されたルールとガイドラインから逸脱しないことが重要です。これらのルールとガイドラインは、自然言語で記述されたポリシードキュメントに含まれています。

Amazon Bedrock コンソールで、ナビゲーションペインから [自動推論] を選択してポリシーを作成します。

ポリシーの名前と説明を入力し、ポリシードキュメントの PDF をアップロードします。名前と説明は単なるメタデータであり、自動推論ポリシーの構築には役立ちません。ソースコンテンツの説明を入力して、それを形式ロジックにどのように変換すべきかについてのコンテキストを追加します。例えば、AI アシスタントからのサンプル Q&A を含め、アプリケーションでポリシーをどのように使用することを計画しているのかを説明します。

ポリシーの準備ができたら、概要ページに移動し、ポリシーの詳細と、テストおよび定義の概要を表示します。ドロップダウンから [定義] を選択して、自動推論ポリシーを確認します。このポリシーは、自然言語ポリシーを形式ロジックに変換するために作成されたルール、変数、および型で構成されています。

[ルール] は、ポリシー内の変数がどのように関連し、生成されたコンテンツを評価する際にどのように使用されるのかを記述します。例えば、この場合においては、適用するしきい値と、いくつかの決定が行われる方法です。追跡可能性を確保するために、各ルールには一意の ID が付与されます。

[変数] は、元の自然言語ドキュメントで使用されている主要な概念を表します。各変数は、1 つ以上のルールに関係しています。変数を使用すると、複雑な構造を理解しやすくなります。このシナリオでは、一部のルールで頭金やクレジットスコアを確認する必要があります。

カスタム [型] は、ブール値と数値のいずれでもない変数のために作成されます。例えば、限られた数の値しか取れない変数のために作成されます。この場合、ポリシーには保険付き住宅ローンと従来型住宅ローンの 2 種類の住宅ローンが含まれています。

これで、テストを通じて、初期の自動推論ポリシーの質を評価できます。ドロップダウンから [テスト] を選択します。ここで、入力 (任意) と出力 (顧客と AI アシスタントのやり取りにおける質問とその考えられる回答など) で構成されるテストを手動で入力できます。その後、自動推論チェックから期待される結果を設定します。期待される結果は、有効 (回答が正しい)、無効 (回答が正しくない)、または前提次第で成立する (具体的な前提によって回答が真にも偽にもなる) のいずれかです。また、クエリ/コンテンツのペアを自然言語からロジックに変換するための信頼度しきい値を割り当てることもできます。

テストを手動で入力する前に、定義からシナリオを自動生成するオプションを使用します。これはポリシーを検証するための最も簡単な方法であり、(ロジックのエキスパートでない限り) ポリシー作成後の最初のステップにすべきです。

生成されたシナリオごとに、それが起こり得る (前提次第で成立する) か、起こり得ないか (無効) を示す、期待される検証を提供します。起こり得ない場合は、定義を更新するために使用できる注釈を追加できます。生成されたシナリオをより深く理解するために、SMT-LIB 構文を使用してテストの形式的なロジック表現を示すことができます。

シナリオ生成オプションを使用した後、いくつかのテストを手動で入力します。これらのテストでは、異なる期待される結果を設定します。ポリシーに従っているため有効なもの、ポリシーに違反しているため無効なもの、特定の前提に依拠しているため前提次第で成立するものなどがあります。

その後、[すべてのテストを検証] を選択して結果を確認します。ここでは、すべてのテストに合格しました。これで、ポリシーを更新する際に、これらのテストを使用して、変更によってエラーが発生していないことを検証できます。

各テストについて、検出結果を確認できます。テストに合格しなかった場合は、テストの失敗を引き起こし、期待される結果に反する矛盾を生み出したルールを確認できます。この情報を使用して、注釈を追加すべきか、ポリシーを改善すべきか、またはテストを修正すべきかを判断できます。

テストに満足したので、新しい Amazon Bedrock ガードレールを作成 (または既存のガードレールを更新) して、最大 2 つの自動推論ポリシーを使用して AI アシスタントの応答の有効性を確認できます。ガードレールによって提供される 6 つのポリシーはすべてモジュール式で、併用することも、個別に使用することもできます。例えば、自動推論チェックは、コンテンツフィルタリングやコンテキストグラウンディングチェックなどの他のセーフガードと併用できます。ガードレールは、ApplyGuardrail API を介して、Amazon Bedrock が提供するモデル、または任意のサードパーティーのモデル (Open AI や Google Gemini など) に適用できます。また、Strands Agents などのエージェントフレームワークでガードレールを使用することもできます。これには、Amazon Bedrock AgentCore を使用してデプロイされたエージェントが含まれます。

ポリシーの設定方法を確認したので、自動推論チェックが実際にどのように使用されるのかを見てみましょう。

お客様の導入事例 – ユーティリティのサービス中断時の対応管理システム
停電時には、一分一秒が重要です。そのため、ユーティリティ企業はサービス中断時の対応管理システムを改善するために AI ソリューションを活用しています。当社は、このスペースにおいて、PwC とともにソリューションを開発しました。 自動推論チェックを使用することで、ユーティリティ企業は、次を通じてオペレーションを効率化できます:

• 自動プロトコル生成 – 規制要件を満たす標準化された手順を作成します
• 計画のリアルタイム検証 – 対応計画が確立されたポリシーに準拠しているようにします
• 構造化されたワークフローの作成 – 定義された対応目標に基づき、重大度ベースのワークフローを開発します

このソリューションの中核では、インテリジェントなポリシー管理と、最適化された対応プロトコルを組み合わせています。自動推論チェックは、AI によって生成された応答を評価するために使用されます。応答が無効であるか、または前提次第で成立すると判断された場合、回答を書き換えたり、強化したりするために、自動推論チェックの結果が使用されます。

このアプローチは、AI が従来のユーティリティのオペレーションをどのように変革し、効率性、信頼性、顧客ニーズへの対応力を高めることができるのかを示しています。数学的な精度と実用的な要件を組み合わせることで、このソリューションは、ユーティリティ分野におけるサービス中断時の対応管理における新たな基準を確立します。その結果、対応時間の短縮、精度の改善、ユーティリティと顧客の双方にとってのより良い成果が実現されます。

PwC の Global and US Commercial Technology and Innovation Officer である Matt Wood 氏は次のように述べています:

「PwC では、クライアントが自信をもって AI のパイロットから本番に移行するのをサポートしています。特に、一歩間違えればコストが金銭的な損失では済まない、規制の厳しい業界においてはなおさらです。自動推論チェックでの AWS とのコラボレーションは、責任ある AI における画期的な進歩です。数学的に評価された安全対策が、Amazon Bedrock のガードレールに直接組み込まれるようになったのです。弊社は AWS のリリースコラボレーターとして、信頼が単なる特徴量ではなく必須要件となる、製薬、ユーティリティ、クラウドコンプライアンスなどの分野において、このイノベーションを実現できることを誇りに思います」

知っておくべきこと
Amazon Bedrock のガードレールの自動推論チェックは、本日より、米国東部 (オハイオ、バージニア北部)、米国西部 (オレゴン)、欧州 (フランクフルト、アイルランド、パリ) の AWS リージョン で一般提供が開始されました。

自動推論チェックでは、処理したテキストの量に基づいて料金をお支払いいただきます。詳細については、「Amazon Bedrock の料金」をご覧ください。

詳細を確認し、セキュアかつ安全な AI アプリケーションを構築するには、技術ドキュメントと GitHub コードサンプルをご覧ください。Amazon Bedrock コンソールに直接アクセスするには、こちらのリンクをクリックしてください。

このプレイリストの動画には、自動推論チェックの概要、詳細なプレゼンテーション、ならびにポリシーの作成、テスト、および改良に関する実践的なチュートリアルが含まれています。これはプレイリストの 2 番目の動画で、私の同僚の Wale がこの機能についてわかりやすくご紹介しています。

原文はこちらです。

– Danilo