Amazon Bedrock 智慧型提示路由

概觀

Amazon Bedrock 智慧提示路由會將提示路由至模型系列中的不同基礎模型，協助您最佳化回應品質和成本。智慧提示路由可以在不影響精確性的情況下降低高達 30% 的成本。

以更低的成本提供最佳的效能

對於開發人員來說，了解哪些查詢需要更高階的模型或可以使用較小、更快、更便宜的模型可能會是一項挑戰。使用進階提示比對和模型理解技術，智慧提示路由會預測每個模型對於每個請求的效能，並將每個請求動態路由至其預測最可能以最低成本提供所需回應的模型。您可以設定同一系列的任意兩個模型的提示路由器：Anthropic (Haiku、Haiku 3.5、Claude Sonnet 3.5 v1、Claude Sonnet 3.5 v2)、Meta Llama (3.1 8b、70b、3.2 11B、90B 和 3.3 70B) 以及 Amazon Nova (Nova Lite 和 Nova Pro)。

減少開發工作

為了達成應用程式所需的效能和成本，您必須經常開發複雜的協同運作工作流程，根據您的經驗將每個要求路由到最適合該要求的模型，以達到所需的精確性效能。藉助智慧提示路由，您可以透過選取 Amazon Bedrock 提供的預設提示路由器或設定您自己的提示路由器，從而避免測試不同模型和建立複雜的協同運作工作流程，節省數月的時間。您可以從一個模型系列中選擇任意兩種模型，然後設定路由器的路由條件，來輕鬆設定路由器。