Amazon Bedrock Intelligent Prompt Routing

개요

Amazon Bedrock Intelligent Prompt Routing은 모델 제품군 내의 다양한 기본 모델로 프롬프트를 라우팅하여 응답 품질과 비용을 최적화하도록 돕습니다. Intelligent Prompt Routing은 정확도 저하 없이 비용을 최대 30% 절감할 수 있습니다.

더 낮은 비용으로 성능 최대화

개발자는 어떤 쿼리에 고급 모델이 필요한지 또는 어떤 쿼리에 더 작고 빠르며 저렴한 모델이 효과적일 수 있는지 이해하는 것이 어려울 수 있습니다. Intelligent Prompt Routing은 고급 프롬프트 매칭 및 모델 이해 기술을 사용하여 각 요청에 대한 개별 모델의 성능을 예측합니다. 그런 다음 가장 저렴한 비용으로 원하는 응답을 제공할 가능성이 가장 높을 것으로 예측되는 모델에 각 요청을 동적으로 라우팅합니다. Anthropic(Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama(3.1 8b, 70b, 3.2 11B, 90B, 3.3 70B), Amazon Nova(Nova Lite 및 Nova Pro)와 함께 동일한 제품군의 두 가지 모델로 프롬프트 라우터를 구성할 수 있습니다.

개발 노력 감소

애플리케이션에서 원하는 성능과 비용을 달성하려면 대개 복잡한 오케스트레이션 워크플로를 개발하여 경험을 기반으로 각 요청을 해당 요청에 가장 적합한 모델로 라우팅함으로써 정확도 측면에서 원하는 성능을 구현해야 합니다. 지능형 프롬프트 라우팅을 사용하면 Amazon Bedrock에서 제공하는 기본 프롬프트 라우터를 선택하거나, 자체 라우터를 구성하여 다양한 모델을 테스트하고 복잡한 오케스트레이션 워크플로를 생성하느라 몇 개월씩 시간을 할애하지 않아도 됩니다. 모델 제품군에서 두 가지 모델을 선택한 다음, 라우터의 라우팅 기준을 구성하여 라우터를 쉽게 구성할 수 있습니다.