Direccionamiento inteligente de peticiones de Amazon Bedrock

Puede ser un desafío para los desarrolladores entender qué consultas requieren modelos más avanzados o podrían funcionar con otros más pequeños, rápidos y económicos. Mediante técnicas avanzadas de comparación de peticiones y comprensión de modelos, el direccionamiento de peticiones inteligente predice el rendimiento de cada modelo para cada solicitud y dirige dinámicamente cada solicitud al modelo que predice que es más probable que dé la respuesta deseada al menor costo. Puede configurar un enrutador de peticiones con dos modelos de la misma familia: Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B y 3.3 70B) y Amazon Nova (Nova Lite y Nova Pro).

Para lograr el rendimiento y el costo deseados para sus aplicaciones, con frecuencia debe desarrollar flujos de trabajo de orquestación complejos, dirigiendo cada solicitud al modelo que mejor se adapte a esa solicitud en función de su experiencia para lograr el rendimiento deseado en términos de precisión. Con el direccionamiento de peticiones inteligente, puede ahorrar meses de esfuerzo al probar diferentes modelos y crear flujos de trabajo de orquestación complejos mediante la selección de enrutadores de peticiones predeterminados de Amazon Bedrock o la configuración de enrutadores propios. Para configurar fácilmente un enrutador, elija dos modelos de una familia de modelos y luego configure los criterios de enrutamiento del enrutador.

Cada solicitud es totalmente rastreable, lo que le permite identificar qué modelo gestiona cada solicitud y también puede comprender y depurar fácilmente cualquier problema.