Интеллектуальная маршрутизация запросов Amazon Bedrock

Разработчикам может быть сложно понять, какие запросы требуют более совершенных моделей, а какие смогут работать с более быстрыми и дешевыми моделями меньшего размера. Используя передовые методы сопоставления текстовых запросов и анализа моделей, функция интеллектуальной маршрутизации запросов прогнозирует производительность каждой модели по каждому запросу и динамически направляет каждый запрос той модели, которая, согласно прогнозам, с наибольшей вероятностью даст желаемый ответ с наименьшей стоимостью. Маршрутизатор текстовых запросов можно настроить с любыми двумя моделями из одного семейства с помощью Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B и 3.3 70B) или Amazon Nova (Nova Lite и Nova Pro).

Для достижения требуемой производительности в разрезе требований к точности и стоимости приложений часто приходится разрабатывать сложные рабочие процессы оркестрации, перенаправляя каждый запрос в модель, наиболее подходящую для этого запроса на основе вашего опыта. С помощью интеллектуальной маршрутизации запросов вы можете сэкономить месяцы усилий на тестировании различных моделей и создании сложных рабочих процессов оркестрации, выбрав поставляемые Amazon Bedrock стандартные маршрутизаторы текстовых запросов или настроив собственные. Маршрутизатор можно легко настроить, выбрав две модели из предложенного семейства, а затем настроив критерии маршрутизации для маршрутизатора.

Каждый запрос полностью отслеживается, что позволяет определить, какая модель его обрабатывает, а также упрощает анализ и отладку любых проблем.