Amazon Bedrock Akıllı İstem Yönlendirme

Geliştiriciler için hangi sorguların daha gelişmiş modeller gerektirdiğini veya daha küçük, daha hızlı ve daha ucuz modellerle çalışabileceğini anlamak zor olabilir. Gelişmiş istem eşleştirme ve model anlama tekniklerini kullanan Akıllı İstem Yönlendirme, her bir istek için her modelin performansını tahmin eder ve her isteği, istenen yanıtı en düşük maliyetle vereceğini tahmin ettiği modele dinamik olarak yönlendirir. Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B ve 3.3 70B) ve Amazon Nova (Nova Lite ve Nova Pro) ile aynı aileden herhangi iki modelle bir istem yönlendiricisini yapılandırabilirsiniz.

Uygulamalarınız için istenen performansı ve maliyeti elde etmek için, genellikle karmaşık düzenleme iş akışları geliştirmeniz ve her isteği doğruluk açısından istenen performansı elde etmek için deneyiminize göre bu istek için en uygun modele yönlendirmeniz gerekir. Akıllı İstek Yönlendirmesi ile Amazon Bedrock tarafından sağlanan varsayılan istem yönlendiricilerini seçerek veya kendi istemi yönlendiricilerinizi yapılandırarak farklı modelleri test etmek ve karmaşık düzenleme iş akışları oluşturmak için aylarca çabadan tasarruf edebilirsiniz. Bir model ailesinden iki model seçerek ve ardından yönlendiriciniz için yönlendirme kriterlerini yapılandırarak yönlendiricinizi kolayca yapılandırabilirsiniz.

Her istek tamamen izlenebilir olup, hangi modelin her isteği işlediğini belirlemenizi ve herhangi bir sorunu kolayca anlamanızı ve hataları ayıklamanızı sağlar.