Perutean Prompt Cerdas Amazon Bedrock

Memahami kueri mana yang membutuhkan model yang lebih canggih atau dapat bekerja dengan model yang lebih kecil, lebih cepat, dan lebih murah merupakan tantangan bagi developer. Dengan menggunakan teknik pencocokan prompt dan pemahaman model tingkat lanjut, Perutean Prompt Cerdas memprediksi performa setiap model untuk setiap permintaan dan secara dinamis merutekan setiap permintaan ke model yang diprediksi akan memberikan respons yang diinginkan dengan biaya terendah. Anda dapat mengonfigurasi router prompt menggunakan dua model dari keluarga yang sama dengan Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B, dan 3.3 70B ), serta Amazon Nova (Nova Lite dan Nova Pro).

Untuk mencapai performa dan biaya yang diinginkan untuk aplikasi, Anda harus sering mengembangkan alur kerja orkestrasi yang kompleks, merutekan setiap permintaan ke model yang paling sesuai untuk permintaan tersebut berdasarkan pengalaman untuk mencapai performa yang diinginkan dalam hal akurasi. Dengan Perutean Prompt Cerdas, Anda dapat menghemat waktu berbulan-bulan untuk menguji model yang berbeda dan membuat alur kerja orkestrasi yang rumit dengan memilih router prompt default yang disediakan oleh Amazon Bedrock, atau dengan mengonfigurasi sendiri. Anda dapat dengan mudah mengonfigurasi router dengan memilih dua model dari keluarga model, lalu mengonfigurasi kriteria perutean untuk router Anda.

Setiap permintaan dapat dilacak sepenuhnya, sehingga Anda dapat mengidentifikasi model mana yang menangani setiap permintaan dan Anda dapat dengan mudah memahami dan men-debug masalah apa pun.