การกำหนดเส้นทางพร้อมท์ Amazon Bedrock

อาจเป็นเรื่องท้าทายสำหรับนักพัฒนาที่จะเข้าใจว่าการสืบค้นใดบ้างที่จำเป็นต้องใช้โมเดลขั้นสูงกว่า หรือสามารถทำงานกับการสืบค้นที่เล็กกว่า เร็วกว่า และถูกกว่าได้ เมื่อใช้เทคนิคการจับคู่พร้อมท์ขั้นสูงและการทำความเข้าใจโมเดล การกำหนดเส้นทางพร้อมท์อัจฉริยะจะคาดการณ์ประสิทธิภาพของแต่ละโมเดลสำหรับแต่ละคำขอและกำหนดเส้นทางแต่ละคำขอแบบไดนามิกไปยังโมเดลที่คาดว่ามีแนวโน้มที่จะให้การตอบสนองที่ต้องการในราคาที่ต่ำที่สุด คุณสามารถกำหนดค่าตัวกำหนดเส้นทางพร้อมท์โดยใช้โมเดลรุ่นใดก็ได้ 2 รุ่นจากกลุ่มเดียวกันโดยใช้ Anthropic (Haiku, Haiku 3.5, Claude Sonnet 3.5 v1, Claude Sonnet 3.5 v2), Meta Llama (3.1 8b, 70b, 3.2 11B, 90B และ 3.3 70B) และ Amazon Nova (Nova Lite และ Nova Pro)

เพื่อให้ได้ประสิทธิภาพและต้นทุนตามที่ต้องการสำหรับแอปพลิเคชันของคุณ คุณมักจะต้องพัฒนาเวิร์กโฟลว์การควบคุมระบบที่ซับซ้อน โดยกำหนดเส้นทางคำขอแต่ละรายการไปยังโมเดลที่เหมาะสมที่สุดสำหรับคำขอนั้น ๆ โดยอิงจากประสบการณ์ของคุณ เพื่อให้ได้ประสิทธิภาพตามต้องการในแง่ของความแม่นยำ ด้วยการกำหนดเส้นทางพร้อมท์อัจฉริยะ คุณสามารถประหยัดความพยายามหลายเดือนในการทดสอบโมเดลต่าง ๆ และสร้างเวิร์กโฟลว์การควบคุมระบบที่ซับซ้อนโดยเลือกตัวกำหนดเส้นทางพร้อมท์เริ่มต้นที่ Amazon Bedrock จัดหาให้ หรือดำเนินการกำหนดค่าด้วยตนเอง คุณสามารถกำหนดค่าตัวกำหนดเส้นทางของคุณได้อย่างง่ายดายโมเดลรุ่นใดก็ได้ 2 รุ่นจากกลุ่มเดียวกัน จากนั้นกำหนดค่าเกณฑ์การกำหนดเส้นทางสำหรับตัวกำหนดเส้นทางของคุณ

แต่ละคำขอสามารถติดตามได้อย่างเต็มที่ ช่วยให้คุณสามารถระบุโมเดลใดที่จัดการกับคำขอแต่ละรายการและช่วยให้คุณเข้าใจและดีบักได้อย่างง่ายดาย