비용, 지연 시간 및 정확도 최적화

Amazon Bedrock Prompt Management 프롬프트의 생성, 평가, 버전 관리, 실행을 간소화하여 개발자가 사용 사례에 맞는 FM에서 최상의 응답을 얻을 수 있도록 합니다.

• Prompt Management를 사용하여 다양한 FM, 구성, 도구 및 지침을 테스트
• Prompt Management의 프롬프트 최적화 기능은 프롬프트를 자동으로 다시 작성하여 정확도를 높이고 FM에서 보다 간결한 응답을 제공
• 배포 없이 최신 FM을 사용하여 프롬프트를 즉시 테스트
• Amazon SageMaker Unified Studio에서 생성형 AI 애플리케이션을 빠르게 구축하고 프롬프트 생성을 위한 협업 진행

Amazon Bedrock Intelligent Prompt Routing은 모델 제품군 내의 다양한 FM으로 프롬프트를 라우팅하여 응답 품질과 비용을 최적화하도록 지원합니다. Intelligent Prompt Routing은 정확도 저하 없이 비용을 최대 30% 절감할 수 있습니다.

• Amazon Bedrock은 가장 낮은 비용으로 원하는 응답을 제공할 가능성이 가장 높은 것으로 예측되는 모델로 요청을 동적으로 라우팅합니다.
• Amazon Bedrock에서 제공하는 기본 프롬프트 라우터를 선택하거나 자체 라우터를 구성하여 개발 작업량을 줄이고 다양한 모델을 테스트하며 복잡한 오케스트레이션 워크플로를 구축합니다.
• 완전히 추적 가능한 요청으로 쉽게 디버깅

Amazon Bedrock에서 가장 고급 모델에 필적하는 사용 사례별 정확도를 제공하는 더 작고 더 빠르며 더 비용 효과적인 모델을 사용합니다.

원하는 정확도의 '교사' 모델을 사용하여 '학생' 모델을 미세 조정합니다.

• 독점 데이터 합성을 통해 증류된 모델 성능을 극대화
• 프로덕션 데이터를 가져와 비용을 절감 Model Distillation을 사용하면 프롬프트를 제공한 다음 이를 사용하여 합성 응답을 생성하고 학생 모델을 미세 조정할 수 있습니다.
• 에이전트의 함수 직접 호출 예측 정확도를 개선합니다. 소규모 모델에서 함수 직접 호출을 정확하게 예측하여 응답 시간을 크게 단축하고 운영 비용을 절감할 수 있습니다.