跳至主要内容

Amazon Bedrock

针对成本、延迟和准确性进行优化

借助可在各个阶段评估和优化人工智能的工具，在控制成本的同时提升准确性和性能

性能方面绝不妥协

Amazon Bedrock 可帮助您在成本、延迟和准确性之间取得适当的平衡，让您的生成式人工智能应用程序能够高效运行，同时避免超支。凭借模型蒸馏、智能提示路由、提示缓存等功能以及灵活的推理选项（包括按需、批量和预置吞吐量），Amazon Bedrock 能为您提供针对不同使用场景进行优化并自信扩展所需的控制力。无论您是处理实时工作负载还是批量工作负载，Amazon Bedrock 都能帮助您构建更智能、更精简、更具成本效益的人工智能系统。

Missing alt text value

提升性能。降低成本。

对于受支持的模型，使用提示缓存可使成本降低高达 90%，并使延迟降低高达 85%

许多基础模型（FM）用例会在 API 调用中重复使用提示的某些部分（前缀）。通过提示缓存，受支持的模型支持您在请求之间缓存这些重复的提示前缀。该缓存允许模型跳过重新计算匹配前缀的步骤。

  • 提高多种应用场景的性能
  • 缓存提示的相关部分，以节省输入令牌成本
  • 与其他 Amazon Bedrock 功能集成以加快处理多步骤任务或更长的系统提示，从而在不减慢响应速度的情况下帮助优化代理行为
详细了解提示缓存
Missing alt text value

加快生成式人工智能应用程序的提示工程

Amazon Bedrock 提示管理器可简化提示的创建、评估、版本控制和运行，使开发人员能够从 FM 中获得针对其使用案例的最佳回复。

  • 提示管理器有助于您测试不同的 FM、配置、工具和说明
  • 提示管理器中的提示优化功能可以自动重写提示，以提高准确性并给出来自 FM 的更简洁的回复
  • 无需任何部署，即可立即使用最新的 FM 测试提示
  • 在 Amazon SageMaker 融通式合作开发工作室中快速构建生成式 AI 生成式人工智能应用程序并协作完成提示创建
观看演示
Missing alt text value

借助智能提示路由，以更低的成本实现性能最大化

Amazon Bedrock 智能提示路由功能会将提示路由到模型系列中的不同 FM，从而帮助您优化回复质量和成本。智能提示路由功能可以在不影响准确性的情况下将成本降低多达 30%。

  • Amazon Bedrock 会将请求动态路由到其预测最有可能以极低成本给出所需回复的模型
  • 通过选择 Amazon Bedrock 提供的默认提示路由或配置自己的提示路由，减少开发工作量、测试不同的模型并创建复杂的编排工作流程
  • 通过完全可追溯的请求轻松进行调试
详细了解提示路由
Missing alt text value

与原始模型相比，Amazon Bedrock 中的蒸馏模型速度最多可提高 500%，成本最多可降低 75%，而在 RAG 等使用案例中，准确性损失不到 2%

您可以使用更小、更快、更具成本效益的模型，这些模型可提供与 Amazon Bedrock 中最先进模型相媲美的特定于使用案例的准确性。

使用具有所需准确性的“教师式”模型对“学生式”模型进行微调。

  • 使用专有数据合成大幅提高蒸馏模型的性能
  • 通过导入生产数据来降低成本。模型蒸馏功能使您能够输入提示，然后利用这些提示生成合成回复，并对学生式模型进行微调
  • 提高代理的函数调用预测准确性。支持较小的模型准确预测函数调用，从而大大缩短响应时间并降低运营成本
详细了解模型蒸馏
Missing alt text value