Category: Artificial Intelligence

当企业把 AI Agent 从“演示惊艳的原型”推向“生产可信赖的系统”时，评估（Evaluation）就成了决定成败的关键一环——它既不同于传统软件的单元测试，也不同于单模型 benchmark。本文基于 Amazon 内部构建数千个生产级 Agent 的实战经验，系统拆解 AWS 的 Agent 评估方法论，并给出一套从原型验证到生产就绪的工程实践路径。

Agent 与传统软件有本质不同——非确定性、Prompt 即源代码、依赖会自己动——因此传统 QA 框架在它身上系统性失效，需要一套新的开发生命周期 ADLC。在那个六环节的飞轮里，“定义‘好’”排在动手构建之前，而 Evaluation 后续工程实践的重要基础：没有它，你不知道自己在哪里，也不知道改了之后有没有变好。上一篇结尾留下了三个问题：Agent Evaluation 究竟要评什么维度？有哪些方法？如何从零构建一套在企业规模下真正可用的评估体系？ 本篇就来回答它们。

前面两部分我们讨论了 Agent 的开发生命周期，以及评估为什么是一个全新的问题——它既不同于传统软件的单元测试（输入到输出不再是确定性映射），也不同于大模型 benchmark。本章的主线是六个递进的问题：评估框架长什么样 → 该看哪些指标 → 评估流程怎么跑 → 数据集和人怎么进来 → 怎么把它变成工程纪律 → 有什么工具支撑。

客户在自建机房使用基于 ConnectX 系列网卡的 RoCE 集群运行 GLM-5.1-FP8（750B MoE）模型推理服务，采用 Prefill-Decode (PD) 分离架构：2 台 Prefill 节点 + 2 台 Decode 节点，每台 8×H200 GPU。期望利用 AWS 弹性算力扩展本地 GPU 计算资源，同时获得更快的硬件迭代能力，从而降低硬件采购和折旧风险。AWS EFA 能否在这种极端复杂的通信负载下，达到 ConnectX 系列 + RoCE 方案的性能水平？我们基于客户的实际部署需求进行了完整的理论分析和实际验证

今天在纽约市 AWS Summit 上，AWS 代理式人工智能副总裁 Swami Sivasubramanian 发表了当天的主题演讲。

利用 AWS Serverless架构实现 Kiro 费用的自动化采集、用户级分摊、CSV 报告生成，并通过飞书 Webhook 推送可视化摘要卡片。

今日，我们正式推出 Amazon Bedrock Managed Knowledge Base，这套拥有全新功能的产品可让开发人员在数分钟内，依托企业自己的专有数据搭建企业级生成式人工智能应用程序。构建代理式人工智能应用程序的组织需要安全、可靠且最新的企业级数据访问，以交付准确、快速且可信的结果。Managed Knowledge Base 简化构建、管理检索增强生成（RAG）管道的复杂流程，让开发人员可专注业务成果落地，无需投入精力管理基础设施。

今日，我们正式宣布 Amazon Bedrock AgentCore Web 搜索功能全面可用。这是一款完全托管的工具，使代理能够在客户安全的 AWS 环境中零数据输出的情况下，根据当前引用的 Web 知识进行响应。

今日，我们正式推出 AWS Transform 持续现代化（预览版），这是 AWS Transform 的全新功能，可大规模、自动化、持续开展技术债务分析和修复工作。AWS Transform 现已助力企业完成数据中心迁出、大型机与 Windows 应用程序现代化改造，同时处理各类标准化软件维护工作：升级 Java 版本、替换已废弃框架、在 AWS Lambda 运行时生命周期结束前完成更新。此次全新体验在此基础上进一步扩展。客户可全面查看数千个存储库的代码库现状、按优先级排序的调查发现，以及用于完成修复的拉取请求。

本周，纽约市将举办 AWS Summit。届时，构建者、客户和 AWS 技术团队将齐聚贾维茨会展中心，进行一整天的新品发布、现场演示和技术会议。我为本次峰会发布的部分新功能撰写了博客，很高兴看到这些功能在本周上线。可惜我无法亲临现场。我将参加为期四天的音乐节，一边努力弄清楚如何搭帐篷，一边在手机上关注发布会。如果您也和我一样，无法到场，6 月 17 日将开放主题演讲直播，由代理式人工智能副总裁 Swami Sivasubramanian 博士、安全服务与可观测性副总裁 Chet Kapoor 主讲，覆盖开发工具、AI 基础设施、安全领域的新功能。