Author: AWS Team

客户部署自己的大模型时，常常会遇到如何评估模型部署的性能和如何调优的问题， 本篇主要针对如何评估性能进行讨论。 基于 vllm 部署的模型， 通过 Prometheus 和 Grafana 如何取得模型推理的性能参数，以及如何解读这些参数进行讨论。 本文采用 inferentia2 作为测试环境， 因为本篇的目的主要是解读性能参数， 在这篇里不会讨论 inferentia2 的规格和运行配置进行优化。

本文将介绍如何通过一键操作，在 Amazon EC2 实例上部署 Ollama 与 OpenWebUI，实现本地大语言模型（LLM）环境的快速启动。

Valkey 作为一个基于 Redis 的键值存储解决方案,以其卓越的性能和灵活性而闻名。同时，AWS 的 Graviton 处理器为云计算带来了新的可能性，提供了更高的性价比。本文将探讨如何利用 Graviton 实例来进一步提升自建 Valkey 的性价比，通过一系列测试和分析为读者提供实用的洞察和建议。

本篇博客面向初学者和希望快速部署云上开发环境的用户，介绍如何通过一份可复用的 AWS CloudFormation 模板，一键部署 Amazon Elastic Compute Cloud、Application Load Balancer 和 Auto Scaling Group，并自动安装 Node.js、Python、Flask、Docker 等常用开发组件。该方案显著简化了云上环境搭建流程，可用于快速构建个人开发平台、临时测试环境或团队统一开发基础设施。

通过 liteLLM，Sagemaker Inference Component 推理端点，构建一个统一的 MaaS 中台，客户不仅能够集成多种模型，还能充分利用高性能硬件，实现资源的高效管理。这种灵活且高效的架构，将为客户在人工智能领域的应用打下坚实的基础，助力其在竞争中脱颖而出。

在这篇博客中，我们将探索 GameLift 的架构及其六个核心组件，它们协同工作，为您的多人游戏创建灵活、可扩展的基础。无论您是在优化现有架构还是从零设计游戏后端，了解这些组件都将帮助您有效地利用 GameLift。

本文将介绍如何在 Amazon EKS(Elastic Kubernetes Service) 环境中，利用 S3 Express One Zone 作为推荐系统的存储后端，以优化性能并降低成本。我们将从技术可行性、性能优化和风险管理三个方面，深入探讨 S3 Express One Zone 在电商推荐场景下的应用。

这篇文章探讨了构建企业级AI平台的重要性和方法。它提出了四步法：识别关键业务流程、评估所需 AI 能力、设计灵活可扩展的技术架构、培养人才并整合团队。文章详细介绍了一个七层架构框架，从基础设施到应用层。同时，提供了实施路线图，建议采用案例驱动、迭代式方法，逐步建立全面的 AI 生态系统，同时确保法律合规和风险管理。

本文主要介绍了利用 Amazon Bedrock Data Automation (BDA) 对视频数据进行自动化处理和检索的解决方案。BDA 为视频搜索提供了源数据，无服务器的架构为整体的设计提供了低成本的计算资源，后续的数据的存储选用 DocumentDB 也是希望可以用灵活地手段做 Json 数据处理。在 AI 模型的加持下，希望本文能够为 AI 与视频搜索提供了一种新思路。​

文章介绍了一套基于 AWS 无服务器架构的高危操作实时监控告警系统，通过 CloudTrail、EventBridge、Lambda 和钉钉推送实现对云资源删除等高风险操作的秒级检测与告警。