亚马逊AWS官方博客

云端生成式 AI – 基于 Amazon EKS 的 Stable Diffusion 图像生成方案

在生成式 AI 的图像生成场景下，我们基于 Amazon EKS，实现了一种更加适合 toC 场景的解决方案，它将帮助客户从容应对大并发量的请求，达到分钟级冷启动；使用更简单的控制平面，为客户提供更灵活的架构，轻松实现各种功能模块设计；同时，它还利用 Amazon Spot instances，帮助客户有效控制成本。

Amazon Managed Streaming for Apache Kafka 故障转移和扩容时间测试报告

为了测试 Amazon MSK 的扩容性能，我们对其进行了一系列的测试，包括扩容分区数量、扩容代理数量和扩容磁盘容量等方面的测试。此外，我们还模拟了故障转移场景，观察了集群在故障转移过程中的性能表现和响应时间，以评估 Amazon MSK 在故障发生时的自动恢复能力。这些测试旨在评估 Amazon MSK 在扩容过程中的性能表现和响应时间，并为用户提供参考，以便他们更好地了解 Amazon MSK 的扩容能力，并做出更好的决策。在本测试报告中，我们将详细介绍测试的环境和方法，并分析测试结果。

使用 Rolling Batch 加速 SageMaker LLM 模型推理性能

本文介绍了近期业界新的 Rolling Batch（continually batch）的批处理推理优化技术原理，并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比，可以帮助客户在实际生产场景中通过简单配置，立竿见影地提升线上部署的 LLM 的推理吞吐量，降低响应时延，节省资源。

利用 StarRocks on AWS 实现高性能实时数据分析

StarRocks 是专为所有数据分析场景而设计的下一代亚秒级 MPP 数据库，旨在提供任何规模的简单快速的数据分析。结合易于使用的数据加载管道和对数据源的丰富支持，StarRocks on AWS 可以帮助用户实现他们的目标。StarRocks Flink CDC 连接器的推出是为了简化实时数据加载管道，成为 StarRocks 数据加载领域的新成员。

← Older posts
Newer posts →