Category: Analytics

背景介绍 很多企业都希望借助 Windows Active Directory Federation Serv […]

数据是业务的关键驱动力。随着时间的推移，数据量可能会显著增加，而这些数据通常需要同时消耗大量计算资源。随着越来 […]

本文介绍了 Dinky 作为一个开源的实时计算平台，如何与 Amazon EMR Flink 集成部署，为数据分析平台提供易用且强大的实时在线任务处理能力。Dinky 凭借其先进的架构设计、完备的功能模块和便捷的开发运维体验，能够很好地弥补 Amazon EMR 在任务提交、管理、监控等方面的复杂度，使得构建实时数据分析平台的整个过程更加顺畅高效。

本文提出了一种结合开源组件与 AWS 服务的综合性解决方案，旨在利用 Amazon 的高性能计算资源，为客户提供一个易于使用、开源可控、低成本、且功能完备的数据平台。该方案涵盖了调度平台、Flink 作业平台、Spark SQL 执行网关、SQL 开发平台和元数据管理平台等多个关键组件，并通过实际案例展示了其在生产环境中的成功应用。

1. 概述 上文讲述了如何建立在 Apache Flink 中将数据写入到 Amazon S3。这篇文章将继续 […]

本文主要介绍了在基于亚马逊云科技的一系列 Serverless 托管服务下快速构建的最佳实践和多套解决方案，可以满足不同业务场景下的高并发、低延迟的分析查询需求，同时易于运维与构建。

本文围绕 kdb+以及 Amazon 托管的 kdb+ insights 服务，即 Amazon FinSpace，展开对 kdb+，尤其是 Amazon FinSpace 的架构以及功能介绍，并详细描述了如何利用 Amazon FinSpace 构建一个 Quant Data Analytics 应用的操作过程。

本文介绍了围绕 Amazon EMR 和统一数据湖（S3）在构建车联网数据平台的实践，用户无需在不同数据分析引擎之间移动数据，通过 Amazon EMR 让开发人员可以继续沿用以往在 hadoop 生态体系下的数据平台的操作习惯，实现细粒度的数据权限和身份认证控制，另外针对车联网数据具有实时性、数据流量存在波峰波谷不确定等特性，利用亚马逊云科技 Serverless 服务的优势，在通过弹性资源优化资源利用率，也可以快速完成整个车联网数据平台架构的验证与运营，为助力车企向“服务和数据驱动”转型变革保驾护航。

Celeborn 是一个开源的实现 Remote Shuffle 的工具。通过为 EMR 部署 Celeborn 服务，可以将 Spark 计算的中间结果从采用 Spot 实例的 EMR 集群节点中分离存储，实现 shuffle 数据的存算分离，有效减少了 Spot 实例回收导致的重算成本。

介绍如何利用 Elastic Kubernetes Service（EKS）打造弹性 StarRocks 集群，以及 StarRorks 在亚马逊云上的部署优势。