Category: AWS Big Data

本系列文章使用 Amazon EMR Notebook 对 Apache Hudi 核心概念展开深入的探索和介绍，利用 Notebook 提供的统一环境和上下文，我们可以非常生动地观察到 Hudi 的运行机制，并深刻体会到其背后的控制原理，这也正是本系列文章的写作灵感：我们希望借助 Notebook “探索，发现，思考，领悟”的思维模式，带领大家开启一段 Hudi 核心概念的探索之旅。

本文从实战的角度，解释一下亚马逊云科技客户在选择使用 HBase on S3 的时候比较关心的两个问题，一个是如何把已有的 HBase on HDFS 迁移到 HBase on S3，并包含二级索引的迁移；另一个是 HBase on S3 的性能问题。

这篇博客介绍了基于AWS的全面数据质量解决方案DQ Key，此方案基于数据治理自上而下质量治理模型以及数据质量治理流程，从业务以及技术层面为客户提供数据质量从发现到治理的一整套完整解决方案。
Key Messages as Tag

本文将展现一种以Amazon CloudWatch监控的指标为数据源，Amazon EventBridge和AWS Lambda作为运维事件监控和行动触发的组件，Amazon SNS和Amazon SQS作为摄取云上运维事件的消息队列，Grafana作为运维主看板的轻量级解决方案。

在构建本地数据中心的时候，出于Kudu良好的性能和兼备OLTP和OLAP的特性，以及对Impala SQL和Spark的支持，很多用户会选择Impala/Spark + Kudu的技术栈。但是由于Kudu对本地存储的依赖，导致无法支持的数据高可用和弹性扩缩容，以及社区的逐渐不活跃，越来越多的用户，开始迁移到云上的Trino/Spark + Hudi 技术栈，本文通过一个实际的例子，来看一下迁移过程中发生的代码的重构和数据的迁移。

此文整体采用无服务器的架构，利用AWS Glue加载并转换应用日志和JDBC数据源，并以目标格式写到以S3构建的数据湖中，该技术可以有效的打通因为不同摄入/获取数据方式形成的数据孤岛，以数据为基石更好的帮助业务部门做业务决策。

Amazon Redshift 是一个快速、完全托管式云数据仓库数据库，可使通过标准 SQL 和商业智能工具对 […]

现代数据架构鼓励数据湖、数据仓库和专用数据存储的集成，从而实现统一治理和轻松数据移动。借助 AWS 上的现代数 […]

AWS ProServe GCR 利用机器学习进行多步时间序列预测解决方案。

对于需要在 AWS 上使用 Apache Airflow 但是 无法使用 AWS 托管服务 MWAA ， 或者想使用特定 Apache Airflow 版本， 或者想定制 Apache Airflow 登陆、部署方式的用户，可以通过此方案搭建高可靠的 Apache Airflow 集群，同时提供用户登陆和鉴权机制。此方案已在全球知名 Tier One 汽车供应商的高级辅助驾驶系统（Advanced driver-assistance system, ADAS）开发平台成功应用。