Category: Analytics

对于数据仓库、大数据、数据湖等技术源流的回顾与思考，厘清技术发展的脉络

通过结合EventBridge、消息主题（SNS），以及按事件调用触发的无服务器函数Lambda，可以实时捕获EMR集群的生命周期变化，如集群的创建和停止，扩容和缩容以及其他类型的集群状态变更等。 本文演示如何捕获EMR集群状态变更（我们以AWS的新加坡区域为例）并发送到当前常用的“企业微信”和“钉钉”手机客户端，其他AWS服务场景请酌情参考。

本文为StockX公司Sam Bean与Nic Roberts II撰写的客座文章。援引他们的表述，“StockX是一家来自底特律的初创公司，希望以独特的竞价/出价市场革新电子商务体系。我们平台的设计灵感源自纽约证券交易所，并将运动鞋与街头潮牌服饰等商品视为高价值可交易商品。凭借运营透明化的市场交易体验，StockX将帮助消费者以真实市场价购买备受追捧的真品。”

本文为乐天玛特公司大数据分析师Sungoh Park撰写的客座文章。援引他的表述，“作为乐天有限公司下辖子公司，乐天玛特是韩国领先的零售商，销售各类日用百货、服装、玩具、电子产品及其他商品。”

2020年的种种变化，让我们再次意识到敏捷性的重要意义。随着新冠疫情的全面爆发，我们接触到的每家客户都着手推进自己的应对之策。部分公司决定努力提高运营效率，有些企业甚至在疫情期间获得了可观的业务增长。

对Amazon DynamoDB团队来说，2020年又是繁忙的一年。我们发布了多项对原有功能的更新以及全新功能，希望在可靠性、加密、速度、可扩展性与灵活性等方面为大家带来更出色的使用体验。

本文首先简单介绍了ClickHouse及其特性和使用场景，然后介绍了通过与Amazon S3存储的结合，可以为数据分析系统带来的优势：成本优化以及数据湖的应用。接下来，我们又介绍了ClickHouse和S3集成的三种方案，并通过具体示例来展示了各方案的具体实现方法和优劣势。

本文首先介绍了AWS Glue以及该服务的功能和使用场景，然后介绍了AWS Glue 中的Python Shell作业，可以基于Python完成一些基础的ETL操作。接下来，我们又介绍了Pandas on AWS – AWS Data Wrangler这款在AWS上进行数据分析的利器，并通过一个示例场景（CSV转换Parquet）来介绍了如何在Python Shell作业引入AWS Data Wrangler来简化在AWS平台上的无服务器化的ETL任务。

本文首先简单介绍了ClickHouse及其特性和使用场景，然后介绍了AWS Graviton2 Arm架构的优势，并演示了如何在AWS Graviton2的EC2实例上进行编译安装。接着，对AWS Graviton2和x86架构的EC2实例上的ClickHouse进行了性能比对，通过结果可以看到，AWS Graviton2不仅增强了数据分析的成本优势，还给客户带来了更丰富的计算架构选项。

使用Amazon Kinesis和Amazon EMR构建数据批处理分析架构，并和流式处理汇总到Redshift做集中数仓查询.