Category: AWS Big Data

在本博文中，将通过在 Amazon EC2 实例上运行的 R/RStudio Server 与 Athena 相连接，之后通过浏览器连接RStudio Server执行SQL语句查询S3内的数据。

在本博文系列的第 1 部分中，您学习了如何使用 Lake Formation 来创建和探索数据湖。本博文将引导您使用控制台中的 Lake Formation 的元数据搜索功能来发现数据，并了解受列权限限制的元数据搜索结果

传统上，组织将数据保存在固化、单一用途的系统中，例如本地数据仓库设备。同样，他们使用单一方法来分析数据，例如预定义的 BI 报告。在数据库之间移动数据以使用不同方法（例如机器学习 (ML) 或即兴使用的 SQL 查询）来分析数据时，需要在分析之前进行“提取、转换、加载” (ETL) 处理。这些传统方法即便再好，也是效率低下且存在延迟的。最糟糕的是存在复杂的安全性。

基于AWS Lake Formation您可以轻松构建起安全的数据湖。 数据湖是一个集中的、有组织的、安全的数据存储环境，可以存储您的任意规模的结构化和非结构化数据。 您可以按原样存储数据，而无需先对其进行结构化。 您可以运行包括：仪表板、可视化、大数据处理、实时分析和机器学习等各种类型的分析和处理，以更好地指导决策制定。

许多客户已经在享受使用HBase on Amazon S3的众多好处，包括更低的成本、更好的数据持久性和更便捷的可扩展性。美国金融业监管局 (FINRA) 已通过迁移到 HBase on Amazon S3架构将成本降低了 60%，并通过将存储与计算解耦以及将 S3 用作存储层获得了众多运营优势。HBase on Amazon S3允许您启动集群并立即开始对 S3 中的数据进行查询，而不必执行冗长的快照还原过程。

从 Amazon EMR 5.2.0 开始，您可以选择基于 Amazon S3 上的 Apache HBase。在 S3 上运行 HBase 可为您额外带来多项优势，包括降低成本、数据持久性和更轻松地进行扩展。
HBase 提供了多个可用于迁移和备份 HBase 表的选项。迁移到 S3 上的 HBase 的步骤与适用于 Apache Hadoop 分布式文件系统 (HDFS) 上的 HBase 的步骤类似。但是，如果您知道一些细微差别和一些“技巧”，则迁移会更容易。
在本文中，我将介绍如何使用一些常用的 HBase 迁移选项开始使用 S3 上的 HBase。

本文将介绍Glue的DataCatalog，爬网程序，ETL，以及Demo展示。

Amazon EC2 Systems Manager可帮助您自动化各种管理任务，例如自动化AMI创建或跨数百个实例运行命令或脚本。 在本文中，我将展示如何使用Systems Manager Automation来自动创建用于EMR的自定义Amazon Linux AMI和为AMI打补丁。

在本博文中，我们将回顾可以提高查询性能的十大技巧。我们将着重关注对存储在Amazon S3上的数据的查询优化。Amazon Athena 使用 Presto 运行 SQL 查询，因此，如果您在 Amazon EMR 上运行 Presto，那么某些建议也行之有效。

这是 2017 年 OpenStreetMap 美国理事会成员 Seth Fitzsimmons 的一篇特邀博文。Seth 为 Humanitarian OpenStreetMap Team、Mapzen、美国红十字会以及世界银行等客户设计创新的地理空间解决方案。
OpenStreetMap (OSM) 式一个免费的可编辑世界地图，由志愿者创建和维护，可依据开放许可证使用。Mapbox、Foursquare、Mapzen、世界银行、美国红十字会以及其他公司和非营利组织使用 OSM 为全世界的用户提供地图、方向指引和地理背景。