亚马逊AWS官方博客
Category: Analytics
Amazon SageMaker Unified Studio 现已正式可用
现在,我们宣布 Amazon SageMaker Unified Studio 正式发布。这是一个集成的数据与 […]
Amazon S3 表类数据存储服务与 Amazon SageMaker 智能湖仓的集成现已正式发布
在 re:Invent 2024 上,我们推出了 Amazon S3 表类数据存储服务和 Amazon Sag […]
Amazon EMR 集群的成本优化实践
本文详细介绍了一个针对 AWS EMR 集群定时启停并保持 IP 地址固定的解决方案。该方案巧妙地结合了弹性网卡(ENI)技术和自动化脚本,有效解决了企业在使用 EMR 时面临的两大挑战:资源使用效率与 IP 地址变化问题。
基于 IoT 数据平台案例看 EMR HBase BucketCache 调优
我们提到,当 HBase 使用 Amazon S3 作为底层存储时,可以通过预热 BucketCache 来提升读取性能。随着 BucketCache 大小的增加,内存占用也呈正比上升。那么,BucketCache 对于性能的提升有多少?这些提升能否弥补 cache 带来的额外内存与算力成本呢?这篇 blog 将讨论这一问题。
基于 Datahub +Redshift 自动生成字段级血缘
这篇文章介绍了一个基于 DataHub 和 SQLLineage 实现 Redshift 字段级血缘的轻量级解决方案。这个方案为数据团队提供了一个实用的数据血缘追踪工具,有助于数据治理、影响分析、问题排查和性能优化等工作。同时其轻量级和可扩展的特点,也使其非常适合中小型数据团队使用。
Snowflake on AWS 使用指南 – 通过 AWS PrivateLink 实现 Snowflake 数据仓库私有连接
全托管云原生数据云服务平台 Snowflake 现已进入亚马逊云科技中国区域。通过与 AWS PrivateLink 的集成,Snowflake 能够为客户提供安全的私有连接,实现 VPC 内应用程序与 Snowflake 环境的直接通信,增强了数据安全性和运维效率。
数据架构的云原生迭代:从 Snowflake 到 AWS Data Lake
随着企业数据规模的不断扩大和分析任务的日益增加,单一的数据仓库架构逐渐无法满足多样化的业务需求。因此,许多企业开始考虑将其数据仓库体系扩展到数据湖,以便更好地管理海量数据并灵活地增加不同的分析服务。本文将通过一个用户案例来阐述这一转变过程,探讨如何在 AWS 环境中实现数据湖与 Snowflake 之间的集成,以支持更复杂的数据分析需求。
使用机架感知功能降低 Amazon MSK 流量成本
本文主要介绍 Amazon MSK 流量成本优化的最佳实践,通过 KIP-392 实现 consumer 对 MSK Broker 在同可用区内消息就近读取,可以降低跨可用区数据传输成本、提升 consumer 的消费效率。
物流数据湖构建与分析中台转型案例分析
在现代物流行业中,数据的有效管理与分析对于提升业务效率和决策能力至关重要。其中,WMS(仓库管理系统)是实现高 […]
使用 AWS Distro for OpenTelemetry 和 OpenSearch 构建一体化可观测性平台
现代应用和基础设施管理复杂,传统监控工具难以提供充分的可见性。本文介绍如何使用 AWS Distro for OpenTelemetry 和 OpenSearch 构建一体化可观测性平台,提升系统健康和效率。