概览
工作原理
这些技术细节包含一张架构图,用于说明如何有效使用本解决方案。该架构图展示了关键组件及其相互作用,并逐步概述了架构的结构和功能。
自信地进行部署
为部署做好准备了吗? 查看 GitHub 上的示例代码,了解详细的部署说明,以根据需要按原样部署或进行自定义部署。
Well-Architected 支柱
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。
将存储管理工作交给 Amazon S3,您可以专注于应用程序开发和分析工作流程,而无需承担基础设施开销。Amazon S3 每秒可处理数千次事务,从而实现数据的无缝上传和检索。这种运营效率使团队能够在 AWS 管理底层存储基础设施的同时,优化其核心能力。
DynamoDB、Amazon S3 和 AWS Glue 提供加密、访问控制和审计日志,支持用户满足安全性和合规性要求。Athena 和 EMR Serverless 从其底层服务中继承了强大的安全功能,有助于确保数据隐私和合规性。由 AWS 全面托管这些服务,因此可持续实施最佳安全实践,减轻安全措施的管理工作。
DynamoDB 和 Amazon S3 通过跨可用性区域复制和区域内的数据冗余优先实现高可用性,有助于在发生故障或中断时保持可访问性。Amazon S3 具有 99.999999999% 的持久性,可防止数据随时间丢失,而 DynamoDB 则为表格提供 99.999% 的可用性和持久性。这些容错服务采用冗余存储和分布式架构,将故障对数据完整性和服务可用性的影响降至最低。
AWS Glue 借助其集中式元数据存储库简化了数据发现过程,减少了定位和访问数据集所花费的时间。它可以自动扩展资源,以满足提取、转换、加载(ETL)任务的需求,从而实现最佳性能,无需人工干预。AWS Glue 的自动资源预置和高效数据编目功能有助于提高性能效率,实现无缝数据处理和分析工作流程。
EMR Serverless 可根据任务要求自动预置和释放资源,在任务未运行时不会产生任何成本。这种基于使用量的模式非常适合具有间歇性、短时处理、然后长时间闲置的工作负载。EMR Serverless 可动态扩展资源以满足需求,从而优化成本,因为您只需为消耗的资源支付费用,并在闲置期间不会产生不必要的费用。
Amazon S3 和 EMR Serverless 等 AWS 服务的无服务器和可扩展特性优化了计算和后端资源的使用,有效地减少了工作负载对环境的影响。
相关内容
使用 Amazon DynamoDB 增量导出更新 Apache Iceberg 表
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。
本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指南是一个技术起点,您可以在部署架构时自定义与第三方服务的集成。
找到今天要查找的内容了吗?
请提供您的意见,以便帮助我们提高页面内容的质量