[SEO 副标题]
本指南演示了如何实现数据传输的自动化,以简化管理,并提高存档数据的可访问性和成本效益。其中展示了如何自动恢复、复制 Amazon Simple Storage Service(Amazon S3)Glacier 保管库存档并将其传输到 S3 存储桶,还介绍了所需的存储类,包括 S3 Glacier 存储类。这种自动化可以节省时间并最大限度减少数据传输过程中出现人为错误的可能性,有助于确保在管理存档数据方面实现更可靠和更一致的操作。
注意:[免责声明]
架构图

[架构图描述]
第 1 步
使用 AWS Systems Manager 文档调用传输工作流程。
第 2 步
Systems Manager 文档开始 AWS Step Functions Orchestrator 工作流程。
第 3 步
Step Functions Orchestrator 执行过程启动嵌套的 Step Functions Get Inventory 工作流程,以检索清单文件。
第 4 步
清单检索完成后,该指南调用 Initiate Retrieval 嵌套的 Step Functions 工作流程。
第 5 步
作业准备就绪后,Amazon Simple Storage Service(Amazon S3)Glacier 向 Amazon Simple Notification Service(Amazon SNS)主题发送通知,表明作业已完成。
第 6 步
该指南将所有作业完成通知存储在 Amazon Simple Queue Service(Amazon SQS)通知队列中。
第 7 步
存档作业准备就绪后,Amazon SQS通知队列调用AWS Lambda通知处理器函数。此 Lambda 函数为存档检索准备初始步骤。
第 8 步
Lambda 通知处理器函数将区块检索消息放在 Amazon SQS 区块检索队列中进行区块处理。
第 9 步
Amazon SQS 区块检索队列调用 Lambda Chunk Retrieval 函数处理每个区块。
第 10 步
Lambda 区块检索函数从 Amazon S3 Glacier 下载区块。
第 11 步
Lambda 区块检索函数将分段上传的片段上传到 Amazon Simple Storage Service(Amazon S3)。
第 12 步
下载新区块后,该指南将区块元数据存储在 Amazon DynamoDB 中(例如 etag、checksum_sha_256、tree_checksum)。
第 13 步
Lambda 区块检索函数验证该存档的所有区块是否都已处理。如果是,该函数在 Amazon SQS 验证队列中插入一个事件以调用 Lambda Validate 函数。
第 14 步
Lambda 验证函数对照清单中的树形哈希执行完整性检查,计算出校验和,并将其传递给关闭分段上传调用。如果该哈希值错误,Amazon S3 将拒绝该请求。
第 15 步
DynamoDB Streams 调用 Lambda 指标处理器函数来更新 DynamoDB 中的传输过程指标。
第 16 步
Step Functions Orchestrator 执行过程进入异步等待状态,暂停直到存档检索工作流程结束,然后再启动 Step Functions Cleanup 工作流程。
第 17 步
DynamoDB 流调用 Lambda 异步协调器函数,该函数在 Step Functions 中解锁异步等待。
第 18 步
Amazon EventBridge 规则定期启动 Step Functions 扩展下载窗口并更新 Amazon CloudWatch 控制面板工作流程。
第 19 步
使用 CloudWatch 控制面板监控传输进度。
Well-Architected 支柱

当您在云中构建系统时,AWS Well-Architected Framework 可以帮助您了解所做决策的利弊。框架的六大支柱使您能够学习设计和操作可靠、安全、高效、经济高效且可持续的系统的架构最佳实践。使用 AWS 管理控制台中免费提供的 AWS Well-Architected Tool,您可以通过回答每个支柱的一组问题,根据这些最佳实践来检查您的工作负载。
上面的架构图是按照 Well-Architected 最佳实践创建的解决方案示例。要做到完全的良好架构,您应该遵循尽可能多的 Well-Architected 最佳实践。
-
卓越运营
本指南实现了将存档从 Amazon S3 Glacier 保管库复制到 S3存储桶这一过程的自动化,减少了手动工作量和出错风险,从而提高了运营效率。通过将数据移动到不同的 Amazon S3存储类,可以根据访问模式和保留要求优化存储成本。预先构建的 CloudWatch控制面板可以直观显示复制操作进度,便于更好地了解数据传输过程,从而进行有效的监控和故障排除。
-
安全性
Lambda是一种无服务器计算服务,有助于减少攻击面以及与管理底层基础设施相关的责任。这样可以最大限度地减少用户在管理和保护计算资源方面的参与,从而改善整体安全状况。
-
可靠性
预先构建的 CloudWatch控制面板可以直观显示数据传输过程,使您能够监控进度并识别潜在的问题或瓶颈。借助这种增强的可见性,您能够快速检测并解决与可靠性相关的问题,从而帮助确保成功完成数据传输。通过使用可自动扩缩并管理底层基础设施的无服务器计算服务,您可以降低发生基础设施相关故障或性能下降的风险。
-
性能效率
Lambda函数根据事件触发,例如数据传输过程的启动。Lambda函数的事件驱动特性仅在需要时执行必要的计算资源,从而可以优化性能。这么做有助于降低总体资源利用率并提高效率。对底层基础设施的自动扩缩和管理,有助于确保按需分配必要的计算资源。
-
成本优化
通过允许用户将数据移动到不同的 Amazon S3 存储类,本指南可以根据访问模式和保留要求优化存储成本。可以将经常访问的数据置于优化了性能的存储类中,同时将不常访问的数据移至更经济高效的存储类,从而帮助降低总体存储成本。Lambda 仅对所用的计算时间收费,不要求用户管理和支付底层基础设施的费用,有助于优化成本。
-
可持续性
Lambda 减少了与管理和维护底层基础设施相关的能耗和碳足迹。与基于服务器的传统架构相比,无服务器计算可以提高资源利用效率,并可能减少能源使用。
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。
本指南中提及第三方服务或组织并不意味着 Amazon 或 AWS 与第三方之间存在认可、赞助或从属关系。AWS 的指南是一个技术起点,您可以在部署架构时自定义与第三方服务的集成。