亚马逊AWS官方博客
使用 NAT 网关解决 AWS Global Accelerator 和 NLB 连接 Direct Connect 环境下 UDP 通信问题
基于 AWS 构建跨区域、高可用且低延迟的应用架构时,AWS Global Accelerator (AGA)、Network Load Balancer (NLB) 和 Direct Connect (DX) 的组合是企业常用的解决方案。当涉及到 UDP 协议通信时,这种架构可能会面临路由不对称导致的通信问题。本文将深入分析这一问题,并提出基于 NAT 网关的解决方案,确保 UDP 协议下的通信顺畅。
使用 Amazon DataZone 和 Open Lineage 实现数据血缘
在 Amazon DataZone 中,已经实现了与 OpenLineage 兼容的数据血缘功能,帮助我们捕获、存储和可视化数据移动时产生的血缘。我们将详细地介绍如何在 Amazon DataZone 使用 OpenLineage 捕获和展示数据血缘。
深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度
pache DolphinScheduler 是一个分布式、可扩展的开源工作流编排平台,拥有强大的 DAG 可视化界面。目前 DolphinScheduler 已经原生集成了亚马逊云科技的大部分数据服务,如 EMR、Redshift、DMS、DataSync、Athena、S3。本文将详细介绍 DolphinScheduler 的云原生容器化部署 Amazon EKS。详细解释如何结合亚马逊云科技的任务插件、数据源插件、存储插件的集成。帮助更高效地使用 DolphinScheduler 进行云服务调用。
基于开源工具构建 EMR 数据分析平台(五)EMR 最佳实践
本文系统的从版本选择、节点选择、自动扩缩机制、集群配置等各个角度介绍和总结了常用的 EMR 最佳实践,从性能、可靠性、成本多方面阐述了 EMR 的优化方案和原理,最后通过项目实践展示了应用最佳实践后的效果,进一步验证了基于 EMR 和开源组件构建的数据分析平台在性能、成本和可靠性上的优势。
基于开源工具构建 EMR 数据分析平台(四)使用 Kyuubi 进行 Spark SQL 任务提交
通过将 Kyuubi 与 DolphinScheduler 集成,可以轻松实现 Spark Sql 任务的调度和管理,进一步提升了大数据工作流的效率和可视化管理能力。Kyuubi 在数据分析和处理场景中提供了强大的支持,为企业级大数据处理提供了一个灵活且高效的解决方案。
基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度
本文介绍了如何在基于开源工具构建的 EMR 数据分析平台中,通过引入 Apache DolphinScheduler,实现对 EMR 任务的统一管理和调度。DolphinScheduler 不仅提供了可视化的任务编排界面,还支持多种任务提交方式,能够满足不同场景下的 EMR 任务调度需求。
基于 Vanna.AI 和 Amazon Bedrock 构建 Text-to-SQL 方案
结合 Vanna 框架与 Amazon Bedrock 所提供的大模型能力,构建面向 Amazon RDS/Aurora MySQL 和 Amazon Redshift 的高效查询分析解决方案。该方案融合了大模型强大的自然语言理解能力与 AWS 数据库服务的高性能特性,为用户开辟了一条低门槛、高效能的 Text-to-SQL 实现路径。
在 AWS EC2 上快速部署 NebulaGraph:图数据分析实战
随着数据关联性的日益增强,传统关系型数据库在处理复杂关系和大规模连接查询时表现出瓶颈。图数据库以其强大的关系表达能力和高效的遍历性能,成为社交网络、推荐系统、知识图谱等领域的首选技术。NebulaGraph 作为一款开源分布式图数据库,具备高性能、可扩展的特点,适合处理海量图数据。 本文将带你一步步在 AWS EC2 上快速部署 NebulaGraph,并通过一个示例场景完成图数据的生成与分析,帮助你快速上手 NebulaGraph 图数据库的实战应用。
使用 Amazon EventBridge 和 AWS Lambda 在 AWS Secrets Manager 自动创建和备份密钥历史版本
这个方案能够为客户的每一次 AWS Secrets Manager 密钥更改自动生成 staging label 并保留最新的 20 个历史版本,不需要人为干预和手动操作。方案支持将密钥以及历史版本保存在当前区域,也可以跨区域跨账号保存和备份。
智能化 Graviton 迁移:Amazon Q CLI 加速应用架构现代化
在这篇技术博客中,将通过一个实际的 Java 演示应用为例,带您一步步探索如何借助 Q CLI 的强大功能,轻松识别潜在的迁移障碍,获取针对性的解决方案建议,并最终实现应用在 Graviton 平台上的顺利部署与运行。从依赖分析到代码适配,从构建多架构镜像到应用部署,这将是一次从 x86 到 ARM 架构的完整迁移实战之旅。无论您是考虑大规模微服务迁移,还是评估关键业务应用的架构转换,这篇文章都将为您提供实用的技术指导和决策参考。