亚马逊AWS官方博客
德比软件基于生成式 AI 的智能酒店数据匹配系统
该系统采用多源数据接入、智能预处理、语义理解和精准匹配的技术路线,创新性地结合传统检索与向量语义技术,并引入 Amazon Bedrock 中的 Claude Sonnet 3.5 模型进行语义理解。系统显著提升了数据处理效率,实现酒店匹配 99.9% 准确率,将人工处理时间从数天压缩至 1 小时内,并达成 90% 的人工成本节约。
使用 NAT 网关解决 AWS Global Accelerator 和 NLB 连接 Direct Connect 环境下 UDP 通信问题
基于 AWS 构建跨区域、高可用且低延迟的应用架构时,AWS Global Accelerator (AGA)、Network Load Balancer (NLB) 和 Direct Connect (DX) 的组合是企业常用的解决方案。当涉及到 UDP 协议通信时,这种架构可能会面临路由不对称导致的通信问题。本文将深入分析这一问题,并提出基于 NAT 网关的解决方案,确保 UDP 协议下的通信顺畅。
使用 Amazon DataZone 和 Open Lineage 实现数据血缘
在 Amazon DataZone 中,已经实现了与 OpenLineage 兼容的数据血缘功能,帮助我们捕获、存储和可视化数据移动时产生的血缘。我们将详细地介绍如何在 Amazon DataZone 使用 OpenLineage 捕获和展示数据血缘。
深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度
pache DolphinScheduler 是一个分布式、可扩展的开源工作流编排平台,拥有强大的 DAG 可视化界面。目前 DolphinScheduler 已经原生集成了亚马逊云科技的大部分数据服务,如 EMR、Redshift、DMS、DataSync、Athena、S3。本文将详细介绍 DolphinScheduler 的云原生容器化部署 Amazon EKS。详细解释如何结合亚马逊云科技的任务插件、数据源插件、存储插件的集成。帮助更高效地使用 DolphinScheduler 进行云服务调用。
Amazon FSx for Lustre Intelligent-Tiering 正式发布,提供成本最低且唯一完全弹性的 Lustre 文件存储
地震成像是一种地球物理技术,用于绘制地球地下结构的详细图片。该技术通过生成地震波实现,这些地震波传入地下,从不 […]
AWS 现已为 Amazon ECS、Amazon EKS 和 AWS Serverless 推出专用的 MCP Servers!
现在,AWS 为 Amazon Elastic Container Service(Amazon ECS)、A […]
基于开源工具构建 EMR 数据分析平台(五)EMR 最佳实践
本文系统的从版本选择、节点选择、自动扩缩机制、集群配置等各个角度介绍和总结了常用的 EMR 最佳实践,从性能、可靠性、成本多方面阐述了 EMR 的优化方案和原理,最后通过项目实践展示了应用最佳实践后的效果,进一步验证了基于 EMR 和开源组件构建的数据分析平台在性能、成本和可靠性上的优势。
基于开源工具构建 EMR 数据分析平台(四)使用 Kyuubi 进行 Spark SQL 任务提交
通过将 Kyuubi 与 DolphinScheduler 集成,可以轻松实现 Spark Sql 任务的调度和管理,进一步提升了大数据工作流的效率和可视化管理能力。Kyuubi 在数据分析和处理场景中提供了强大的支持,为企业级大数据处理提供了一个灵活且高效的解决方案。
基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度
本文介绍了如何在基于开源工具构建的 EMR 数据分析平台中,通过引入 Apache DolphinScheduler,实现对 EMR 任务的统一管理和调度。DolphinScheduler 不仅提供了可视化的任务编排界面,还支持多种任务提交方式,能够满足不同场景下的 EMR 任务调度需求。
基于 Vanna.AI 和 Amazon Bedrock 构建 Text-to-SQL 方案
结合 Vanna 框架与 Amazon Bedrock 所提供的大模型能力,构建面向 Amazon RDS/Aurora MySQL 和 Amazon Redshift 的高效查询分析解决方案。该方案融合了大模型强大的自然语言理解能力与 AWS 数据库服务的高性能特性,为用户开辟了一条低门槛、高效能的 Text-to-SQL 实现路径。