生成式人工智能助手

加速数据集成和提高开发人员的工作效率

立即开始集成数据

AWS Glue 中的人工智能帮助

AWS Glue 中的 Amazon Q 数据集成可让您使用自然语言构建数据集成管道。通过聊天界面描述您的意图，AWS Glue 将生成一个完整的任务。只需单击一下即可测试任务并将其投入生产。AWS Glue 现在提供额外的生成式人工智能功能，以对 Spark 任务进行现代化改造并加快故障排除，从而减少在无差异任务上花费的时间。您无需成为 Apache Spark 或 SQL 专家，也无需等待专家来解答您的问题。

优势

更快地集成数据

集成多个来源的数据可能需要几天甚至几个月的时间。Amazon Q 开发者版数据集成功能可帮助您以最少的数据集成知识或编码经验构建数据集成任务。它消除了人工任务，让您可以减少在琐碎工作上花费的时间，把更多的精力用于分析数据。

用英语告诉 Amazon Q 开发者版您的需求，它会为您返回一项完整的任务。例如，利用数据集成功能，您可以要求 Amazon Q 开发者版“从 S3 读取 JSON 文件，连接到‘accountid’，并加载到 DynamoDB”；然后 Amazon Q Developer 将做出响应，返回一个端到端数据集成任务以执行上述操作。您可以查看生成的任务，根据样本数据集对其进行测试，然后将该任务投入生产中。

提高开发人员的工作效率

建立数据集成任务仅仅是个开始。创建任务并将其部署到生产中后，就需要对其进行维护和故障排除。错误可能是因为连接、环境、语法、验证或执行等因素。在创建、测试、发布或运行集成任务时均有可能会发生错误。对任务进行故障排除时通常需要浏览日志文件并登录监控仪表板。

AWS Glue 现在可提供基于人工智能的功能，用于对 Spark 任务进行现代化改造并加快故障排除。自动升级到较新的 Spark 版本，并在出现问题时获得智能诊断，调试时间从数天缩短到几分钟。

立即获得专家帮助

AWS Glue 为整个数据集成生命周期提供人工智能支持。它以 AWS Glue 在域方面的深厚知识为基础，为任何与数据集成相关的工作提供专家级指导。

您可以随时通过 AWS Glue 控制台、AWS Glue Studio 或 API 获得 Amazon Q 开发者版，而不必等待组织内部的 SME 或聘请顾问。Amazon Q 开发者版数据集成功能经过优化，可与其他 AWS 服务搭配使用。您可以轻松创建作业，提取、转换和加载存储在 Amazon DynamoDB、Amazon DocumentDB、Amazon Managed Streaming for Apache Kafka、Amazon Kinesis、Amazon Redshift 和 Amazon S3 中的数据。

轻松执行 Spark 升级

Apache Spark 升级代理可自动识别 PySpark 和 Scala 应用程序中的 API 变更和行为修改。工程师可以借助 MCP（模型上下文协议）兼容性直接从 SageMaker 融通式合作开发工作室或其选择的 IDE 启动升级。在升级过程中，代理将分析现有代码并提出具体变更建议，工程师可以在实施之前进行审核和批准。代理将通过数据质量验证来验证功能正确性。代理当前支持从 Spark 2.4 升级到 3.5，并在整个升级过程中保持数据处理的准确性。

使用案例

用于数据集成的人工智能

只需以通俗易懂的英语描述您的需求，即可生成可随时投入生产的 ETL 作业。数据工程师和分析师无需掌握深厚的 Apache Spark 专业知识，即可快速创建数据集成工作流程。获取适用于常见场景的完整、可运行的代码，这些场景的示例包括合并数据集、聚合数据以及加载到各种 AWS 服务中。

详细了解 Amazon Q 数据集成。

在保持功能正常运转的同时，自动分析您的 Spark 作业并将其升级到更高版本。AWS Glue 可以处理识别和更新脚本、配置和依赖关系的复杂性，从而将项目升级时间从几个月缩短到几天。这样，您无需手动操作即可利用最新的 Spark 功能和安全性改进。

详细了解适用于 Apache Spark 的生成式人工智能升级。

利用由人工智能提供支持的故障排除，快速识别并解决 Spark 作业中的问题。AWS Glue 会分析作业元数据、执行日志和配置，进而提供即时根本原因分析和可操作的建议。这样就将调试时间从几天缩短到几分钟，而且无需深入研究文档或者等待获得支持。

详细了解适用于 Apache Spark 的生成式人工智能故障排除。

使用我们处理复杂代码分析和转换的智能自动化代理，将您在 Amazon EMR 和 AWS Glue 上的 Apache Spark 版本升级时间从几个月缩短到几周。通过直观的对话界面，工程师可以自然地表达升级需求，同时保持对代码修改的完全控制，从而消除手动 API 分析、冲突解决和应用程序验证的传统负担。