AWS Glue 中的 AI 輔助功能
優勢
更快地整合資料
整合跨多個來源的資料可能需要數天甚至數月。Amazon Q Developer 資料整合功能可協助您以極少的資料整合知識或編碼經驗來建立資料整合任務。它將手動任務抽象化，讓您可以減少在繁瑣工作上花費的時間，將更多精力投入資料分析。
只需用英語告訴 Amazon Q Developer 您的需求，它就會為您生成完整的任務。例如，透過資料整合功能，您可以要求 Amazon Q Developer「從 S3 讀取 JSON 檔案，以 'accountid' 為鍵進行關聯，並載入到 DynamoDB」，它將回傳一個端對端的資料整合任務來執行該操作。您可以檢視生成的任務，使用範例資料集進行測試，並將其部署至生產環境。
提高開發人員生產力
建立資料整合任務只是開始。當任務編寫完成並部署至生產環境後，您必須對其進行維護與疑難排解。可能發生的錯誤涉及連線、環境、語法、驗證或執行等層面。這些錯誤在建立、測試、發布或執行整合任務時都可能出現。傳統的疑難排解往往需要仔細查閱日誌檔案，並登入監控儀表板進行分析。
現在，AWS Glue 提供 AI 支援的功能，協助您現代化 Spark 任務並加速疑難排解。它能自動升級至更新的 Spark 版本，並在問題發生時提供智能診斷，將偵錯時間從數天縮短至幾分鐘。
即時取得專家協助
AWS Glue 在整個資料整合生命週期中提供 AI 支援的輔助。它內建深厚的 AWS Glue 領域知識，能為任何與資料整合相關的事項提供專家級指引。
您無需等待組織內的領域專家或聘請顧問，隨時都可以透過 AWS Glue 主控台、AWS Glue Studio 或 API 聯繫 Amazon Q Developer。Amazon Q Developer 的資料整合功能已針對其他 AWS 服務的使用進行最佳化。您可以輕鬆建立任務，以擷取、轉換及載入儲存於 Amazon DynamoDB、Amazon DocumentDB、Amazon Managed Streaming for Apache Kafka、Amazon Kinesis、Amazon Redshift 及 Amazon S3 中的資料。
輕鬆執行 Spark 升級
Apache Spark 升級代理程式會自動識別 PySpark 和 Scala 應用程式之間的 API 變更和行為修改。工程師可在 SageMaker Unified Studio 或選擇的 IDE 中，透過模型上下文協定 (MCP) 相容性直接啟動升級。在升級過程中，代理程式會分析現有程式碼並提出具體修改建議，工程師可以在實作之前檢閱和核准。代理程式會透過資料品質驗證來確保功能正確性。目前，該代理程式支援從 Spark 2.4 升級至 3.5，並在整個升級過程中維持資料處理的準確度。
使用案例
資料整合 AI
僅需以簡單的英語描述您的要求，即可產生生產就緒型 ETL 任務。資料工程師和分析師無需具備深厚的 Apache Spark 專業知識即可快速建立資料整合工作流程。取得適用於常見案例的完整可執行程式碼，例如聯結資料集、彙總資料以及載入到各種 AWS 服務。
進一步了解 Amazon Q 資料整合功能。
自動分析您的 Spark 任務並將其升級為更新版本，同時保持相應的功能。AWS Glue 可處理識別和更新指令碼、組態與相依性的複雜性，從而將專案升級時間從幾個月縮短為幾天。這使您無需手動操作即可利用最新的 Spark 功能和安全性改進。
進一步了解適用於 Apache Spark 的生成式 AI 疑難排解。
我們的智慧自動化代理程式可處理複雜程式碼分析和轉換，將您在 Amazon EMR 與 AWS Glue 上的 Apache Spark 版本升級作業時間，從數月縮短至數週。工程師透過直覺的對話式介面，即可自然表達升級需求，同時全程掌控程式碼修改，徹底消除傳統上需手動進行 API 分析、衝突解決與應用程式驗證的負擔。
找到今天所需的資訊了嗎？
讓我們知道，以便我們改善頁面內容的品質