生成 AI による支援

複数のソースにわたるデータの統合には、数日から数か月かかる場合があります。Amazon Q Developer データ統合機能を使用すると、データ統合の知識やコーディングの経験が最小限でデータ統合ジョブを構築できます。手動タスクを抽象化することで、日常的な作業に費やす時間を減らし、データ分析により多くの時間を費やすことができます。

Amazon Q 開発者に必要なものを英語で伝えると、完全なジョブが返されます。たとえば、データ統合機能を使用すると、Amazon Q 開発者に「S3 から JSON ファイルを読み取り、'accountid' に参加して DynamoDB に読み込む」ように依頼すると、そのアクションを実行できるエンドツーエンドのデータ統合ジョブが返されます。生成されたジョブを確認し、サンプルデータセットと照合してテストし、本番環境に移行できます。

データ統合の仕事を築くことは始まりに過ぎません。ジョブを作成して本番環境にデプロイしたら、そのジョブの保守とトラブルシューティングを行う必要があります。エラーは、接続、環境、構文、検証、または実行に関連する可能性があります。これらは、統合ジョブを作成、テスト、公開、または実行するときに発生する可能性があります。トラブルシューティングジョブでは、多くの場合、ログファイルを調べたり、監視ダッシュボードにログインしたりする必要があります。

AWS Glue は AI を活用した機能を提供して、Spark ジョブをモダナイズし、トラブルシューティングを迅速に行えるようになりました。新しい Spark バージョンに自動的にアップグレードし、問題が発生したときにインテリジェントな診断を受けることで、デバッグ時間を数日から数分に短縮できます。

AWS Glue は、データ統合ライフサイクル全体を通じて AI を活用した支援を提供します。サポートは AWS Glue の深いドメイン知識に基づいて構築されており、データ統合に関連するあらゆることについて専門家レベルのガイダンスを提供します。

組織内の中小企業を待ったり、コンサルタントを雇ったりする代わりに、AWS Glue コンソール、AWS Glue Studio、または API を介していつでも Amazon Q Developer に連絡できます。Amazon Q Developer データ統合機能は、他の AWS サービスとの併用に最適化されています。Amazon DynamoDB、Amazon DocumentDB、Amazon Managed Streaming for Apache Kafka、Amazon Kinesis、Amazon Redshift、Amazon S3 に保存されているデータを抽出、変換、ロードするジョブを簡単に作成できます。

Apache Sparkアップグレードエージェントは、PySparkおよびScalaアプリケーションにおけるAPIの変更や動作の修正を自動的に識別します。エンジニアは、MCP（モデルコンテキストプロトコル）の互換性を利用して、SageMaker Unified Studio から直接、または選択した IDE からアップグレードを開始することができます。アップグレードの過程で、エージェントは既存のコードを分析し、具体的な変更を提案します。エンジニアは実装前にそれを確認して承認することができます。エージェントはデータ品質の検証を通じて機能の正確性を確認します。このエージェントは現在、Spark 2.4 から 3.5 へのアップグレードをサポートしており、アップグレードプロセス全体でデータ処理の精度を維持します。