ゼロ ETL とは何ですか?

ゼロ ETL 統合は、従来の ETL プロセスでのデータ移動に関する既存の課題の多くを解決します。

システムの増大する複雑さ

ETL データパイプラインにより、データ統合の取り組みがさらに複雑になります。目的のターゲットスキーマに一致するようにデータをマッピングするには、複雑なデータマッピングルールが必要であり、データの不整合や競合の処理が必要です。問題を診断するには、効果的なエラー処理、ログ記録、および通知メカニズムを実装する必要があります。データセキュリティの要件により、システムに対する制約がさらに増大します。

追加料金

ETL パイプラインはもともと高コストですが、データ量が増加するにつれてコストが上昇する可能性があります。システム間の重複データストレージは、大量のデータを扱うにはコストがかかり過ぎる可能性があります。さらに、ETL プロセスのスケーリングには、多くの場合、高コストのインフラストラクチャのアップグレード、クエリパフォーマンスの最適化、並列処理技術が必要になります。要件が変化した場合、データエンジニアリングは更新プロセス中にパイプラインを常にモニタリングおよびテストする必要があり、メンテナンスコストが増加します。

分析、AI、ML にかかる時間の増加

ETL では通常、データエンジニアがカスタムコードを作成する必要があり、DevOps エンジニアがワークロードのスケールに必要なインフラストラクチャをデプロイおよび管理する必要があります。データソースを変更した場合、データエンジニアはコードを手動で変更し、再度デプロイする必要があります。このプロセスには数週間かかる場合があり、その結果、分析、人工知能、機械学習のワークロードの実行に遅れが生じます。さらに、ETL データパイプラインの構築とデプロイに時間がかかるため、そのようなデータは、オンライン広告の掲載、不正取引の検出、リアルタイムのサプライチェーン分析などのほぼリアルタイムのユースケースに適しているとは言えません。これらのシナリオでは、カスタマーエクスペリエンスの改善、新たなビジネスチャンスへの対処、ビジネスリスクの軽減のための機会が失われます。

ゼロ ETL には 3 つの主なユースケースがあります。

迅速なデータインジェスト

企業は、リアルタイムの意思決定のために、さまざまなタイプのデータを迅速に取り込み、分析する必要があります。ゼロ ETL は、データウェアハウスやデータレイクハウスにデータを直接かつ迅速に取り込むための柔軟なアプローチを提供します。これにより、従来の ETL パイプラインが不要になり、組織は変化するビジネス要件に簡単に適応できます。

ストリーミング取り込み

データストリーミングプラットフォームとメッセージキュープラットフォームは、複数のソースからリアルタイムデータをストリーミングします。データウェアハウスとのゼロ ETL 統合により、そのような複数のストリームからデータを取り込み、分析のためにほぼ瞬時に提示できます。これらのプラットフォームは、データが移動している間も変換と分析のリッチな機能を提供するため、ストリーミングデータをステージングする必要はありません。

即時のレプリケーション

これまでは、運用およびトランザクションデータベースから中心的なデータウェアハウスおよびデータレイクハウスにデータを移動するには、複雑な ETL ソリューションが常に必要でした。今日では、ゼロ ETL はデータレプリケーションツールとして機能し、運用データベース、トランザクションデータベース、アプリケーションからデータウェアハウスやデータレイクハウスにデータを即座に複製できます。複製メカニズムは変更データキャプチャ (CDC) の手法を使用しており、データウェアハウスおよびデータレイクハウスに組み込まれている場合があります。重複はユーザーには見えません。アプリケーションはトランザクションデータベースにデータを保存し、アナリストはウェアハウスからのデータに対してシームレスにクエリを実行します。