リアルタイムデータストリーミングとは?
リアルタイムデータストリーミングとは何ですか?
リアルタイムデータストリーミングでは、さまざまなデータソースから一連のデータの収集および取り込みが行われ、そのデータがリアルタイムで処理されて、意味やインサイトが抽出されます。
ストリーミングデータの例としては、モバイルまたはウェブアプリケーションを利用する顧客によって生成されるログファイル、e コマースでの購入、ゲーム内プレイヤーのアクティビティ、ソーシャルネットワーク、金融取引の現場、または地理空間サービスからの情報、コネクテッドデバイスやデータセンターの計測器からのテレメトリを挙げることができます。
リアルタイムデータストリーミングを使用することで、回答を得るまでに数時間、数日、または数週間待つことなく、リアルタイムでデータを分析および処理できます。
リアルタイムデータストリーミングのコンポーネントにはどのようなものがありますか?
ソース: 継続的に発生する大量のデータを高速で生成する最大数百から数千のデバイスまたはアプリケーション。モバイルデバイス、ウェブアプリケーション (クリックストリーム)、アプリケーションログ、IoT センサー、スマートデバイス、ゲームアプリケーションはその一例です。
ストリームインジェスト:15 以上の AWS サービス (Amazon API ゲートウェイ、 AWS IoT Core 、 Amazon Cloudwatch など) との簡単な統合により、何千ものデバイスから生成される継続的なデータを、耐久性があり安全な方法でキャプチャできます。
ストリームストレージ:Amazon Kinesis データストリーム、Amazon Data Firehose 、Apache Kafka (Amazon MSK) 向け Amazon マネージドストリーミングなど、スケーリング、レイテンシー、および処理の要件に基づいて、ストレージのニーズを満たすソリューションを選択してください。
ストリーム処理:数回クリックするだけでデータを変換し、Amazon Data Firehose などの宛先に継続的に配信できるソリューションから、Amazon Managed Service for Apache Flink や AWS Lambda などのサービスを使った強力なカスタムビルドのリアルタイムアプリケーションおよび機械学習統合まで、さまざまなサービスから選択できます。
宛先:Amazon S3、Amazon Redshift 、Amazon OpenSearch Service、Amazon EMR など、完全に統合されたさまざまなデータレイク、データウェアハウス、分析サービスにストリーミングデータを配信して、詳細な分析や長期保存を行います。
リアルタイムデータストリーミングのユースケースにはどのようなものがありますか?
リアルタイムのデータ移行
数十万台のデバイスからデータをストリーミングし、継続的に発生する大量の高速データに対して ETL 変換をリアルタイムで実行することで、ユーザーは、データが生成されたらすぐに分析し、さらなる分析のために、データレイク、データウェアハウス、またはデータベースにそのデータを永続的に保存できます。
WalkMe がデータをデータレイクにストリーミングする際にシーケンスの課題に取り組む方法の詳細
John Deere がデータレイクへのストリーミング ETL をリアルタイムで実行する方法の詳細
リアルタイム分析
データが生成されたらとすぐに分析し、組織全体でのリアルタイムの意思決定を可能にすることで、オポチュニティを活用し、カスタマーエクスペリエンスを改善するとともに、ネットワーク障害を防止し、重要なビジネスメトリクスをリアルタイムで更新できます。
ログ: アプリケーションからログをリアルタイムでキャプチャ、処理、分析します。
VPC ネットワークトラフィックを分析および視覚化する方法の詳細
一元化された Microsoft Exchange サーバーのログを管理する方法を見る
リアルタイム更新: 意思決定に関わる重要なメトリクス、オファーに関するレコメンデーション、カスタマーエクスペリエンスに対するリアルタイムの更新を提供することで、消費者、ゲーマー、金融トレーダーなどとのエンゲージメントを強化します。
リアルタイムゲーム分析を使用してゲーマーの満足度を高める方法を見る
トレンドのパーソナライズされたニュースをリアルタイムで配信する方法の詳細
クリックストリーム: ウェブコンテンツのパフォーマンスと、ユーザーの行動、費やされた時間、人気のあるコンテンツなどを含む、ユーザーによるアプリケーションやウェブサイトの使用状況をリアルタイムで把握できます。
Hearst が世界中の 300 以上のウェブサイトから 1 日あたり 30 テラバイトのデータを送信および処理するクリックストリーム分析ソリューションを構築した方法の詳細
IoT: 何十万もの IoT デバイスに接続し、ストリーミングデータをリアルタイムで収集、処理、分析します。
John Deere が食料生産を最適化するために、数万台の農耕用車両からリアルタイムでデータをストリーミングする方法の詳細
イベントストリーム処理
複数のアプリケーションにまたがって、発生したイベントをリアルタイムでキャプチャおよび対応できます。最も一般的なユースケースは、何百もの分離されたマイクロサービス間の通信と、変更データキャプチャを介した記録システムの維持です。
分離されたマイクロサービス間の通信: マイクロサービスがトリガーされると、イベントをリアルタイムでデータストリームに送信でき、他のマイクロサービスはストリームを「監視」して、必要なアクションをトリガーするイベントが発生したかどうかを確認できます。
Lyft が数百のマイクロサービス間でリアルタイムに通信する方法の詳細
変更データキャプチャ: 複数のアプリケーションやデータベースにおけるデータに対するすべての変更を、中心的な記録システムにリアルタイムでストリーミングできます。
AWS にはどのようなストリーミングサービスがありますか?
AWS は、リアルタイムデータストリーミングを使用するためのオプションをいくつか提供しています。
- Amazon Kinesis Data Streams は、数十万のソースから 1 秒あたりギガバイト規模のデータを継続的にキャプチャできる、スケーラブルで耐久性のあるリアルタイムデータストリーミングサービスです。
- Amazon Data Firehose は、数回クリックするだけで、既存のビジネスインテリジェンスツールでデータストリームをキャプチャ、変換、AWS データストアにロードし、ほぼリアルタイムで分析できます。
- Amazon Managed Service for Apache Flink は、データストリームを処理するためのオープンソースフレームワークおよびエンジンである Apache Flink を利用して、ストリーミングデータをリアルタイムで変換および分析します。
- Amazon Managed Streaming for Apache Kafka は、Apache Kafka を利用してストリーミングデータを処理するアプリケーションを簡単に構築および実行できるようにするフルマネージドサービスです。
今すぐアカウントを作成して、AWS でのリアルタイムデータストリーミングを始めましょう。