- Amazon Kinesis›
- Data Streams›
- 開始方法
Amazon Kinesis Data Streams の使用を開始
使用開始
Amazon Kinesis Data Streams は、ストリーミングデータ用に最適化された、非常にスケーラブルで高い耐久性を持つデータインジェストおよびデータ処理サービスです。Kinesis データストリームに継続的にデータを入力するように何十万個ものデータプロデューサーを設定できます。Amazon Kinesis アプリケーションは数ミリ秒以内にデータを利用できるようになり、それらのアプリケーションは生成された順にデータレコードを受け取ります。
Amazon Kinesis Data Streams には、Amazon S3 といった AWS データレイクへほぼリアルタイムでストリーミングデータを変換、提供する Amazon Kinesis Data Firehose、マネージド型ストリームを処理する Amazon Managed Service for Apache Flink、イベントまたはレコードを処理する AWS Lambda、プライベート接続の AWS PrivateLink、メトリクスやログを処理する Amazon Cloudwatch、サーバー側の暗号化を行う AWS KMS など、多数の AWS サービスが統合されています。
Amazon Kinesis Data Streams は、ビッグデータソリューションのゲートウェイとして使用されます。さまざまな送信元からのデータが Amazon Kinesis ストリームに配置され、ストリームのデータはさまざまな Amazon Kinesis アプリケーションによって利用されます。この例では、あるアプリケーション (黄色) がストリーミングデータに対してリアルタイムダッシュボードを実行しています。別のアプリケーション (赤色) は、単純な集約を実行し、処理済みデータを Amazon S3 に送信します。S3 のデータはさらに処理され、複雑な分析を行うために Amazon Redshift に保存されます。3 つ目のアプリケーション (緑色) は、未加工データを Amazon S3 に送信します。そのデータは、低コストで長期間保管するために Amazon Glacier にアーカイブされます。この 3 つのデータ処理パイプラインはすべて同時かつ並列に動作しています。
Amazon Kinesis Data Streams の使用を開始
動画
Kinesis Data Streams の使用
アマゾン ウェブ サービスにサインアップした後、次の方法で Amazon Kinesis Data Streams の使用を開始できます。
- Amazon Kinesis マネジメントコンソールまたは Amazon Kinesis CreateStream API のいずれかを使用して Amazon Kinesis データストリームを作成します。
- Amazon Kinesis データストリームに連続的にデータを格納するように、データプロデューサーを設定します。
- Amazon Kinesis データストリームからデータを読み取って処理するように Amazon Kinesis アプリケーションを構築します。
主要な概念
すべて開くシャードとは、Amazon Kinesis データストリームの基本的なスループットの単位です。
- シャードはアペンド専用のログで、ストリーミング機能の単位です。シャードには、到達時間順に並んだレコードのシーケンスが含まれています。
- 1 つのシャードは 1 秒あたり最大 1000 のデータレコードまたは 1MB/秒を取り込むことができます。シャードを追加して取り込み能力を上げることができます。
- AWS コンソール、 UpdateShardCount API を使用するか、AWS Lambda 経由で自動スケーリングをトリガーするか、自動スケーリングユーティリティを使用して、データスループットの変化に応じてストリームにシャードを動的に追加または削除します。
- コンシューマーが拡張ファンアウトを使用する場合、シャードは、拡張ファンアウトを使用するために登録された各データコンシューマーに 1MB/秒のデータ入力と 2MB/秒のデータ出力を提供します。
- コンシューマーが拡張ファンアウトを使用しない場合、シャードは、1MB/秒のデータ入力と 2MB/秒のデータ出力を提供します。この出力は拡張ファンアウトを使用しないコンシューマーと共有されます。
- ストリームを作成するときに必要なシャード数を指定します。シャード数はいつでも変更できます。たとえば、2 シャードのストリームを作成できます。拡張ファンアウトを使用する 5 データコンシューマーを持つ場合、このストリームは合計データ出力最大 20 MB/秒を提供できます (2 シャード x 2MB/秒 x 5 データコンシューマー)。データコンシューマーが拡張ファンアウトを使用していない場合、このストリームは 2MB/秒のデータ入力と 4MB/秒のデータ出力のスループットを持ちます。すべてのケースで、このストリームは 1 秒あたり最大 2000 PUT レコードまたは 2MB/秒の取り込みができ、先に上限に達した方になります。
- Amazon Kinesis Data Streams でシャードレベルメトリクスをモニタリングできます。
Streams へのデータの格納
すべて開くアプリケーションの実行または独自のアプリケーションの構築
すべて開くストリームの管理
すべて開くチュートリアル
すべて開くこのチュートリアルでは、Amazon Kinesis データストリームの作成、株取引のシミュレーションデータのストリームへの送信、データストリームのデータを処理するアプリケーションの作成といった方法について説明します。
注目のプレゼンテーション
すべて開くAmazon Kinesis を使用すると、ストリーミングデータをリアルタイムに収集、処理、分析することが簡単になるため、インサイトを適時に取得して新しい情報に迅速に対応できます。このセッションでは、データの取り込みに Kinesis Streams、リアルタイムの処理に Kinesis Analytics、永続性のために Kinesis Firehose を使用した、エンドツーエンドのストリーミングデータソリューションを紹介します。ストリーミングデータを使用する SQL クエリの記述方法を詳しく確認し、Kinesis Analytics アプリケーションを最適化およびモニタリングするためのベストプラクティスについて説明します。最後に、システム全体のコストを算出する方法を説明します。
AWS のビッグデータウェブサービスに関する知識を強化し、はじめてのビッグデータアプリケーションをクラウドでリリースしましょう。 取り込み、保存、処理、および可視化で構成されるデータバスとしてビッグデータ処理を簡素化する方法を説明します。AWS マネージドサービス (Amazon Athena、Amazon Kinesis、Amazon DynamoDB、Amazon S3 など) を使用してビッグデータアプリケーションを構築します。また、ビッグデータアプリケーションのアーキテクチャの設計パターンを確認し、アプリケーションを自分で再構築してカスタマイズできるように、自習用ラボへのアクセス権を付与します。このセッションを最大限活用するためには、自分のノート PC を持参し、AWS のサービスを理解している必要があります。
近年、コネクテッドデバイスの数とリアルタイムデータソースの数は、爆発的に増加しています。そのため、データが継続的に生成され、生成されるスピードも加速しています。ビジネスでは、このようなデータを使用するために数時間または数日待つことはできません。貴重なインサイトを取得するためには、このデータを即座に利用して新しい情報に迅速に対応する必要があります。このワークショップでは、ストリーミングデータソースを利用して、ほぼリアルタイムで分析、対応する方法を説明します。実際のストリーミングデータのシナリオに関する要件がいくつか提示され、Amazon Kinesis、AWS Lambda、Amazon SNS などのサービスを使用して、要件を満たすソリューションを作成するタスクを実行します。
データから実行可能なインサイトを取得する時間を短縮することは、すべてのビジネスにとって重要であり、バッチデータ分析ツールを使用しているお客様は、ストリーミング分析のメリットを活用しようとしています。データウェアハウスやデータベースから、リアルタイムのソリューションにアーキテクチャを拡張するためのベストプラクティスをご確認ください。Amazon Kinesis を使用してリアルタイムデータのインサイトを取得し、Amazon Aurora、Amazon RDS、Amazon Redshift、Amazon S3 と統合させる方法をご確認ください。Amazon Flex チームが、Amazon 配信ドライバーで使われる Amazon Flex モバイルアプリケーションでストリーミング分析を使用して、毎月何百万ものパッケージを時間どおりに配信した方法を説明します。バッチ処理システムからリアルタイムシステムへの移行を可能にし、既存のバッチデータをストリーミングデータに移行するという課題を克服したアーキテクチャについて、およびリアルタイム分析を活用する方法について説明します。
市場で勝利し、差別化されたカスタマーエクスペリエンスを提供するには、企業はリアルタイムでライブデータを使用し、意思決定の迅速化を促進する必要があります。このセッションでは、一般的なストリーミングデータ処理のユースケースとアーキテクチャについて説明します。まず、ストリーミングデータと AWS のストリーミングデータ機能の概要について説明します。次に、幾つかのお客様の事例と、リアルタイムストリーミングアプリケーションを確認します。最後に、ストリーミングデータの主なユースケースにおける、一般的なアーキテクチャと設計パターンについて説明します。