Was ist Daten-Streaming in Echtzeit?
Was ist ein Datenstrom in Echtzeit?
Datenstrom in Echtzeit beinhaltet das Sammeln und Aufnehmen einer Reihe von Daten aus verschiedenen Datenquellen und die Verarbeitung dieser Daten in Echtzeit, um Bedeutung und Erkenntnisse zu gewinnen.
Dazu gehören eine Vielzahl an Daten, wie Protokolldateien, die von Kunden auf Ihren Mobil- oder Webanwendungen generiert werden, E-Commerce-Einkäufe, Spieleraktivitäten, Informationen von sozialen Netzwerken, Börsenmarktinformationen oder raumbezogene Daten und Telemetriedaten von verbundenen Geräten oder Instrumenten in Rechenzentren.
Ein Datenstrom in Echtzeit ermöglicht es Ihnen, Daten in Echtzeit zu analysieren und zu verarbeiten, anstatt Stunden, Tage oder Wochen auf Antworten zu warten.
Was sind die Komponenten eines Echtzeit-Datenstroms?
Quelle: Bis zu Hunderttausende von Geräten oder Anwendungen, die große Mengen an kontinuierlichen Daten mit hoher Geschwindigkeit erzeugen. Beispiele hierfür sind mobile Geräte, Webanwendungen (Clickstream), Anwendungsprotokolle, IoT-Sensoren, intelligente Geräte und Spieleanwendungen.
Stream Ingestion: Einfache Integration mit über 15 AWS-Services (Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch und mehr), mit der Sie kontinuierlich Daten, die von Tausenden von Geräten erzeugt werden, dauerhaft und sicher erfassen können.
Stream-Speicher: Wählen Sie eine Lösung, die Ihre Speicheranforderungen auf der Grundlage von Skalierungs-, Latenz- und Verarbeitungsanforderungen erfüllt, wie Amazon Kinesis Data Streams, Amazon Data Firehose und Amazon Managed Streaming for Apache Kafka (Amazon MSK).
Stream-Verarbeitung: Wählen Sie aus einer Reihe von Services, die von Lösungen reichen, die nur ein paar Klicks benötigen, um Daten zu transformieren und kontinuierlich an ein Ziel wie Amazon Data Firehose zu liefern, bis hin zu leistungsstarken, maßgeschneiderten Echtzeitanwendungen und maschineller Lernintegration mithilfe von Diensten wie Amazon Managed Service für Apache Flink und AWS Lambda.
Ziel: Stellen Sie Streaming-Daten an eine Auswahl vollständig integrierter Data Lakes, Data Warehouses und Analysedienste zur weiteren Analyse oder langfristigen Speicherung bereit, wie Amazon S3, Amazon Redshift, Amazon OpenSearch Service und Amazon EMR.
Was sind Anwendungsfälle für Datenstreaming in Echtzeit?
Datenübermittlung in Echtzeit
Das Streamen von Daten von Hunderttausenden von Geräten und die Durchführung von ETL-Transformationen an großen Mengen kontinuierlicher Hochgeschwindigkeitsdaten in Echtzeit ermöglichen es Benutzern, Daten zu analysieren, sobald sie erstellt wurden, und die Daten dann dauerhaft in einem Data Lake, Data Warehouse oder einer Datenbank zur weiteren Analyse zu speichern.
Erfahren Sie, wie John Deere ETL in Echtzeit in seinen Data Lake streamt
Echtzeitanalysen
Analysieren Sie Daten, sobald sie vorliegen, und ermöglichen Sie unternehmensweit Entscheidungen in Echtzeit, um Chancen zu nutzen, das Kundenerlebnis zu verbessern, Netzwerkausfälle zu verhindern oder wichtige Geschäftskennzahlen in Echtzeit zu aktualisieren.
Protokolle: Erfassen, verarbeiten und analysieren Sie Protokolle aus Ihren Anwendungen in Echtzeit.
Lesen Sie, wie Sie das Nutzerverhalten in Echtzeit analysieren können
Erfahren Sie, wie Sie Ihren VPC-Netzwerkverkehr analysieren und visualisieren können
Erfahren Sie, wie Sie zentralisierte Microsoft Exchange-Serverprotokolle verwalten
Lesen Sie mehr über Protokoll-Analysen >>
Updates in Echtzeit: Interagieren Sie mit Verbrauchern, Spielern, Finanzhändlern und anderen, indem Sie wichtige Entscheidungskennzahlen, Empfehlungen und Kundenerlebnisse in Echtzeit aktualisieren.
Erfahren Sie, wie Sie Gaming-Analysen in Echtzeit nutzen können, um Ihre Gamer zu begeistern
Erfahren Sie, wie Sie aktuelle, personalisierte Nachrichten in Echtzeit bereitstellen
Clickstream: Verschaffen Sie sich einen Echtzeit-Überblick über die Leistung Ihrer Webinhalte und die Interaktion der Benutzer mit Ihren Anwendungen und Webseiten, einschließlich des Benutzerverhaltens, der verbrachten Zeit, der beliebtesten Inhalte und mehr.
IoT: Stellen Sie eine Verbindung zu Hunderttausenden von IoT-Geräten her und sammeln, verarbeiten und analysieren Sie die Streaming-Daten in Echtzeit.
Verarbeitung von Event-Streams
Erfassen Sie Ereignisse in Echtzeit und reagieren Sie auf sie in mehreren Anwendungen. Die häufigsten Anwendungsfälle sind die Kommunikation zwischen Hunderten von entkoppelten Microservices und die Verwaltung eines Aufzeichnungssystems über Change Data Capture.
Kommunikation zwischen entkoppelten Mikrodiensten: Wenn ein Mikrodienst ausgelöst wird, kann ein Ereignis in Echtzeit an einen Datenstrom gesendet werden, und andere Mikrodienste können den Stream „beobachten“, um festzustellen, ob ein Ereignis eingetreten ist, um die erforderliche Aktion auszulösen.
Erfahren Sie, wie Lyft in Echtzeit zwischen Hunderten von Microservices kommuniziert
Datenänderungserfassung: Alle Änderungen an Daten in verschiedenen Anwendungen und Datenbanken können in Echtzeit an ein zentrales Aufzeichnungssystem gestreamt werden.
Erfahren Sie, wie Sie Change Data Capture-Daten aus relationalen Datenbanken laden
Erfahren Sie, wie Sie Change Data Capture in Echtzeit streamen können
Welche Streaming-Dienste gibt es auf AWS?
AWS bietet mehrere Optionen für die Arbeit mit einem Datenstrom.
- Amazon Kinesis Data Streams ist ein skalierbarer und dauerhafter Streaming-Service für Echtzeitdaten, der kontinuierlich pro Sekunde Datenvolumen im Gigabyte-Bereich aus Hunderttausenden von Quellen aufnehmen kann.
- Amazon Data Firehose erfasst, transformiert und lädt Datenströme in AWS-Datenspeicher für Analysen nahezu in Echtzeit mit vorhandenen Business Intelligence-Tools mit nur wenigen Klicks.
- Amazon Managed Service für Apache Flink transformiert und analysiert in Echtzeit Streaming-Daten mithilfe von Apache Flink, einem Open-Source-Framework und einer Engine zur Verarbeitung von Datenströmen.
- Amazon Managed Streaming for Apache Kafka ist ein vollständig verwalteter Service, mit dem Sie ganz leicht Anwendungen erstellen und ausführen können, die Apache Kafka zur Verarbeitung von Streaming-Daten nutzen.
Beginnen Sie mit dem Echtzeit-Datenstreaming auf AWS, indem Sie noch heute ein Konto erstellen.