- Produkte›
- Data Lakes und Analyse›
- Datenintegration in AWS
Datenintegration in AWS
Verbinden Sie sich mit all Ihren Daten und nutzen Sie sie, unabhängig von ihrem Speicherort
Übersicht
Die aussagekräftigsten datengestützten Erkenntnisse entstehen, wenn Sie sich ein umfassendes Bild von Ihrem Unternehmen und Ihren Kunden machen. Dies können Sie nur erreichen, wenn Sie Daten aus all Ihren Datenquellen über mehrere Abteilungen, Services, On-Premises-Tools und Drittanbieteranwendungen hinweg miteinander verbinden.
Die Datenintegration mit AWS macht es einfach, sich mit all Ihren Daten zu verbinden und auf sie zuzugreifen, unabhängig davon, wo sie sich befinden. Mit den AWS-Datenintegrationsfunktionen können Sie Daten aus mehreren Quellen zusammenführen. Sie können Daten transformieren, operationalisieren und verwalten, um qualitativ hochwertige Daten in Ihren Data Lakes und Data Warehouses bereitzustellen.
Vorteile der Datenintegration mit AWS
-
Ihre Daten stammen aus vielen Quellen in einer Vielzahl von Formaten: gehosteten Anwendungen von Drittanbietern, On-Premises-Datenspeichern und operativen Datenspeichern. AWS-Services stellen eine Verbindung zu Hunderten von Datenquellen her, einschließlich Software-as-a-Service (SaaS) von Drittanbietern, On-Premises-Daten und Daten in anderen Clouds. Sobald Sie Daten verbunden oder in Data Lakes, Warehouses und Datenbanken verschoben haben, können Sie sie in Ihrem gesamten Unternehmen sicher verfügbar machen.
-
AWS Glue, einer der vielen AWS-Datenintegrationsservices, konsolidiert wichtige Datenintegrationsfunktionen an einem Ort, einschließlich Datenerkennung, -extraktion, -transformation und -laden (ETL), Bereinigung, Transformation und zentralisierter Katalogisierung. Es ist Serverless und kann Worker nach Bedarf automatisch bereitstellen und verwalten.
-
AWS bietet Tools, die den Anforderungen von Dateningenieuren, ETL-Entwicklern und Geschäftsanalysten entsprechen und Benutzern auf allen technischen Ebenen dabei helfen, ihre Daten interaktiv zu erkunden und mit ihnen zu arbeiten. Sie können Daten mit einer Drag-and-Drop-Oberfläche in AWS Glue Studio visuell transformieren, Daten mit dem Datenvorbereitungstool AWS Glue DataBrew bereinigen und normalisieren und Daten mit Ihrer bevorzugten integrierten Entwicklungsumgebung (IDE) oder Ihrem Notebook testen.
-
Oft müssen Unternehmen eine Vielzahl von Datenverarbeitungs-Frameworks wie ETL, Reverse-ETL und Extract, Load, Transform (ELT) sowie verschiedene Workloads wie Batch, Microbatch und Streaming unterstützen. AWS bietet flexiblen Support für alle Frameworks und Workloads und ermöglicht Portabilität durch Nutzung von Open-Source-Standards.
Bewältigen der Herausforderungen der Datenintegration mit AWS
AWS hilft Ihnen dabei, von jedem Ort, an dem Sie sie speichern, auf Daten zuzugreifen und diese zu integrieren, sodass sich Ihre Datenintegrationsteams auf hochwertige Aktivitäten konzentrieren können, die den Wert Ihrer Daten maximieren.
Mit AWS Glue ist es einfach, all Ihre Daten in jeder Größenordnung zu finden, aufzubereiten und zu integrieren. Der AWS Database Migration Service hilft dabei, Datenbank- und Analyse-Workloads schnell, sicher und mit minimalen Ausfallzeiten und ohne Datenverlust zu AWS zu verschieben. Amazon Managed Workflows für Apache Airflow (MWAA) bietet eine sichere und hochverfügbare verwaltete Workflow-Orchestrierung für Apache Airflow. AWS Data Exchange verbindet sich mit Daten von Drittanbietern von über 300 Datenanbietern und über 3 500 Datenprodukten.
Für komplexe Anwendungsfälle, in denen Sie Daten transformieren, Daten normalisieren, die Datenqualität überprüfen müssen, bevor Sie Daten aus einem Rohdatenspeicher aufnehmen, oder Tabellenspalten, Zeilen oder Datengrößen reduzieren müssen, erleichtert Ihnen AWS Glue die Vorbereitung und Integration von Daten.
Für häufige Anwendungsfälle, in denen ETL regelmäßig wiederholt wird, können Sie die Funktionen von AWS Zero-ETL verwenden, sodass Sie keine ETL-Pipelines erstellen und verwalten müssen. Mit den Funktionen von AWS Zero-ETL können Sie Streaming-Daten von Amazon Managed Streaming für Apache Kafka direkt in Amazon Redshift erfassen, Amazon-Aurora-Daten mit Amazon Redshift nahezu in Echtzeit analysieren und vieles mehr.
Benutzer im gesamten Unternehmen verfügen über unterschiedliche technische Fähigkeiten, um mit den Daten zu interagieren, und sind ohne die richtigen Tools möglicherweise nicht in der Lage, dies zu tun.
AWS bietet kompetenzspezifische Benutzeroberflächen und Tools zur Auftragserstellung für alle Benutzertypen, von Entwicklern bis hin zu Geschäftsanwendern. AWS Glue Studio generiert automatisch ETL-Code und ermöglicht ETL-Entwicklern und Geschäftsanalysten die Transformation von Daten mit einer No-Code-Schnittstelle. Mit AWS Glue können Entwickler und Ingenieure auch ihre bevorzugten IDE, Notebooks und Verarbeitungs-Engines verwenden. Amazon Managed Workflows für Apache Airflow ermöglicht es Wissenschaftlern und Ingenieuren, durchgängige Datenpipelines zu orchestrieren.
AWS bietet Unterstützung für verschiedene Workloads ohne Bindung.
Mit AWS Glue Studio können Sie hochgradig skalierbare ETL-Aufträge erstellen, ohne ein Apache-Spark-Experte zu werden, und strukturierte und unstrukturierte Daten in Data Warehouses und Data Lakes laden. Amazon Managed Streaming für Apache Kafka (MSK) und Amazon Kinesis machen es einfach, Streaming-Daten in Echtzeit erfassen und zu verarbeiten. Andere gängige Workloads umfassen Batch-Datentransformation, Datenbankreplikation, Datenerfaassung aus SaaS, Datenfreigabe zwischen Teams und Abonnement von Drittanbieterdaten.
Verwandte AWS-Services und -Funktionen
AWS Glue — Entdecken, Aufbereiten und Integrieren all Ihrer Daten in jeder Größenordnung
AWS Q for Data Integration — generative KI-gestützte AWS Glue-Funktion, mit der Sie Datenintegrationsaufträge in natürlicher Sprache erstellen können.
Amazon Managed Workflows für Apache Airflow — sichere und hochverfügbare verwaltete Workflow-Orchestrierung für Apache Airflow
Amazon AppFlow — Automatisieren Sie den Datenfluss zwischen Software as a Service (SaaS) und AWS-Services
Amazon Aurora Zero-ETL-Integrationen mit Amazon Redshift — führen Sie Analysen und ML für Petabyte an Transaktionsdaten in Aurora nahezu in Echtzeit durch
Null-ETL-Integration von Amazon Aurora PostgreSQL in Amazon
Null-ETL-Integration von Amazon DynamoDB in Amazon Redshift
Null-ETL-Integration von Amazon RDS für MySQL in Amazon Redshift
Null-ETL-Integration von Amazon DynamoDB in Amazon OpenSearch Service
AWS Database Migration Service — Verschieben Sie Ihre Datenbank- und Analyse-Workflows schnell, sicher und mit minimalen Ausfallzeiten und ohne Datenverlust zu AWS
Amazon Athena — Analysieren Sie Daten im Petabyte-Bereich einfach und flexibel dort, wo sie sich befinden
Amazon Redshift — bestes Preis-Leistungs-Verhältnis für Cloud Data Warehousing
AWS Lake Formation — Data Lakes in wenigen Tagen erstellen, verwalten und sichern
AWS Data Exchange — Daten von Drittanbietern einfach in der Cloud finden, abonnieren und verwenden
AWS Glue Catalog — Metadaten in der AWS-Cloud speichern, kommentieren und teilen
Amazon DataZone — Erschließen Sie Daten über Unternehmensgrenzen hinweg mit integrierter Governance