Passer au contenu principal

Amazon Kinesis Data Streams

Démarrer avec Amazon Kinesis Data Streams

Démarrer

Amazon Kinesis Data Streams est un service de traitement et d’ingestion de données extrêmement évolutif et hautement durable pour les données de streaming. Vous pouvez configurer des centaines de milliers de producteurs de données de manière à ce qu'ils ajoutent des données en continu à un flux de données Kinesis. Les données seront disponibles en quelques millisecondes pour vos applications Amazon Kinesis, et ces applications recevront les enregistrements de données dans l'ordre dans lequel ils ont été générés.

Amazon Kinesis Data Streams est intégré à plusieurs services AWS, notamment Amazon Kinesis Data Firehose pour la transformation quasiment en temps réel et la livraison de flux de données dans un lac de données AWS comme Amazon S3, le service géré Amazon pour Apache Flink pour le traitement des flux gérés, AWS Lambda pour le traitement des événements ou des enregistrements, AWS PrivateLink pour la connectivité privée, Amazon Cloudwatch pour le traitement des métriques et des journaux et AWS KMS pour le chiffrement côté serveur.

Le service Amazon Kinesis Data Streams est utilisé en tant que passerelle d’une solution big data. Les données issues de diverses sources sont ajoutées à un flux Amazon Kinesis, puis les données du flux sont utilisées par différentes applications Amazon Kinesis. Dans cet exemple, une application (en jaune) exécute un tableau de bord en temps réel pour les données diffusées en continu. Une autre application (en rouge) réalise une agrégation simple et envoie les données traitées vers Amazon S3. Les données dans S3 sont par ailleurs traitées et stockées dans Amazon Redshift à des fins d’analytique complexe. La troisième application (en vert) transmet les données brutes vers Amazon S3. Ces dernières sont ensuite archivées dans Amazon Glacier pour un stockage à long terme plus économique. Vous noterez que trois de ces pipelines de traitement de données surviennent simultanément et en parallèle.

Démarrer avec Amazon Kinesis Data Streams

Voir l’actualité Amazon Kinesis Data Streams

Demandez de l'assistance pour votre démonstration de faisabilité ou votre évaluation

Vidéos

Utilisation de Kinesis Data Streams

Une fois votre inscription à Amazon Web Services terminée, vous pouvez commencer à utiliser Amazon Kinesis Data Streams en :

Sujets de la page

Concepts clés

Ouvrir tout

Un producteur de données est une application qui émet généralement des enregistrements de données à mesure qu'ils sont générés dans un flux de données Kinesis. Il attribue des clés de partition aux enregistrements. Les clés de partition finissent par déterminer quelle partition ingère l'enregistrement de données pour un flux de données.

Un consommateur de données est une application Kinesis distribuée ou un service AWS qui extrait les données de toutes les partitions d'un flux à mesure qu'elles sont générées. La plupart des consommateurs de données récupèrent les données les plus récentes d'une partition, ce qui permet l'analyse en temps réel et la gestion des données.

Un flux de données est un regroupement logique de partitions. Le nombre de partitions dans un flux de données est illimité (demandez une augmentation de la limite si vous en avez besoin). Un flux de données va conserver les données pendant 24 heures par défaut, ou en option jusqu'à 365 jours.

La partition est l'unité de débit de base d'un flux de données Amazon Kinesis.

  • Une partition est un journal d'ajout uniquement et une unité de capacité de diffusion. Une partition contient une séquence ordonnée d'enregistrements classés par heure d'arrivée.
  • Une partition peut ingérer jusqu'à 1 000 enregistrements par seconde ou 1 Mo/s. Vous pouvez ajouter d'autres partitions pour augmenter la capacité d'ingestion.
  • Ajoutez ou supprimez des fragments de votre flux de manière dynamique à mesure que votre débit de données change à l'aide de la console AWS, de l'API UpdateHardcount, déclenchez un dimensionnement automatique via AWS Lambda ou à l'aide d'un utilitaire de dimensionnement automatique.
  • Avec la distribution améliorée, une seule partition fournit 1 Mo/s de données en entrée et 2 Mo/s de données en sortie pour chaque consommateur de données inscrit à l'utilisation de la distribution améliorée.
  • Sans la distribution améliorée, une partition fournit 1 Mo/s de données en entrée et 2 Mo/s de données en sortie, et cette sortie est partagée avec tout consommateur n'utilisant pas la distribution améliorée.
  • Vous déterminez le nombre de partitions nécessaires lors de la création du flux et vous pouvez le modifier à tout moment. Vous pouvez, par exemple, créer un flux comportant deux partitions. Si vous disposez de 5 consommateurs de données utilisant la distribution améliorée, ce flux peut fournir jusqu'à 20 Mo/s de données en sortie au total (2 partitions x 2 Mo/s x 5 consommateurs de données). Lorsque les consommateurs n'utilisent pas la distribution améliorée, ce flux présente un débit de 2 Mo/s de données en entrée et 4 Mo/s en sortie. Dans tous les cas, ce flux autorise jusqu'à 2 000 enregistrements PUT par seconde, ou 2 Mo/s de données en entrée, la première limite atteinte étant prise en compte.
  • Vous pouvez surveiller les métriques au niveau des partitions dans Amazon Kinesis Data Streams.

L'enregistrement est l'unité utilisée pour les données stockées dans un flux Amazon Kinesis. Un enregistrement se compose d'un numéro de séquence, d'une clé de partition et d'un blob de données. Le blob de données correspond aux données utiles que le producteur ajoute au flux. La taille maximale d'un blob de données (charge de données utiles après le décodage en base64) est de 1 mégaoctet (Mo).

Une clé de partition est généralement un identifiant significatif, tel qu'un ID utilisateur ou un horodatage. Elle est indiquée par votre producteur de données lors de la saisie de données dans un flux de données Amazon Kinesis et permet aux consommateurs de rejouer ou de créer un historique associé à la clé de partition. La clé de partition sert également à isoler et à acheminer les enregistrements de données vers différentes partitions d'un flux. Par exemple, supposons que vous disposiez d'un flux de données Amazon Kinesis comprenant deux partitions (partition 1 et partition 2). Vous pouvez configurer votre producteur de données afin qu'il utilise deux clés de partition (clé A et clé B), de manière à placer tous les enregistrements associés à la clé A dans la partition 1 et tous ceux associés à la clé B, dans la partition 2.

Un numéro de séquence est un identifiant unique associé à un enregistrement de données. Le numéro de séquence est attribué par Amazon Kinesis Data Streams lorsqu'un producteur de données appelle PutRecord ou l'API PutRecords pour ajouter des données à un flux de données Amazon Kinesis. Les numéros de séquence correspondant à une même clé de partition deviennent généralement de plus en plus longs au fil du temps ; plus l'intervalle de temps entre chaque requête PutRecord ou PutRecords est élevé, plus les numéros de séquence sont longs.

Ajout de données aux flux

Ouvrir tout

Insérez des échantillons de données dans un flux de données Kinesis ou un firehose de données Kinesis à l'aide du générateur de données Amazon Kinesis.

Amazon Kinesis Data Streams fournit deux API permettant de placer des données dans un flux Amazon Kinesis : PutRecord et PutRecords. L'opération PutRecord autorise un seul enregistrement de données au sein d'un appel d'API. L'opération PutRecords, quant à elle, en autorise plusieurs.

Amazon Kinesis Producer Library (KPL) est une bibliothèque facile à utiliser et hautement configurable qui vous permet de placer des données dans un flux de données Amazon Kinesis. La bibliothèque Producer Amazon Kinesis (KPL) est dotée d'une interface simple, asynchrone et fiable qui vous permet d'atteindre rapidement un débit producteur élevé avec le minimum de ressources client.

Amazon Kinesis Agent est une application Java prédéfinie qui permet de collecter et d'envoyer facilement des données vers votre flux Amazon Kinesis. Vous pouvez installer cet agent dans des environnements serveur basés sur Linux tels que des serveurs web, des serveurs de journaux et des serveurs de base de données. L'agent surveille certains fichiers et envoie en continu des données sur votre flux.

Exécution d'applications ou création de vos propres applications

Ouvrir tout

Exécutez des applications de traitement de flux entièrement gérées à l'aide des services AWS ou créez vos propres applications.

Amazon Kinesis Data Firehose est le moyen le plus simple de transformer et de charger de manière fiable des données de streaming dans des magasins de données et des outils d'analyse. Vous pouvez utiliser un flux de données Kinesis en tant que source pour Kinesis Data Firehose.

Avec Amazon Managed Service pour Apache Flink, vous pouvez facilement interroger des données de streaming ou créer des applications de streaming à l'aide d'Apache Flink afin d'obtenir des informations exploitables et de répondre rapidement aux besoins de votre entreprise et de vos clients. Vous pouvez utiliser un flux de données Kinesis comme source et destination pour une application de service géré Amazon pour Apache Flink.

Vous pouvez souscrire aux fonctionnalités Lambda pour lire automatiquement les enregistrements de votre flux de données Kinesis.  AWS Lambda est généralement utilisé pour le traitement de flux enregistrement par enregistrement (également appelé traitement basé sur les événements).

Amazon Kinesis Client Library (KCL) est une bibliothèque prédéfinie qui vous permet de créer facilement des applications Amazon Kinesis pour lire et traiter des données à partir d'un flux de données Amazon Kinesis. La bibliothèque KCL gère des problèmes complexes, tels que l'adaptation à des flux aux volumes fluctuants, l'équilibrage de la charge pour les données diffusées en continu, la coordination des services distribués et le traitement des données en garantissant la tolérance aux pannes. Elle vous permet ainsi de vous concentrer sur la logique métier lors de la création des applications Amazon Kinesis. À partir de KCL 2.0, vous pouvez utiliser une API de diffusion HTTP/2 à faible latence et la distribution améliorée pour extraire les données d'un flux.

La bibliothèque Amazon Kinesis Connector est une bibliothèque prédéfinie qui vous permet d'intégrer facilement Amazon Kinesis à d'autres services AWS et à des outils tiers. La bibliothèque Client Amazon Kinesis (KCL) est requise pour l'utilisation de la bibliothèque Connector. La version actuelle de cette bibliothèque fournit des connecteurs vers Amazon DynamoDB, Amazon Redshift, Amazon S3 et Amazon Elasticsearch Service. La bibliothèque inclut également des exemples de connecteurs de chaque type, ainsi que des fichiers de construction Apache Ant pour l'exécution des exemples.

Amazon Kinesis Storm Spout est une bibliothèque prédéfinie qui vous permet d'intégrer facilement Amazon Kinesis Data Streams à Apache Storm. Dans sa version actuelle, la bibliothèque Amazon Kinesis Storm Spout récupère des données de flux de données Kinesis et les émet en tant que tuples. Vous pouvez l'ajouter à votre topologie Storm afin d'exploiter Amazon Kinesis Data Streams en tant que service de collecte, de stockage et de consultation à la fois évolutif et fiable.

Gestion de flux

Ouvrir tout

Vous pouvez bénéficier d'un accès privé aux API Kinesis Data Streams à partir de votre Amazon Virtual Private Cloud (VPC) en créant des points de terminaison de VPC. Avec des points de terminaison de VPC, le routage entre le VPC et Kinesis Data Streams est géré par le réseau AWS, sans qu'il y ait besoin d'une passerelle Internet, d'une passerelle NAT ou d'une connexion VPN. La dernière génération de points de terminaison de VPC utilisée par Kinesis Data Streams repose sur AWS PrivateLink, technologie qui permet une connectivité privée entre les services AWS utilisant des interfaces réseau Elastic (ENI) avec les adresses IP privées de vos VPC. Pour plus d'informations sur PrivatLink, consultez la documentation AWS PrivateLink.

La distribution améliorée permet aux clients d'adapter le nombre des consommateurs qui lisent un flux en parallèle, tout en maintenant le niveau de performances. Vous pouvez utiliser la distribution améliorée et une API d'extraction de données HTTP/2 afin de déployer les données sur plusieurs applications, généralement dans les 70 millisecondes suivant leur arrivée.

Vous pouvez chiffrer les données saisies dans Kinesis Data Streams à l'aide d'un chiffrement côté serveur ou côté client.  Le chiffrement côté serveur est une fonctionnalité entièrement gérée qui chiffre et déchiffre automatiquement les données au fur et à mesure que vous les insérez et que vous les récupérez à partir d'un flux de données. Vous pouvez également crypter vos données côté client avant de les insérer dans votre flux de données. Pour en savoir plus, consultez la section Sécurité des questions fréquentes sur Kinesis Data Streams.

Utilisez un flux de données comme source pour un Kinesis Data Firehose afin de transformer vos données à la volée tout en les diffusant vers S3, Redshift, Elasticsearch et Splunk. Joignez une application Amazon Managed Service for Apache Flink pour traiter les données de streaming en temps réel avec du SQL standard sans avoir à apprendre de nouveaux langages de programmation ou de nouvelles structures de traitement.

Amazon Kinesis Data Streams s'intègre à Amazon CloudWatch afin que vous puissiez facilement collecter, consulter et analyser les métriques CloudWatch pour vos flux de données Amazon Kinesis et les fragments contenus dans ces flux de données. Pour plus d'informations sur les métriques Amazon Kinesis Data Streams, consultez la section Surveillance d'Amazon Kinesis avec Amazon CloudWatch.

Amazon Kinesis Data Streams s'intègre à AWS Identity and Access Management (IAM), un service qui vous permet de contrôler en toute sécurité l'accès à vos services et ressources AWS pour vos utilisateurs. Vous pouvez, par exemple, créer une politique permettant uniquement certains utilisateurs ou groupes d'utilisateurs d'ajouter des données à votre flux Amazon Kinesis. Pour plus d'informations sur la gestion des accès et le contrôle de votre flux de données Amazon Kinesis, consultez la section Contrôle de l'accès aux ressources Amazon Kinesis à l'aide d'IAM.

Amazon Kinesis Data Streams s'intègre à AWS CloudTrail, un service qui enregistre les appels d'API AWS pour votre compte et vous fournit des fichiers journaux. Pour plus d'informations sur la journalisation des appels d'API et une liste des API Amazon Kinesis prises en charge, consultez la section Journalisation des appels d'API Amazon Kinesis à l'aide d'AWS CloudTrail.

Vous pouvez ajouter des balises à vos flux de données Amazon Kinesis et vos consommateurs avec diffusion améliorée afin de faciliter la gestion des ressources et des coûts. Une étiquette est un libellé défini par l'utilisateur sous forme de paire clé-valeur, destiné à faciliter l'organisation des ressources AWS. Par exemple, vous pouvez attribuer des balises à vos flux de données Amazon Kinesis ou aux consommateurs avec diffusion améliorée en fonction de leur centre de coûts, ce qui vous permet de catégoriser et de suivre vos frais Amazon Kinesis Data Streams par centre de coûts. Pour plus d'informations à ce sujet, consultez la section Marquer vos ressources Amazon Kinesis Data Streams.

Tutoriels

Ouvrir tout

Ce didacticiel vous guide tout au long de la création d'un flux de données Amazon Kinesis, y compris lors de l'envoi de données de simulation boursière vers le flux de données et la conception d'une application permettant d'en traiter les données.  

Présentations à la une

Ouvrir tout

Amazon Kinesis facilite la collecte, le traitement et l'analyse de données diffusées en streaming en temps réel, afin d'obtenir rapidement des informations stratégiques et de réagir rapidement. Dans cette session, nous vous présentons une solution de données diffusées en streaming de bout en bout en utilisant Kinesis Streams pour l'intégration des données, Kinesis Analytics pour le traitement en temps réel et Kinesis Firehose pour la persistance. Nous revoyons en détail comment écrire des requêtes SQL en utilisant les données diffusées en streaming et nous abordons les bonnes pratiques pour optimiser et surveiller vos applications Kinesis Analytics. Enfin, nous parlons de comment estimer les coûts du système entier.

Visionner l'enregistrement de la session | Télécharger la présentation

Vous souhaitez améliorer vos connaissances des services web Big Data AWS et lancer votre première application Big Data sur le cloud ? Nous vous accompagnons dans la simplification du traitement du Big Data en bus de données comprenant l'intégration, le stockage, le traitement et la visualisation. Vous créez une application Big Data en utilisant AWS managed services, notamment Amazon Athena, Amazon Kinesis, Amazon DynamoDB et Amazon S3. Au cours du processus, nous revoyons les modèles de conception d'architectures pour les applications Big Data et nous vous donnons accès à un atelier à faire chez vous afin de concevoir de nouveau et de personnaliser vous-même l'application. Vous devez apporter votre propre ordinateur portable et avoir des connaissances de base des services AWS pour tirer au mieux profit de cette session.

Télécharger la présentation

Ces dernières années, le nombre d'appareils connectés et de sources de données en temps réel a grandement augmenté. De ce fait, des données sont produites en continu et ce taux de production s'accélère. Les entreprises ne peuvent plus atteindre des heures ou des jours avant d'utiliser ces données. Afin d'obtenir les informations les plus importantes, ils doivent utiliser ces données immédiatement, ce qui leur permet de réagir rapidement aux nouvelles informations. Dans cet atelier, vous allez apprendre à tirer profit des sources de données diffusées en streaming pour analyser et réagir presque en temps réel. Nous allons vous présenter différentes exigences pour un scénario réel avec des données diffusées en streaming en temps réel et nous allons vous demander de créer une solution qui répond aux exigences, en utilisant des services comme Amazon Kinesis, AWS Lambda et Amazon SNS.

Télécharger la présentation

Il est important pour les entreprises et les clients de réduire le temps d'obtention des analyses décisionnelles depuis les données s'ils utilisent des outils d'analyse de données par lots et s'ils explorent les bénéfices de l'analyse en streaming. Apprenez les bonnes pratiques pour étendre votre architecture des entrepôts de données et des bases de données aux solutions en temps réel. Apprenez comment utiliser Amazon Kinesis pour obtenir des informations sur les données en temps réel et pour les intégrer dans Amazon Aurora, Amazon RDS, Amazon Redshift et Amazon S3. L'équipe Amazon Flex décrit comment elle utilise les analyses en streaming dans son application mobile Amazon Flex, utiliser par les livreurs d'Amazon pour livrer des millions de colis à l'heure chaque mois. Elle aborde l'architecture qui a permis de passer d'un système de traitement par lots à un système en temps réel, surmontant les difficultés de la migration de données en lot existantes en données diffusées en streaming. l'équipe évoque également les avantages des analyses en temps réel.

Visionner l'enregistrement de la session | Télécharger la présentation

Pour prospérer sur le marché et offrir différentes expériences client, les entreprises doivent être capables d'utiliser des données en temps réel pour faciliter la prise de décision rapide. Dans cette session, vous étudiez les cas d'utilisation et les architectures courants du traitement des données en streaming. Tout d'abord, nous vous donnons une présentation des capacités des données diffusées en continu AWS et des données diffusées en streaming. Ensuite, nous abordons quelques exemples client et leurs applications en streaming en temps réel. Enfin, nous étudions les architectures et les modèles de conception communs des cas d'utilisation des données en streaming principaux.

Visionner l'enregistrement de la session | Télécharger la présentation

Sélection de solutions

La solution AWS de données de streaming pour Amazon Kinesis fournit des modèles AWS CloudFormation dans lesquels les flux de données transitent par des producteurs, un stockage de streaming, des consommateurs et des destinations. Afin de s'adapter aux différents cas d'utilisation et besoins professionnels, cette solution propose quatre modèles AWS CloudFormation. Les modèles sont configurés pour appliquer les meilleures pratiques afin de surveiller les fonctionnalités à l'aide de tableaux de bord et d'alarmes et de sécuriser les données.