Helps us manage transactions effectively and integrates seamlessly with our data analysis tools
What is our primary use case?
We use Apache Kafka with Confluent Cloud for specific real-time transaction use cases, both on-premise and in the cloud. We have been using Confluent Cloud for about five years.
We initially used it for data reputation, then expanded to microservices integration and Kubernetes, focusing on improving data quality and enabling real-time location tracking.
We configure it for data transactions across various topics and partitions, depending on the specific use case and required throughput.
From an IT perspective, I've used this product across all domains: system development, operations, data management, and system quality.
How has it helped my organization?
We have experience using Kafka on Confluent Cloud for data pipelines. We've implemented several techniques to optimize topic usage, integrated it with microservices, and even utilized change data capture (CDC) components.
What is most valuable?
We leverage topic configurations and partitions extensively. We simulate various use cases with different partition numbers, like high throughput scenarios with 45 partitions or high transaction environments with other configurations.
In our microservices architecture running on Kubernetes, Confluent Cloud helps us manage transactions effectively. Additionally, it integrates seamlessly with our data analysis tools like DataStage, Big Data, and Teradata, providing a smooth flow for large data volumes.
The overall integration with other tools and efficient transaction management are the key benefits I experience with Confluent Cloud for large-scale data streams.
What needs improvement?
I saw an interesting improvement related to the analytics environment.
For how long have I used the solution?
We have been using this solution since 2018.
What do I think about the scalability of the solution?
We have a well-defined process and platform for scaling big data solutions. When multiple providers propose their options, we configure a custom platform based on our current use cases.
However, we're planning to migrate to a new big data platform within the next fifteen months. This timeframe is due to our internal process for evaluating and deploying new platforms.
How was the initial setup?
In terms of configuring the product, specifically Confluent, understanding the design and configuring values for various parameters is something only I am familiar with. The initial setup, including the initial Non-Disclosure Agreement (NDA) and progress in implementation, is quite difficult.
We primarily use on-premises Kafka for high-transaction scenarios. If something crashes there, we handle data processing manually. It might not be the most efficient, but we haven't considered it a major concern.
For other use cases, we also prefer on-premises.
The implementation took us one year. It involved configuring the platform over a year. The time required for configuring or implementing use cases varies; some take longer, while others might also take up to a year.
What about the implementation team?
I attempted the deployment myself. However, there were three of us involved in these tasks within this analytical environment.
My role revolves around deploying use cases in analytics. I also operate within Architect areas, focusing on data architecture.
For maintenance, the same three people take care of it. We might need two more, but for now, three is sufficient.
What was our ROI?
The platform and container operations themselves provided significant value.
Ingénieur Logiciel Senior
Qu'aimez-vous le plus à propos de the product?
Haute disponibilité et débit. C'est très fiable.
Que n’aimez-vous pas à propos de the product?
C'est coûteux et souvent nous devons penser à des alternatives.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Kafka est notre composant principal pour la livraison d'événements à divers services.
"Un changement de paradigme pour la gestion des données en temps réel"
Qu'aimez-vous le plus à propos de the product?
Avec les sujets Kafka, il est possible de configurer facilement un modèle pub/sub et de fournir aux producteurs et aux consommateurs une visibilité complète de bout en bout à l'aide de Confluent Center. Simple à mettre à l'échelle grâce à l'ajout de courtiers et aux déploiements de mises à jour/patchs logiciels "sans temps d'arrêt".
Que n’aimez-vous pas à propos de the product?
Confluent n'a rien que je n'aime pas. Au lieu de cela, ils se concentrent sur l'amélioration du flux de données à partir du CDC.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Notre architecture est en train d'être redéfinie en utilisant des microservices pilotés par des événements et des pipelines de traitement de flux, avec Kafka servant de seule source de vérité. Étant donné que les développeurs de notre équipe doivent encore passer par une courbe d'apprentissage spécifique et un changement de paradigme, la productivité est encore insuffisante.
Flexibilité d'utilisation
Qu'aimez-vous le plus à propos de the product?
Confluent a rendu notre traitement d'événements extrêmement fluide. Des millions d'événements ont été déclenchés et tous ont été traités sans effort. L'installation, la configuration et les intégrations avec la base de données relationnelle étaient la cerise sur le gâteau. En tant qu'administrateur et développeur, la documentation était si facile et pertinente que nous avons effectivement passé moins de temps que prévu.
Que n’aimez-vous pas à propos de the product?
Manque de ressources d'apprentissage tierces et de soutien communautaire
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Attributions des utilisateurs dans le marketing de performance.
Le produit est bon pour trouver le logiciel adapté aux besoins de l'utilisateur.
Qu'aimez-vous le plus à propos de the product?
Le produit est bon et diffuse toutes les données sans aucun problème.
Que n’aimez-vous pas à propos de the product?
Il faut faire quelque chose concernant l'intégration qui sera facile.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
J'ai essayé de diffuser des messages et des notifications depuis mon application. Cela a fonctionné facilement et sans problème.
Têtes sur avec Kafka natif
Qu'aimez-vous le plus à propos de the product?
Nous n'avons pas besoin de nous inquiéter pour le gardien de zoo.
Que n’aimez-vous pas à propos de the product?
Le fichier Docker compose n'est pas très faisable, le courtier ne démarre pas d'un seul coup et doit être redémarré encore et encore. C'est la principale raison pour laquelle nous sommes passés à Kafka natif.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Facile à configurer sur mon serveur, changer la configuration n'est pas non plus difficile comme en natif.
Le meilleur de la plateforme de diffusion de données
Qu'aimez-vous le plus à propos de the product?
Quelques bonnes choses que j'aime à propos de Confluent
Plateforme unifiée
Intégration Apache Kafka
Évolutivité et performance
Capacités de streaming
Que n’aimez-vous pas à propos de the product?
La configuration de Confluent peut être un peu difficile si vous avez peu de connaissances en Kafka.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Application pilotée par des événements avec un support de niveau entreprise.
Intégration facile de la plateforme Kafka et meilleur coût total de possession
Qu'aimez-vous le plus à propos de the product?
Très évolutif et facile à intégrer avec l'architecture actuelle. Offre de nombreuses fonctionnalités en plus d'Apache Kafka. Facile à déployer des implémentations à travers les environnements et offre un bon support client.
Que n’aimez-vous pas à propos de the product?
La facilité de migration de l'écosystème Kafka actuel vers Confluent peut être améliorée au fil du temps.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Diffusion d'événements et communication entre microservices.
Confluent : La colonne vertébrale de nos solutions de données en temps réel
Qu'aimez-vous le plus à propos de the product?
La scalabilité transparente de Confluent et son intégration robuste avec Apache Kafka simplifient le traitement des données en temps réel, offrant une interface intuitive et des outils de surveillance complets qui ont considérablement amélioré la gestion de l'architecture pilotée par les événements.
Que n’aimez-vous pas à propos de the product?
Bien que Confluent offre des capacités puissantes de diffusion de données, sa complexité peut être intimidante pour les nouveaux utilisateurs, et le coût peut être prohibitif pour les petites entreprises ou les startups.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Confluent résout les problèmes de traitement et d'analyse efficace des données en streaming en temps réel. En fournissant une plateforme évolutive et fiable construite sur Apache Kafka.
Incroyable
Qu'aimez-vous le plus à propos de the product?
La fiabilité et l'évolutivité de la plateforme sont vraiment étonnantes,
Le support client est également très bon.
Le nombre de fonctionnalités augmente également.
Que n’aimez-vous pas à propos de the product?
Je n'aime rien de particulier à propos de Confluent.
Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
Confluent rend l'analyse et la gestion des big data vraiment simples et rapides.
