Apache Airflow® with Astro by Astronomer - Pay As You Go

Qu'aimez-vous le plus à propos de the product?

J'aime qu'il soit flexible, bien documenté, et qu'il ait un bon support. Son interface utilisateur est également agréable. Il est rapide, permet de planifier de nombreux travaux différents par nature (ingénierie des données, modèles de ML, MLOps, etc.). C'est dans l'ensemble un service d'orchestration fantastique.

Que n’aimez-vous pas à propos de the product?

Je souhaite qu'il soit plus facile de voir la durée de chaque tâche au cours des exécutions récentes.

Je souhaite également que nous n'ayons pas à avoir tous nos ETL dans un seul dépôt GitHub, car cela rend le passage du développement à la production parfois compliqué.

J'aimerais voir encore plus de formation pour les nouveaux arrivants. En tant qu'utilisateur expérimenté, il est clair que la courbe d'apprentissage est élevée et je me retrouve souvent à devoir expliquer beaucoup de choses aux gens !

Il y a pas mal de changements perturbateurs avec les dépendances Google en particulier - cela peut prendre beaucoup de temps juste pour maintenir les instances en cours d'exécution malgré l'absence de modifications du code.

Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?

Principalement, c'est une interface simple pour orchestrer des tâches sur GCP - c'est tout. Elle me permet d'exécuter des tâches de big data de manière fluide et me permet de voir facilement quand une tâche n'a pas été exécutée.

Qu'aimez-vous le plus à propos de the product?

Avec Astronomer, nous n'avons pas besoin de nous soucier de l'infrastructure, tout est abstrait pour nous. Cela a considérablement amélioré la rapidité de notre équipe à développer de nouvelles solutions ! Astronomer est devenu notre outil quotidien pour la gestion des flux de travail. Éviter de perdre du temps avec les déploiements et les machines et se concentrer sur ce qui est vraiment important, l'entreprise. Avoir la version la plus récente d'Airflow disponible un jour après la sortie est un avantage, nous pouvons compter sur les correctifs de bugs et les nouvelles fonctionnalités aussi rapidement que possible (plus rapidement que si nous avions notre propre solution Airflow ou tout autre SaaS). L'équipe de support d'Airflow nous a aidés à débloquer de nombreux problèmes, la plupart concernant le fonctionnement d'Airflow et la meilleure utilisation de l'outil, nous avons également pu déployer facilement chaque intégration que nous utilisons avec notre fournisseur de cloud actuel.

Que n’aimez-vous pas à propos de the product?

L'astronome manque encore de certaines "fonctionnalités premium", quelque chose qui n'est pas disponible dans la version open source d'Airflow. Je sais que nous avons des outils supplémentaires comme la traçabilité (celui-ci nécessite beaucoup plus d'attention de la part de l'équipe des astronomes pour être quelque chose de facile et valide à utiliser) et l'"IDE cloud" qui est une excellente idée mais qui nécessite plus de complétude, par exemple il manque la capacité d'installer simplement des bibliothèques privées ou de se connecter avec des fonctions macro (comme jinja) à partir de notre définition SQL.

Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?

Astronomer est notre principal outil de flux de travail. Nous l'utilisons pour tous les pipelines de données que nous créons. En orchestrant chaque transformation de données en utilisant SQL + Jinja et avec Redshift comme entrepôt de données, nous sommes capables d'exécuter 100 % de nos flux de travail de plateforme de données à l'intérieur d'Astronomer. Le nouveau modèle de tarification basé non pas sur l'exécution des tâches mais sur l'utilisation des ressources a été un changement radical pour nous ! Maintenant, nous pouvons créer des dags comme ils devraient l'être, en utilisant toutes les meilleures pratiques.

Qu'aimez-vous le plus à propos de the product?

J'aime le fait qu'ils aient parcouru un long chemin depuis qu'ils étaient une startup soutenant l'open source Airflow jusqu'à devenir une entreprise se concentrant sur ce que leurs clients veulent. Ils ont une histoire de développement riche en fonctionnalités pour fournir le meilleur support client. Leur déploiement d'environnement de développement et de production via CI/CD offre une facilité de mise en œuvre et d'intégration d'Airflow pour leurs clients. Je trouve le système facile à utiliser, ce qui me donne confiance. Ils ont eu leurs hauts et leurs bas en tant qu'organisation, mais ils ont parcouru un long chemin depuis. Je suis heureux de dire que la décision de Fanduel d'utiliser Astronomer s'est avérée être un grand succès.

Que n’aimez-vous pas à propos de the product?

Il n'y a pas de problèmes majeurs à utiliser Astro, mais quelques bizarreries ici et là. Dans l'ensemble, j'aime la façon dont ils construisent le produit et soutiennent Airflow.

Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?

Ils fournissent une plateforme stable sur Kubernetes pour exécuter notre grande orchestration de charges de travail d'environ mille pipelines de données et ils font un très bon travail.

Qu'aimez-vous le plus à propos de the product?

Parmi les trois options Airflow gérées les plus connues (MWAA, Cloud Composer, Astronomer), je pense qu'Astronomer est la plus simplifiée et la plus facile à utiliser. L'image Docker/environnement d'exécution est bien conçue, et l'option hybride de Dataplane gérée propose des méthodes sensées et élimine le fardeau de la maintenance du déploiement. J'adore l'Astro CLI et la facilité avec laquelle on peut personnaliser l'image de base d'Airflow qu'ils fournissent. La documentation est bonne et ils sont les plus proches de la communauté Airflow centrale.

Que n’aimez-vous pas à propos de the product?

Plus cher que les deux autres, mais à mon avis, les fonctionnalités supplémentaires en valent vraiment la peine. Facturer par exécution de tâche nécessite également de la prudence. En dehors du prix/coût cependant... c'est génial. Je leur ai donné un 9 au lieu d'un 10 à cause du coût.

Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?

Orchestration de flux de travail/pipelines de données.

Qu'aimez-vous le plus à propos de the product?

Le support client et la fiabilité, également faciles à mettre en œuvre.

Que n’aimez-vous pas à propos de the product?

Ils peuvent peut-être rendre les alertes plus configurables en termes de données à afficher dans l'alerte.

Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?

Astro résout tous les problèmes de support et de maintenance de l'infrastructure, et toutes les mises à jour/correctifs sont gérés à 100 % par Astro, et ils le font vraiment bien.