Apache Airflow
Découvrez l'essentiel de l'orchestration avec une introduction complète à Airflow. Explorez le concept d'orchestrateur, l'historique des outils, et plongez dans le vocabulaire Airflow, notamment DAG, DAG run, et Tâche.
Franck Cussac
Senior Data Engineer
Franck Cussac est actuellement Senior Data Engineer chez Hymaïa.
voir le profil complet
Franck Cussac est actuellement Senior Data Engineer chez Hymaïa.
voir le profil completDescription
L’objectif de cette formation est de savoir maitriser les principes de l’orchestration de pipelines data avec Apache Airflow. Airflow est une plate-forme de gestion de flux de travail open source initialement créée par Airbnb en 2014.
Dans cette formation, nous verrons les grands principes des orchestrateurs et les bonnes pratiques à adopter pour utiliser AirFlow dans des contextes d’industrialisation de projets data.
Cette formation s’inscrit dans un parcours de Data Engineer ou de Data Scientist.
Infos clés
Objectifs
- Créer des DAGs (Directed Acyclic Graphs) avec Airflow
- Implémenter différents types de tâches dans un pipeline Airflow
- Gérer les dépendances entre les tâches d'un workflow
Public cible
- Data Engineers
- Data Ops Engineers
- ML Engineers
- Software Engineers
Prérequis
Aucun
Programme détaillé
Introduction à l’orchestration
- Qu’est-ce qu’un orchestrateur ?
- Historique des outils existants
- Pourquoi Airflow est partout ?
Le vocabulaire Airflow
- DAG
- DAG run
- Tâche
Créer un DAG
- Les éléments qui composent un DAG
- Exercices pratiques
Configurer l’orchestration de son DAG
- La start date
- Reprise en cas d’erreur
- Rejeu d’historique
- Exercices pratiques
Les fonctionnalités de développement avancées
- Les plugins
- Architecturer le code de ses DAGs
- Xcom : la base de données interne d’Airflow
- Le pooling
- Exercices pratiques
Aller plus loin !
- Quand choisir Airflow et comment ?
- Discussion et échanges sur votre contexte
Vous allez le recevoir par mail dans quelques secondes
Formateur(s)
Ce qu’ils en disent…
Financer votre formation par un OPCO
En tant qu'organisme certifié Qualopi, les formations que nous vous proposons sont finançables par l'OPCO. Trouvez l'OPCO dont vous dépendez ici
Contacts
s'inscrire
.png){kind=spacer}
Modalités
Modalités d'évaluation
Un questionnaire d'auto-évaluation est envoyé aux participants avant et après la formation pour mesurer leur progression.
Pendant la formation :
Les acquis sont évalués tout au long de la formation par les formateurs sous forme de Quizz en ligne, questions réponses ou tour de table.
Le participant se verra délivrer une attestation de fin de formation à l’issue de la session
Organisation
- en présentiel :
Cette formation est en groupe de 6 à 12 personne en intra-entreprise ou inter-entreprise en fonction du format souhaité par le commanditaire.
- en ligne :
Un lien vous sera envoyé pour suivre les sessions à distances. Merci d'activer les caméras lors des sessions avec notre formateur.
Modalités d'accès
Les sessions peuvent être programmées jusqu’ à 7 jours avant la date retenue, sous condition d’un formateur disponible et de la réception de la convention signée avant la session pour des groupes de 6 à 12 personnes .
Les prochains événements Hymaïa
Hymaday - AI Adoption At Scale
