Formation Apache Airflow
L’objectif de cette formation est de savoir maitriser les principes de l’orchestration de pipelines data avec Apache Airflow. Airflow est une plate-forme de gestion de flux de travail open source initialement créée par Airbnb en 2014.
Dans cette formation, nous verrons les grands principes des orchestrateurs et les bonnes pratiques à adopter pour utiliser AirFlow dans des contextes d’industrialisation de projets data.
Cette formation s’inscrit dans un parcours de Data Engineer ou de Data Scientist.
Objectifs
- Créer des DAGs (Directed Acyclic Graphs) avec Airflow
- Implémenter différents types de tâches dans un pipeline Airflow
- Gérer les dépendances entre les tâches d'un workflow
Public cible
- Data Engineers
- Data Ops Engineers
- ML Engineers
- Software Engineers
Prérequis
Aucun
Programme détaillé
Introduction à l’orchestration
- Qu’est-ce qu’un orchestrateur ?
- Historique des outils existants
- Pourquoi Airflow est partout ?
Le vocabulaire Airflow
- DAG
- DAG run
- Tâche
Créer un DAG
- Les éléments qui composent un DAG
- Exercices pratiques
Configurer l’orchestration de son DAG
- La start date
- Reprise en cas d’erreur
- Rejeu d’historique
- Exercices pratiques
Les fonctionnalités de développement avancées
- Les plugins
- Architecturer le code de ses DAGs
- Xcom : la base de données interne d’Airflow
- Le pooling
- Exercices pratiques
Aller plus loin !
- Quand choisir Airflow et comment ?
- Discussion et échanges sur votre contexte
Ce qu’ils en disent…
Modalités d'évaluation
Un questionnaire d'auto-évaluation est envoyé aux participants avant et après la formation pour mesurer leur progression.
Pendant la formation :
Les acquis sont évalués tout au long de la formation par les formateurs sous forme de Quizz en ligne, questions réponses ou tour de table.
Le participant se verra délivrer une attestation de fin de formation à l’issue de la session
Organisation
Cette formation est en groupe de 6 à 12 personne en présentielle en intra-entreprise ou inter-entreprise en fonction du format souhaité par le commanditaire.
Modalités d'accès
Les sessions peuvent être programmées jusqu’ à 7 jours avant la date retenue, sous condition d’un formateur disponible et de la réception de la convention signée avant la session pour des groupes de 6 à 12 personnes .
Formateur(s)
Photos
Financer votre formation par un OPCO
Contacts
.png){kind=spacer}
Formation Analytics Engineer
De la data science à la data analyse, une transition à reculons ?
Serverless Inference : Quand AWS SageMaker rencontre AWS Lambda
Nous vous accompagnons dans vos projets Data & IA
Les prochains événements Hymaïa
Hymanight - Data & AI Product Management Paris meetup #2
