Formation Data Engineering sur AWS
Cette formation a pour objectif de vous former au métier de Data Engineer en utilisant les technos proposées par AWS. Pour ce faire nous avons créé un programme qui commence par de la théorie pour poser les bases de la Data Ingénieurie dans AWS puis des études de cas concrets que nous avons pu rencontrer et mettre en place chez nos clients.
Nous avons choisi de proposer un chapitre sur Kubernetes en option car nous estimons que ce sujet, qui peut faire parti du périmètre d’un Data Ingénieur, est très spécifique et plus marginale.
Objectifs
- Acquérir de bonne pratique de développement logiciel sur le Cloud
- Choisir le bon service managé
- Architecturer son application
- Mettre en place son Infra as Code et CI/CD
Public cible
- Développeur de toute spécialité
- Data Engineer débutant sur AWS
- ML Engineer
Prérequis
- Avoir un background de développeur
- Avoir un ordinateur sur lequel vous avez les droits d’administration
Programme détaillé
Introduction au Cloud Computing
- Qu'est-ce que le Cloud ?
- Les différents types de services managés
- Les principaux fournisseurs de services Cloud (AWS, GCP, Azure)
- Comparaison des offres de services Cloud
- Apporter de la valeur en tant que Data Ingénieur dans un projet Cloud
Brève histoire du Big Data
- Croissance verticale et horizontale
- Les systèmes distribués
- La donnée en batch
- La donnée en temps réel
Tour d’horizon des services managés data AWS
- Object Storage: AWS Simple Storage Service (S3)
- Database: Relationnel et Document-Based
- Traitement
- Batch (EMR, Glue, Athena)
- Temps Réel (Kinesis)
- Configuration (Parameter Store, Secret Manager)
- Machine Learning (Sagemaker)
- Exposition (API gateway)
Du code local au cloud
- Architecturer mon application et mon code
- Infra as Code et CI/CD
- Tests et debugging
Les patterns classiques
- Collecte de donnée quotidienne
- Collecte événementielle en temps réel
- Entraînement et déploiement d’un modèle de ML
- Exposition d’un modèle de ML
Les bonnes pratiques de développement logiciel
- La donnée dans les tests unitaires / intégrations
- 12 factors app (Application-as-a-Service)
- Bien gérer ses secrets
Interagir avec Kubernetes (3è jour en option)
- CLI kubectl
- Récupérer des logs pour le debugging
- Tester son déploiement à la main
- Infra as Code
Ce qu’ils en disent…
Modalités d'évaluation
Un questionnaire d'auto-évaluation est envoyé aux participants avant et après la formation pour mesurer leur progression.
Pendant la formation :
Les acquis sont évalués tout au long de la formation par les formateurs sous forme de Quizz en ligne, questions réponses ou tour de table.
Le participant se verra délivrer une attestation de fin de formation à l’issue de la session
Organisation
Cette formation est en groupe de 6 à 12 personne en présentielle en intra-entreprise ou inter-entreprise en fonction du format souhaité par le commanditaire.
Modalités d'accès
Les sessions peuvent être programmées jusqu’ à 7 jours avant la date retenue, sous condition d’un formateur disponible et de la réception de la convention signée avant la session pour des groupes de 6 à 12 personnes .
Formateur(s)
Photos
Financer votre formation par un OPCO
Contacts
.png){kind=spacer}
Formation Spark pour développeurs
Poetry: enfin l’outil pour charmer Python ?
De l'idée au déploiement : Créer un produit d'IA générative avec Bedrock
Nous vous accompagnons dans vos projets Data & IA
Les prochains événements Hymaïa
Hymanight - Data & AI Product Management Paris meetup #2
