note :
8.5/10
taux d'abandon
0%
Formation Spark pour développeurs
Cette formation a pour objectif de vous fournir l’ensemble des connaissances et compétences nécessaires pour utiliser Apache Spark dans vos projets de Data Engineering au quotidien. Elle vous donnera les fondamentaux théoriques nécessaires pour comprendre son fonctionnement interne et sa philosophie, et vous permettra de développer une expertise hands’on sur ses principaux concepts et cas d’utilisation, allant de l’ingestion de données au déploiement.
Intra entreprise HT
9000€
Inter entreprises HT
1500€
*finançable par l'OPCO En savoir plus
Objectifs
Vous aurez acquis les connaissances théoriques essentielles autour de Spark, et aurez développé une expertise technique pour être capable d’utiliser Spark au quotidien en tant que développeur sur vos différents projets data
Public cible
- Data Engineers
- Software Engineers
- ML Engineers
- Data Scientists
Programme détaillé
Télécharger
L’apparition du Big Data
- Croissance verticale et horizontale
- Les systèmes distribués
- Map Reduce
Les concepts de base de Spark
- Partitionning
- Lineage
- Optimisation
- Parallélisation
Ma première application Spark
- Batch, Streaming et ML
- Créer une application Spark
- Comment traiter la donnée : RDD, Dataset, DataFrame
- Le format parquet
- Les systèmes de stockage
Transformer sa donnée (les bases)
- Opérations Map
- Opérations Reduce
- Les fonctions sur colonne
- L’objet colonne
Tester son application Spark
- Tests unitaires
- Tests d’intégrations
- Préparer ses jeux de données
Fonctionnement interne de Spark
- Le cache
- Les jointures
- Le shuffle
- La mémoire
Les opérations de transformations de données avancées
- UDF
- UDAF
- Window functions
Déployer un job Spark
- Choisir son environnement
- Spark-submit
- Configurer son job Spark
Formateur(s)
Photos
No items found.
Financer votre formation par un OPCO
En tant qu'organisme certifié Qualopi, les formations que nous vous proposons sont finançables par l'OPCO. Trouvez l'OPCO dont vous dépendez ici
Où nous trouver ?
Sur le même sujet
Articles du blog
Vidéos
Comment dynamiser vos DataFrames Spark ?
Kubernetes en 1h pour les dev
3 Pratiques clés pour tirer le meilleur de votre Data Plateform
Ces formations pourrait aussi vous intéressez
a ne pas manquer
Formation IA Act
Nous contacter
4h
2500€HT (Intra uniquement)
a ne pas manquer
La Fresque de la Data et de l'IA
Nous contacter
4h
2500€HT (intra uniquement)
a ne pas manquer
Formation Generative AI & LLM
18 et 19 novembre 2024
2 jours
1500€HT / perso ou 9000€HT en intra
Nous vous accompagnons dans vos projets Data & IA
De la stratégie à la mise en oeuvre en passant par l'acculturation de vos équipes, nous vous aidons à chaque étape dans la réalisation de vos projets. Découvrez nos offres en détail pour trouver la solution qui correspond à vos besoins.
Les prochains événements Hymaïa
MER. 11 DEC. - 18:30
chez Hymaïa
Hymanight - La Data 360 : Explorer, Visualiser, Décider
Un événement où la data rencontre l'expertise et la créativité.