Observé chez
Data Engineer Cloud Migration
Finance
Informatique
Chennai
Rôle
Ingénieur données spécialisé dans la migration d'infrastructures Hadoop vers le cloud et l'orchestration de pipelines de données.
Technologies
Entités
Contextes
Compétences
Challenges détectés
5 enjeuxLes principaux enjeux identifiés chez BNP Paribas Personal Finance, avec les technologies et compétences associées.
- 01Transformation
Migrer l'infrastructure Hadoop existante vers le cloud Kubernetes Engine avec Spark et Airflow as a Service
Technologies clés
HadoopKubernetesSparkAirflowCompétences clés
Migration infrastructure Hadoop vers cloudOrchestration de pipelines AirflowContainerisation Kubernetes - 02Optimisation
Assurer la robustesse et la scalabilité des pipelines de données migrés
Technologies clés
SparkAirflowCompétences clés
Transformation et qualité des donnéesTests unitaires et validation - 03Optimisation
Implémenter la transformation et la qualité des données pour assurer la cohérence et l'exactitude
Technologies clés
SparkScalaPythonJavaCompétences clés
Transformation et qualité des donnéesProgrammation Scala, Python, Java - 04Optimisation
Mettre en place des pipelines CI/CD pour automatiser les déploiements et la gestion du développement
Technologies clés
GitlabJenkinsCompétences clés
Configuration CI/CD - 05Optimisation
Automatiser les pipelines de données et rationaliser l'ingestion via orchestrateurs et processus de planification
Technologies clés
AirflowKafkaCompétences clés
Orchestration de pipelines AirflowAutomatisation



