Observé chez
Technical Lead Data Engineering
Cloud & Infrastructure
Informatique
Roubaix
KafkaSparkHudiPostgresAirflowKubernetesS3SparkUIPythonScala
Kafka
Spark
Postgres
Airflow
Kubernetes
Python
ScalaRôle
Technical Lead chargé de définir l'architecture data guider l'équipe Data Engineering et construire une plateforme data robuste scalable et conforme aux standards de l'industrie en gérant les flux de données temps réel et batch les pipelines d'orchestration et la qualité des données.
Technologies
KafkaSparkHudiPostgresAirflowKubernetesS3SparkUIPythonScala
Entités
Équipe Data Engineering
Contextes
Cloud computingSaaSBig Data
Compétences
Architecture de donnéesDéveloppement de donnéesGestion des flux de données temps réel et batchDéveloppement de pipelines de donnéesAssurance qualité des donnéesGestion des performances des systèmesCommunication efficaceCollaboration interéquipesGestion de projetsLeadership d'équipe
Challenges détectés
5 enjeux- Optimisation
Construire une plateforme data robuste et scalable
- Conformité
Assurer la conformité aux standards de l'industrie
- Optimisation
Fournir des données fiables et accessibles à l'ensemble des métiers
- Croissance
Répondre aux besoins des clients internes (finance, industrie)
- Optimisation
Améliorer les processus de données existants