Observé chez
Data Engineer Product
E-commerce
Informatique
Paris, Île-de-France
SQLPythonAirflowAWSS3AthenaGlueDatabricksSparkTerraformKubernetes
Rôle
Ingénieur données chargé de la création maintenance et évolution de data products pour les équipes produit et business garantissant la qualité des données et l'observabilité des pipelines.
Technologies
SQLPythonAirflowAWSS3AthenaGlueDatabricksSparkTerraformKubernetes
Entités
Data Product EngineeringVerticale Recommerce
Contextes
E-commercePlateforme de vente entre particuliersÉconomie circulaire
Compétences
Modélisation de donnéesStar schemaOBTConstruction de data pipelinesQualité des donnéesMonitoringObservabilitéMaintenabilitéWindow functionsOptimisation SQLConception de DAGsCode reviewDocumentationDesign patternsData MeshAccess Management
Challenges détectés
4 enjeuxLes principaux enjeux identifiés chez LBC, avec les technologies et compétences associées.
- 01Optimisation
Transformer les données brutes en insights exploitables
Technologies clés
SQLPythonAirflowAWSCompétences clés
Modélisation de donnéesConstruction de data pipelines - 02Conformité
Garantir la fiabilité, structuration et mise à disposition des données
Technologies clés
AirflowDatabricksSparkCompétences clés
Qualité des donnéesMonitoringObservabilité - 03Optimisation
Gérer des centaines de pipelines traitant quotidiennement des téraoctets de données
Technologies clés
AirflowAWSSparkCompétences clés
MaintenabilitéOptimisation SQL - 04Croissance
Promouvoir l'usage en autonomie de data products gouvernés et qualifiés
Compétences clés
Data MeshVulgarisation technique



