Ingénieur Data Platform Retail

Retail

Informatique

Paris

DatabricksUnity CatalogdbtSQLSparkKubernetesAirflowDockerKafkaEvent HubsPrefectDagsterDelta LakeDatadog

Rôle

Ingénieur Data Platform chargé de la migration de l’optimisation et de la fiabilisation des pipelines de données pour accélérer la digitalisation du commerce physique et garantir la qualité la conformité et la performance des données au sein d’un environnement retail international.

Technologies

DatabricksUnity CatalogdbtSQLSparkKubernetesAirflowDockerKafkaEvent HubsPrefectDagsterDelta LakeDatadog

Entités

Data PlatformData ScienceInfrastructureSoftwareProduitConseilClient Analytics Engineers

Contextes

Retail

Compétences

Data EngineeringDataOpsCI/CDGouvernance des donnéesObservabilitéOptimisation de pipelinesCollaboration interfonctionnelleDocumentation techniqueFormation

Challenges détectés

4 enjeux

Transformation
Migration des architectures multi-technologies vers Databricks et dbt
Technologies clés
DatabricksUnity CatalogdbtKubernetes
Compétences clés
Migration de pipelinesModélisation de donnéesDocumentation
Conformité
Renforcer la fiabilité et la gouvernance des données
Technologies clés
Unity CatalogDatadogdbt
Compétences clés
Gouvernance des donnéesObservabilitéGestion des accès
Optimisation
Optimiser la performance et les coûts des pipelines de données
Technologies clés
DatabricksDelta Lake
Compétences clés
Optimisation de pipelinesSurveillance des coûtsPartitionnement
Croissance
Collaborer avec les équipes produit, data science et conseil pour répondre aux besoins métiers
Compétences clés
Collaboration interfonctionnelleFormationCommunication