Observé chez

Data Engineer Core Data Platform

Technologie

Informatique

Paris

PythonSQLSnowflakeAirflowAirbyteAWS S3AWS IAMTerraformGitCI/CD

Rôle

Conception et construction de pipelines de données end to end pour une plateforme Data moderne en self service

Technologies

PythonSQLSnowflakeAirflowAirbyteAWS S3AWS IAMTerraformGitCI/CD

Entités

Core Data TeamDataops TeamBI TeamData Science Team

Contextes

RestaurationPlateforme de réservation en ligne

Compétences

Conception de pipelines de données productionModélisation de données (architecture médaillon)Patterns ELTOptimisation de requêtes (partitionnement, clustering)Orchestration Airflow (DAGs)Ingestion API et connecteurs base de donnéesInfrastructure as CodeData contracts et contrôles qualitéObservabilité et lineage de donnéesGestion de métadonnéesPratiques DevOps pour la donnée

Challenges détectés

6 enjeux

Les principaux enjeux identifiés chez TheFork, avec les technologies et compétences associées.

01Transformation
Transformation des capacités data via implémentation d'une plateforme Data moderne en self-service (DPaaS)
02Transformation
Migration d'un modèle BI centralisé vers un écosystème data fédéré orienté domaine
03Optimisation
Refactoring de l'orchestration Airflow pour scalabilité et maintenabilité
04Optimisation
Mise en place de modèles de propriété par domaine et sources de vérité uniques par capacité
05Croissance
Construction d'une expérience développeur forte pour adoption self-service des capacités data
06Conformité
Garantir la qualité et la fiabilité des produits de données via SLOs et data contracts