Observé chez
Data Engineer / DataOps Confirmé
FinTech
Informatique
Paris
PostgreSQLClickHouseRedshiftSnowflakeAirbyteAirflowDBTAWSS3MetabasePostHogDockerGitLab CI/CDGitSQLPythonKafkaSQS
Rôle
Data Engineer / DataOps responsable de la qualité disponibilité et performance des données pilotant la migration du Data Warehouse et la fiabilisation des pipelines d'ingestion et d'orchestration.
Technologies
PostgreSQLClickHouseRedshiftSnowflakeAirbyteAirflowDBTAWSS3MetabasePostHogDockerGitLab CI/CDGitSQLPythonKafkaSQS
Entités
Équipe Data
Contextes
FinTechBanqueEnvironnement / Développement durable
Compétences
Modélisation de donnéesOrchestration de pipelinesIngestion de donnéesData WarehouseDBT (modélisation, macros Jinja, modèles incrémentaux)Monitoring et observabilitéGestion d'incidents critiquesCode reviewCI/CDMigration Data WarehouseStreamingSécurité et RGPDProblem solvingCommunication technique
Challenges détectés
5 enjeux- Transformation
Migration complète du Data Warehouse de PostgreSQL vers un système OLAP (ClickHouse, Redshift ou Snowflake)
- Optimisation
Optimisation et stabilisation des flux d'ingestion et des DAGs d'orchestration pour éliminer les tâches manuelles et les
- Conformité
Mise en place de tests de qualité de données et du monitoring pour garantir des données fiables
- Optimisation
Séparation propre de la stack technique entre les besoins Produit et Analytics
- Optimisation
Gestion autonome des incidents de production et mise en place d'un système d'alerting performant



