Observé chez

Data Engineer Junior Azure Databricks

Finance

Informatique

Paris

AzureDatabricksApache SparkDelta LakeAirflowdbtPythonSQLGitDockerTerraform

Rôle

Opérer et fiabiliser la plateforme data d'une fintech IA pipelines ingestion qualité monitoring dashboards optimisation

Technologies

AzureDatabricksApache SparkDelta LakeAirflowdbtPythonSQLGitDockerTerraform

Entités

Équipe Data

Contextes

Fintech

Compétences

Opération et fiabilité des pipelines AirflowDéveloppement de flux et connecteurs d'ingestionCréation et maintenance de dashboards et reporting métierChecks data quality et surveillanceDocumentation et gouvernance dataOptimisation des traitements Databricks et coûts AzureCollaboration pluridisciplinaire data, back-end, métierUtilisation d'assistants IA (Claude) pour génération de code, debug, documentation

Challenges détectés

3 enjeux

Optimisation
Fiabiliser la plateforme data
Optimisation
Optimiser les coûts Azure et Databricks
Conformité
Structurer la gouvernance data