Observé chez

Senior Data Engineer

Technologie

Informatique

Paris

KafkaKafka StreamsKafka ConnectMongoDBCouchbaseKeyDBDragonFlyElasticsearchIcebergTrinoDatadogGrafanaKubernetesSQLPython

Rôle

Architecte et responsable des pipelines de données haute performance pour une plateforme de social discovery travaillant en étroite collaboration avec les équipes produit et infrastructure pour concevoir déployer et optimiser des modèles de données scalables en environnement streaming et batch.

Technologies

KafkaKafka StreamsKafka ConnectMongoDBCouchbaseKeyDBDragonFlyElasticsearchIcebergTrinoDatadogGrafanaKubernetesSQLPython

Entités

Infrastructure Team

Contextes

Social DiscoveryApplication mobileTechnologie

Compétences

Design de pipelines de données haute performanceModélisation de donnéesExpertise Kafka et traitement d'événementsParallélisation et ordonnancement d'événementsGestion de volumes massifs (300k+ entrées DB par seconde)Optimisation de bases de donnéesAssurance qualité et intégrité des donnéesArchitecture durable et scalableCollaboration avec équipes MLDocumentation techniqueRésolution pragmatique de problèmesÉquilibre performance, coût et fiabilité

Challenges détectés

5 enjeux

Optimisation
Concevoir et déployer des pipelines de données haute performance pour volumes massifs (300k+ entrées par seconde)
Optimisation
Assurer la qualité, la disponibilité et l'ordre des données à grande échelle
Optimisation
Architecturer des modèles de données scalables et durables
Croissance
Supporter les équipes produit dans le prototypage et déploiement rapide de nouveaux modèles de données
Optimisation
Améliorer les performances d'ingestion d'événements et la fiabilité des systèmes