Observé chez
Data Engineer Streaming
Technologie
Informatique
Nantes
Confluent KafkaGoogle BigQueryKafka ConnectDockerTerraformPythonHashiCorp VaultNomadPrometheusGrafanaGoogle Cloud Platform
Rôle
Conception et déploiement de pipelines d'ingestion temps réel Kafka vers BigQuery
Technologies
Confluent KafkaGoogle BigQueryKafka ConnectDockerTerraformPythonHashiCorp VaultNomadPrometheusGrafanaGoogle Cloud Platform
Entités
Data Team
Contextes
SaaS
Compétences
Conception de pipelines de donnéesArchitecture streaming temps réelGestion des secretsMonitoring et observabilitéTests fonctionnels et gestion d'erreursDéploiement et scalabilité
Challenges détectés
3 enjeux- Optimisation
Remplacer une architecture multi-cloud lente et coûteuse
- Optimisation
Réduire les coûts d'infrastructure
- Optimisation
Simplifier la maintenance du pipeline de données



