Observé chez
Staff Data Engineer
Cybersécurité
Informatique
Paris
Python
Django
Go
Redis
Elasticsearch
PostgreSQL
React
TypeScript
Docker
Terraform
AWS
KubernetesRôle
Architecte de pipeline de données temps réel pour la détection de secrets exposés dans les sources publiques avec refont
Technologies
Entités
Contextes
Compétences
Challenges détectés
6 enjeux- Transformation
Faire évoluer le système d'une approche déterministe vers des systèmes agentiques pour améliorer la précision du mapping
- Optimisation
Refondre une architecture multi-services existante en un système horizontalement scalable et maintenable
- Transformation
Passer du traitement batch au traitement temps réel, permettant la qualification des secrets en quelques minutes après d
- Croissance
Étendre le pipeline à de nouvelles sources de données publiques (Docker Hub, NPM, PyPI, etc.) au-delà de GitHub
- Optimisation
Construire une architecture de données orientée recherche capable de gérer des centaines de millions de secrets
- Croissance
Scaler le système pour couvrir l'ensemble du dataset, alors que seul un sous-ensemble est actuellement traité