ropose des fonctionnalités telles que la modélisation du lineage, la définition de contrôles de qualité, l'analyse automatisée des causes racines et l'optimisation des requêtes d'ingestion pour réduire les coûts. L'architecture repose sur des applications Java modernes avec Spring Boot 3, une infrastructure Kubernetes sur AWS (EKS), MySQL (AWS RDS) et Temporal pour l'orchestration des jobs. La plateforme intègre également des outils de monitoring et CI/CD comme Gitlab CI, Prometheus, Grafana et Sentry.

Modélisation avancée du lineage de données à partir de logs SQL, APIs de lineage et modèles dbt
Optimisation des requêtes d'ingestion pour limiter les coûts clients
Collecte et exploitation de l'historique des requêtes pour l'analyse automatisée des anomalies
Intégration continue de nouveaux types de sources et d'intégrations

1f:T44d,

La plateforme de monitoring de la qualité des données de Sifflet permet de concevoir et d’implémenter des contrôles de qualité automatisés, allant de la détection de valeurs nulles à des modèles avancés de prévision sur séries temporelles pour valider la distribution des données. Elle propose des fonctionnalités telles que la suggestion automatique de contrôles, l’analyse statistique des causes racines des incidents, la gestion des alertes et le profilage automatisé des jeux de données. L’architecture repose sur un moteur de monitoring développé en Python, une API web en Java (Spring Boot), et une infrastructure cloud basée sur Kubernetes (AWS EKS), MySQL (AWS RDS), et Temporal pour l’orchestration des tâches. Des outils de supervision et CI/CD comme Gitlab CI, Prometheus, Loki, Grafana et Sentry complètent l’environnement technique. La plateforme vise à offrir une surveillance efficace et évolutive pour des ensembles de données volumineux, tout en réduisant le bruit des alertes et en facilitant l’intégration de métriques personnalisées.

Sifflet

Sifflet

Analyse en cours pour cette entreprise