Plateforme d'évaluation et d'annotation pour l'IA générative

Le projet vise à concevoir, développer et faire évoluer des systèmes distribués critiques pour la plateforme Datadog, notamment dans les domaines de la visualisation de données, du profiling d'exécution virtuel et du streaming à l'échelle planétaire. Les objectifs incluent la création de nouveaux moteurs de stockage de données capables de traiter des centaines de millions d'enregistrements par seconde, la construction de nouveaux produits (comme le profiling ou les tests synthétiques), ainsi que la refonte de services essentiels pour supporter une montée en charge de plusieurs ordres de grandeur. L'accent est mis sur l'innovation technique, la performance à grande échelle, l'utilisation d'outils d'IA pour améliorer les pratiques de développement logiciel, et l'amélioration continue des standards d'ingénierie logicielle et systèmes à l'échelle de l'entreprise.

Le projet vise à concevoir et développer la prochaine génération de plateforme d'infrastructure IA pour Datadog, couvrant l'ensemble de la stack IA, de l'entraînement distribué des modèles à l'intégration de fonctionnalités IA dans les produits Datadog. La plateforme inclut :Des outils d'expérimentation, d'entraînement, de déploiement et de monitoring à grande échelle pour les modèles d'IA.Des chaînes d'outils pour développeurs permettant la création rapide d'agents autonomes et d'applications GenAI.Une infrastructure de service à faible latence pour intégrer des fonctionnalités IA dans tous les produits Datadog.Le projet s'appuie sur des pratiques avancées de MLOps, favorise l'expérimentation rapide et la mise en production d'algorithmes, et contribue à la communauté MLOps grâce à l'expertise de Datadog en observabilité.

Le projet consiste à concevoir et développer des fonctionnalités pilotées par des algorithmes au sein de l'application Datadog, avec un accent particulier sur l'analyse de données en streaming, telles que la détection d'anomalies, l'identification d'erreurs et l'analyse de déploiements défectueux. Les travaux incluent la recherche et le benchmarking d'algorithmes pertinents, la mise en œuvre de modèles de machine learning pour créer de nouvelles fonctionnalités scalables, ainsi que le déploiement et la supervision de ces fonctionnalités en production. Le projet implique également l'exploration et l'analyse de grands volumes de données transitant par les systèmes Datadog, ainsi que la maintenance des modèles et des infrastructures associées.