Observé chez
Data Engineer Infrastructure ML
Défense
Informatique
Paris
Apache SparkRayApache BeamPyTorchJAXDVCApache IcebergPachydermMinIOS3WebDatasetTFRecordsParquet
Rôle
Ingénieur données pour modèles fondationnels gestion de pipelines vidéo multi modales à l'échelle pétaoctets
Technologies
Apache SparkRayApache BeamPyTorchJAXDVCApache IcebergPachydermMinIOS3WebDatasetTFRecordsParquet
Entités
Foundational Team
Contextes
DéfenseSystèmes autonomes
Compétences
Pipelines ETL/ELTSynchronisation capteursOptimisation GPU multi-nœudTraitement données distribuéesVersioning donnéesQualité donnéesÉvaluation infrastructure stockage
Challenges détectés
4 enjeux- Optimisation
Optimiser les pipelines de chargement données pour maintenir >90% d'utilisation GPU
- Optimisation
Gérer et traiter des téraoctets à pétaoctets de données vidéo brutes non structurées (EO/IR)
- Optimisation
Implémenter la synchronisation temporelle et spatiale de capteurs multi-modaux
- Conformité
Assurer la reproductibilité 100% des entraînements via versioning et traçabilité



