Observé chez
Data Engineer systèmes autonomes défense
Défense
Informatique
Paris
Rôle
Ingénieur data responsable de la conception de l’optimisation et de la maintenance d’infrastructures de données massives pour l’entraînement de modèles d’IA appliqués à la défense autonome.
Technologies
Contextes
Compétences
Challenges détectés
9 enjeux- Optimisation
Construire des pipelines d’ingestion multi-modal pour données vidéo EO et IR
Technologies clés
WebDatasetTFRecordsParquetCompétences clés
Conception de pipelines ETL/ELT - Optimisation
Synchroniser et aligner temporellement et spatialement des capteurs EO et IR
Compétences clés
Synchronisation de capteurs - Optimisation
Maximiser l’utilisation GPU sur clusters multi-nœuds pour l’entraînement de modèles
Technologies clés
PyTorchJAXCompétences clés
Optimisation du stockage et des flux GPU - Optimisation
Optimiser le traitement distribué de milliers d’heures de vidéos tactiques
Technologies clés
Apache SparkRayApache BeamCompétences clés
Traitement distribué de donnéesTraitement distribué - Conformité
Garantir la qualité et la traçabilité des données pour des entraînements reproductibles
Technologies clés
DVCApache IcebergPachydermCompétences clés
Contrôle qualité et versioning des données - Optimisation
Évaluer et implémenter des solutions de stockage avancées pour données massives
Technologies clés
MinIOS3Compétences clés
Évaluation d’infrastructures de stockage - Optimisation
Construire des pipelines d’ingestion multi-modales pour données vidéo EO et IR
Technologies clés
WebDatasetTFRecordsParquetCompétences clés
Conception de pipelines ETL/ELT - Optimisation
Maximiser l’utilisation GPU des clusters d’entraînement multi-nœuds
Technologies clés
PyTorchJAXCompétences clés
Optimisation du stockage et des flux de données - Optimisation
Évaluer et implémenter des solutions de stockage avancées pour datasets massifs
Technologies clés
MinIOS3Compétences clés
Évaluation d’infrastructures de stockage

