Observé chez
Data Engineer Foundational
Défense
Informatique
Paris
PyTorchRôle
Ingénieur données spécialisé dans la construction d'infrastructures de données haute performance pour modèles fondationnels gérant des pipelines de traitement de vidéos EO/IR à l'échelle du téraoctet et du pétaoctet.
Technologies
Entités
Contextes
Compétences
Challenges détectés
6 enjeuxLes principaux enjeux identifiés chez Harmattan AI, avec les technologies et compétences associées.
- 01Optimisation
Construire des pipelines d'ingestion multi-modales pour vidéos EO/IR
Technologies clés
WebDatasetTFRecordsParquetApache SparkCompétences clés
Conception de pipelines ETL/ELTTraitement de données non structurées - 02Optimisation
Synchroniser et aligner temporellement et spatialement les données EO et IR
Compétences clés
Synchronisation sensorielle - 03Optimisation
Maintenir une utilisation GPU supérieure à 90% sans goulots d'étranglement I/O
Technologies clés
PyTorchJAXCompétences clés
Optimisation de performance GPUArchitecture de pipelines de chargement de données - 04Optimisation
Traiter des milliers d'heures de journaux vidéo tactiques en environnement distribué
Technologies clés
Apache SparkRayApache BeamCompétences clés
Gestion de données distribuées - 05Conformité
Assurer la qualité des données et la reproductibilité des entraînements
Technologies clés
DVCApache IcebergPachydermCompétences clés
Contrôle qualité des donnéesVersioning et traçabilité des données - 06Optimisation
Évaluer et implémenter des solutions de stockage avancées pour optimiser coût et latence
Technologies clés
MinIOS3Compétences clés
Évaluation d'infrastructures de stockage