Observé chez
Data Engineer Foundational Models
Défense
Informatique
Paris
PyTorchRôle
Ingénieur données spécialisé dans la construction d'infrastructures haute performance pour modèles fondamentaux responsable de la gestion de pipelines ETL/ELT massifs traitant des données vidéo non structurées (EO/IR) à l'échelle du téraoctet et du pétaoctet.
Technologies
Entités
Contextes
Compétences
Challenges détectés
6 enjeuxLes principaux enjeux identifiés chez Harmattan AI, avec les technologies et compétences associées.
- 01Optimisation
Construire des pipelines d'ingestion multi-modale haute performance
Technologies clés
Apache SparkRayApache BeamWebDatasetCompétences clés
Conception de pipelines ETL/ELTTraitement de données vidéo non structurées - 02Optimisation
Synchroniser temporellement et spatialement les données EO et IR
Compétences clés
Synchronisation multi-modale (EO/IR) - 03Optimisation
Maintenir une utilisation GPU supérieure à 90% sans goulots d'étranglement I/O
Technologies clés
PyTorchJAXCompétences clés
Optimisation de pipelines GPU - 04Optimisation
Traiter des milliers d'heures de logs vidéo tactique en distribué
Technologies clés
Apache SparkRayApache BeamCompétences clés
Traitement distribué - 05Conformité
Assurer la qualité des données et la reproductibilité des entraînements
Technologies clés
DVCApache IcebergPachydermCompétences clés
Versioning et traçabilité des données - 06Optimisation
Évaluer et implémenter des solutions de stockage avancées
Technologies clés
MinIOS3Compétences clés
Évaluation d'infrastructures de stockage