Observé chez
Chercheur modèles multimodaux et infrastructure d'entraînement
Intelligence Artificielle
Informatique
Paris
PyTorchFSDPDeepSpeedMegatron
Rôle
Chercheur modèles multimodaux optimisation entraînement distribué et pipelines données à grande échelle
Technologies
PyTorchFSDPDeepSpeedMegatron
Entités
Model Research Team
Contextes
Intelligence ArtificielleRecherche
Compétences
Entraînement distribué de modèles multimodauxOptimisation systèmes d'entraînement à grande échelleFine-tuning avancé et alignement (SFT, distillation, RL)Pipelines données et évaluation multimodalesOptimisation performance et mémoire
Challenges détectés
2 enjeux- Optimisation
Optimiser l'entraînement distribué de modèles multimodaux à grande échelle
- Optimisation
Stabilité et convergence de l'entraînement à grande échelle



