Observé chez
AI Research Scientist Large Language Models & Representation Learning
Intelligence Artificielle
Etudes, Recherche et Développement
Paris
PyTorchTransformersBERTLLaMAGemmaNLLBSlurmH100BF16GitHubPython
PyTorch
GitHub
PythonRôle
Chercheur en IA spécialisé dans les modèles Transformer l' de représentations et la robustesse des LLM
Technologies
PyTorchTransformersBERTLLaMAGemmaNLLBSlurmH100BF16GitHubPython
Contextes
Recherche en intelligence artificielleTraitement du langage naturelCalcul haute performance
Compétences
Conception et entraînement de modèles TransformerPipelines d'entraînement distribuéApprentissage de représentationsDistillation de connaissancesAnalyse d'effets d'échelleRobustesse et généralisationNormalisation lexicaleFine-tuning multilingueÉvaluation de modèlesAnalyse de sensibilité aux promptsStratégies data-centricAugmentation de donnéesAnalyse expérimentaleLittérature scientifiquePublicationsPrésentations techniques
Challenges détectés
3 enjeux- Optimisation
Améliorer la robustesse des modèles face aux données bruitées et hétérogènes
- Optimisation
Comprendre les effets d'échelle et leur impact sur la généralisation
- Conformité
Analyser la fiabilité réelle des systèmes LLM en production