Observé chez
Data Engineer / Data Scientist
Recherche
Informatique
Paris
AirflowAWS EC2DockerStreamlitPythonNMFLLMsGPTLLaMAHugging FaceOpenAI APIsSQLRSeleniumKafkaSparkCassandra
Rôle
Conception de pipelines data et modélisation avancée sur corpus scientifiques massifs
Technologies
AirflowAWS EC2DockerStreamlitPythonNMFLLMsGPTLLaMAHugging FaceOpenAI APIsSQLRSeleniumKafkaSparkCassandra
Contextes
Recherche scientifique
Compétences
Conception et industrialisation de pipelines de données scalablesIngestion et traitement de volumes massifsOptimisation des performancesImplémentation et benchmarking de modèles avancésClustering et topic modelingContrôles qualité et validation des résultatsDéveloppement d'applications containeriséesArchitecture robuste et sécuriséePrompt engineeringAnalyse de corpus scientifiquesFeature engineeringFine-tuning de modèles ML et NLPDéfinition de métriques d'évaluationAnalyse comparative de performancesOrchestration et monitoring de workflowsDocumentation techniqueRetrieval-Augmented Generation
Challenges détectés
2 enjeux- Optimisation
Optimisation des performances sur volumes massifs
- Intégration
Mise à disposition des données aux métiers



