Ingénieur Inference LLM Senior Santé

Santé

Informatique

Paris, Hybride

PythonTerraformRay ServeAnyscaleKubernetesvLLMTriton Inference ServerTensorRT-LLMSGLangTGIMLflowLiteLLMBraintrustDockerHelmKustomizeDatadogGCPAWSAzureBigQueryGCSAWS S3C++RustGo

Rôle

Ingénieur senior responsable de la plateforme de déploiement et d’optimisation des modèles LLM auto hébergés pour les produits IA de Doctolib garantissant performance sécurité et conformité des traitements de données sensibles de santé.

Technologies

PythonTerraformRay ServeAnyscaleKubernetesvLLMTriton Inference ServerTensorRT-LLMSGLangTGIMLflowLiteLLMBraintrustDockerHelmKustomizeDatadogGCPAWSAzureBigQueryGCSAWS S3C++RustGo

Entités

ML Platform (TIGER)AI & Machine LearningAgents PlatformSecurityPrivacy

Contextes

Santé

Compétences

Déploiement de modèles LLMOptimisation de l’inférenceGestion de GPUAutomatisation du déploiementObservabilitéGestion d’incidentsCollaboration inter-équipesSécurité et conformité des donnéesBenchmarking de performanceGestion de la fiabilité en productionAnglais courant

Challenges détectés

4 enjeux

Transformation
Déployer et opérer une plateforme LLM auto-hébergée pour des produits IA santé
Technologies clés
Ray ServeAnyscaleKubernetesvLLM
Compétences clés
Déploiement de modèles LLMGestion de GPUAutomatisation du déploiement
Optimisation
Optimiser la performance et l’efficacité de l’inférence sur GPU
Technologies clés
vLLMTriton Inference ServerTensorRT-LLM
Compétences clés
Optimisation de l’inférenceBenchmarking de performance
Conformité
Garantir la sécurité, la conformité et la confidentialité des données de santé
Compétences clés
Sécurité et conformité des données
Optimisation
Assurer la fiabilité et la résilience de la plateforme en production
Technologies clés
Datadog
Compétences clés
Gestion d’incidentsObservabilité