Architecte Systèmes IA Inference Cloud

Technologies de l'information

Informatique

PyTorchJAXPythonRustGoKubernetesDockerAWSGCPTensorRT-LLMvLLMSGLangTGINvidia Triton ServerGPUTPU

Rôle

Responsable de l'architecture et de l'optimisation des systèmes d'inférence IA à grande échelle à l'intersection de la recherche et de la production avec un focus sur la performance la sécurité et la confidentialité dans le cloud privé Apple.

Technologies

PyTorchJAXPythonRustGoKubernetesDockerAWSGCPTensorRT-LLMvLLMSGLangTGINvidia Triton ServerGPUTPU

Entités

Cloud OSAI InferenceFoundation Model ResearchPrivate Cloud ComputePlatformSecurity

Contextes

Cloud privéIASystèmes distribués

Compétences

Optimisation d'inférenceDéploiement cloudArchitecture systèmesMentoratProfiling de performanceCodesign matériel/logicielGestion de projets complexesConnaissance des architectures deep learning

Challenges détectés

3 enjeux

Les principaux enjeux identifiés chez Apple, avec les technologies et compétences associées.

01Optimisation
Optimiser l'inférence pour les dernières architectures de modèles IA à l'échelle planétaire
Technologies clés
PyTorchJAXTensorRT-LLMvLLM
Compétences clés
Optimisation d'inférenceProfiling de performance
02Conformité
Garantir la sécurité et la confidentialité des systèmes d'inférence IA dans le cloud privé Apple
Compétences clés
Architecture systèmesCodesign matériel/logiciel
03Croissance
Déployer et opérer des services d'inférence haute performance à grande échelle distribuée
Technologies clés
KubernetesDockerAWSGCP
Compétences clés
Déploiement cloudGestion de projets complexes