Infra de calcul

Synthèse

Synthèse

Fréquence des sujets

Sujet France États-Unis Chine Monde Total
MPI 2 2 0 3 7
OpenMP 2 2 0 1 5
CUDA 1 2 0 1 4
Architecture 3 1 1 4 9
Méthodes numériques 5 6 0 4 15
Ordonnanceurs 0 0 0 0 0
Stockage et entrées-sorties 0 0 2 1 3
Réseau 1 1 1 3 6
Cloud et conteneurs 1 1 1 0 3
Systèmes pour l’apprentissage 0 0 0 1 1
Ingénierie de performance 1 1 0 2 4

Programmes par sujet

MPI

  • Université de Lille, Master Mathématiques et applications, parcours Scientific Computing. Tronc.
  • Université Paris-Saclay, Master Calcul haute performance, simulation (CHPS). Tronc.
  • Indian Institute of Science, M.Tech. in Computational and Data Science. Accès matériel.
  • University of Aizu, Master’s Program, Graduate Department of Computer and Information Systems. Électif.
  • The University of Edinburgh, High Performance Computing MSc. Tronc.
  • Stanford University, Master of Science in Computational and Mathematical Engineering. Tronc.
  • University of Chicago, Master of Science in Computer Science, spécialisation High Performance Computing. Tronc.

OpenMP

  • Université de Lille, Master Mathématiques et applications, parcours Scientific Computing. Tronc.
  • Université Paris-Saclay, Master Calcul haute performance, simulation (CHPS). Tronc.
  • University of Aizu, Master’s Program, Graduate Department of Computer and Information Systems. Électif.
  • Stanford University, Master of Science in Computational and Mathematical Engineering. Tronc.
  • University of Chicago, Master of Science in Computer Science, spécialisation High Performance Computing. Tronc.

CUDA

  • Université de Lille, Master Mathématiques et applications, parcours Scientific Computing. Tronc.
  • KTH Royal Institute of Technology, MSc Computer Science, sous-piste High Performance Computing. Tronc.
  • Stanford University, Master of Science in Computational and Mathematical Engineering. Tronc.
  • University of Chicago, Master of Science in Computer Science, spécialisation High Performance Computing. Tronc.

Architecture

  • University of Science and Technology of China, Master académique d’informatique, code 0812. Tronc.
  • Institut Polytechnique de Paris, Master in Computer Science, major Parallel and Distributed Systems. Tronc.
  • Université Paris-Saclay, Master Calcul haute performance, simulation (CHPS). Tronc.
  • Sorbonne Université, Master’s in High Performance Computing. Tronc.
  • Politecnico di Milano, Laurea Magistrale in High Performance Computing Engineering. Tronc.
  • University of Aizu, Master’s Program, Graduate Department of Computer and Information Systems. Électif.
  • EUMaster4HPC, European Master Degree in HPC. Tronc.
  • The University of Edinburgh, High Performance Computing MSc. Tronc.
  • University of Chicago, Master of Science in Computer Science, spécialisation High Performance Computing. Électif.

Méthodes numériques

  • ETH Zurich, Master of Science ETH in Computational Science and Engineering. Tronc.
  • Université Grenoble Alpes, Master of Science in Industrial and Applied Mathematics (MSIAM). Tronc.
  • Université de Lille, Master Mathématiques et applications, parcours Scientific Computing. Tronc.
  • Université Paris-Saclay, Master Calcul haute performance, simulation (CHPS). Tronc.
  • Sorbonne Université, Master’s in High Performance Computing. Tronc.
  • Université de Strasbourg, Master Mathématiques et applications, parcours CSMI. Tronc.
  • Indian Institute of Science, M.Tech. in Computational and Data Science. Tronc.
  • Politecnico di Milano, Laurea Magistrale in High Performance Computing Engineering. Tronc.
  • The University of Edinburgh, High Performance Computing MSc. Électif.
  • Georgia Institute of Technology, Master of Science in Computational Science and Engineering. Tronc.
  • Harvard University, Master of Science in Computational Science and Engineering. Tronc.
  • Massachusetts Institute of Technology, Master of Science in Computational Science and Engineering. Tronc.
  • New York University, M.S. in Scientific Computing. Tronc.
  • Stanford University, Master of Science in Computational and Mathematical Engineering. Tronc.
  • The University of Texas at Austin, Master of Science in Computational Science, Engineering, and Mathematics. Tronc.

Ordonnanceurs

Aucun programme.

Stockage et entrées-sorties

  • Tsinghua University, Master’s in Advanced Computing. Électif.
  • University of Science and Technology of China, Master académique d’informatique, code 0812. Électif.
  • KTH Royal Institute of Technology, MSc Computer Science, sous-piste High Performance Computing. Accès matériel.

Réseau

  • University of Science and Technology of China, Master académique d’informatique, code 0812. Tronc.
  • Technische Universität Dresden, Master of Science in Computer Science, piste Distributed Systems Engineering. Tronc.
  • Université de Strasbourg, Master Mathématiques et applications, parcours CSMI. Tronc.
  • University of Aizu, Master’s Program, Graduate Department of Computer and Information Systems. Électif.
  • KTH Royal Institute of Technology, MSc Computer Science, sous-piste High Performance Computing. Électif.
  • University of Chicago, Master of Science in Computer Science, spécialisation High Performance Computing. Électif.

Cloud et conteneurs

  • University of Science and Technology of China, Master académique d’informatique, code 0812. Électif.
  • Institut Polytechnique de Paris, Master in Computer Science, major Parallel and Distributed Systems. Tronc.
  • University of Chicago, Master of Science in Computer Science, spécialisation High Performance Computing. Électif.

Systèmes pour l’apprentissage

  • KTH Royal Institute of Technology, MSc Computer Science, sous-piste High Performance Computing. Électif.

Ingénierie de performance

  • Université Paris-Saclay, Master Calcul haute performance, simulation (CHPS). Tronc.
  • Politecnico di Milano, Laurea Magistrale in High Performance Computing Engineering. Électif.
  • The University of Edinburgh, High Performance Computing MSc. Électif.
  • Stanford University, Master of Science in Computational and Mathematical Engineering. Tronc.

Rôle

Kim Noël construit déjà des applications de modèles de langage. Il exploite Kubernetes, Prometheus, Grafana et le FinOps, et il fait tourner l’inférence sur GPU.

Le rôle visé ajoute l’entraînement distribué. MPI, OpenMP, CUDA, Slurm, InfiniBand, NCCL, Ray et SkyPilot lui manquent encore.

Le coût et l’observabilité à acquérir prolongent le FinOps et Prometheus vers une flotte d’entraînement, au lieu d’un premier tableau de bord.

Lacunes

MPI

MPI. 7 programmes sur 30 programmes. France 2, États-Unis 2, Chine 0, Monde 3.

Le registre ne compte MPI que lorsque la page le nomme. L’entraînement multi-nœud part de là.

OpenMP

OpenMP. 5 programmes sur 30 programmes. France 2, États-Unis 2, Chine 0, Monde 1.

OpenMP n’est compté que lorsque la page le nomme. Le calcul à mémoire partagée en dépend.

Programmation CUDA

CUDA. 4 programmes sur 30 programmes. France 1, États-Unis 2, Chine 0, Monde 1.

CUDA n’est compté que lorsque la page le nomme. Faire tourner un modèle ne remplace pas ce modèle de programmation.

Slurm

Ordonnanceurs. 0 programmes sur 30 programmes. France 0, États-Unis 0, Chine 0, Monde 0.

Aucun programme du corpus ne nomme un ordonnanceur de cluster.

InfiniBand et RoCE

Réseau. 6 programmes sur 30 programmes. France 1, États-Unis 1, Chine 1, Monde 3.

Les pages ne décrivent pas InfiniBand ni RoCE, le réseau d’une flotte de GPU.

NCCL

Réseau. 6 programmes sur 30 programmes. France 1, États-Unis 1, Chine 1, Monde 3.

Aucune citation ne nomme NCCL, la couche de communication collective entre GPU.

Flottes GPU multi-fournisseurs

CUDA. 4 programmes sur 30 programmes. France 1, États-Unis 2, Chine 0, Monde 1. Cloud et conteneurs. 3 programmes sur 30 programmes. France 1, États-Unis 1, Chine 1, Monde 0.

Les pages décrivent un cluster de campus ou un cours sur GPU. Elles ne décrivent pas une flotte d’entraînement répartie entre plusieurs fournisseurs.

Ray

Systèmes pour l’apprentissage. 1 programme sur 30 programmes. France 0, États-Unis 0, Chine 0, Monde 1.

Aucune citation retenue ne nomme Ray comme environnement d’entraînement distribué.

SkyPilot

Cloud et conteneurs. 3 programmes sur 30 programmes. France 1, États-Unis 1, Chine 1, Monde 0.

Aucune citation retenue ne nomme SkyPilot pour envoyer un job GPU d’un cloud à un autre.

Coût

Aucun sujet du registre n’est rattaché à cette lacune.

Les maquettes parlent de crédits pédagogiques et de stages. Elles ne traitent pas le coût d’une flotte d’entraînement.

Observabilité

Aucun sujet du registre n’est rattaché à cette lacune.

Les pages ne décrivent pas les métriques d’une flotte d’entraînement. Le suivi d’un cours ne couvre pas ce besoin.

Auto-formation

  1. MPI TutorialParallélismes et MFU. cours. https://hpc-tutorials.llnl.gov/mpi/ consulté le 2026-10-24. Lacunes : MPI. Kim n’a pas écrit de programme MPI. Ce tutoriel du Lawrence Livermore National Laboratory est gratuit et part de la première communication entre processus.
  2. OpenMP TutorialParallélismes et MFU. cours. https://hpc-tutorials.llnl.gov/openmp/ consulté le 2026-10-24. Lacunes : OpenMP. Kim n’a pas OpenMP. Le même organisme publie le tutoriel gratuit pour le parallélisme à mémoire partagée, avant les GPU.
  3. CUDA Programming GuideROMEO2025 et CUDA Python. cours. https://docs.nvidia.com/cuda/cuda-programming-guide/index.html consulté le 2026-10-24. Lacunes : Programmation CUDA. Kim fait tourner des modèles sur GPU. Il n’a pas le modèle de programmation CUDA. Le guide NVIDIA est la référence gratuite.
  4. Slurm overviewOrdonnancement Slurm et Kubernetes. cours. https://slurm.schedmd.com/overview.html consulté le 2026-10-24. Lacunes : Slurm. Kim ordonnance des jobs avec Kubernetes. Slurm est l’ordonnanceur des clusters d’entraînement que le rôle attend.
  5. RDMA Aware Networks Programming User ManualRéseau et stockage d'entraînement. cours. https://networking-docs.nvidia.com/rdmaawareprogramming consulté le 2026-10-24. Lacunes : InfiniBand et RoCE. Kim n’a pas InfiniBand. Ce manuel NVIDIA décrit la programmation RDMA, le réseau derrière une flotte de GPU.
  6. NCCL overviewPyTorch distribué et NCCL. cours. https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/overview.html consulté le 2026-10-24. Lacunes : NCCL. Kim n’a pas NCCL. Le guide NVIDIA décrit la communication collective entre GPU, après CUDA et avant un runtime comme Ray.
  7. About the NVIDIA GPU OperatorPlacement multi-fournisseurs. cours. https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/overview.html consulté le 2026-10-24. Lacunes : Flottes GPU multi-fournisseurs. Kim exploite déjà Kubernetes et l’inférence GPU sur une machine. Cette documentation officielle décrit l’installation d’une flotte de GPU sur un cluster, avant de la répartir entre fournisseurs.
  8. Welcome to RayPlacement multi-fournisseurs. cours. https://docs.ray.io/en/latest/index.html consulté le 2026-10-24. Lacunes : Ray. Kim n’a pas Ray. La documentation officielle couvre le runtime distribué qui lui manque pour l’entraînement, à côté de Kubernetes qu’il exploite déjà.
  9. SkyPilot documentationPlacement multi-fournisseurs. cours. https://docs.skypilot.ai/en/latest/ consulté le 2026-10-24. Lacunes : SkyPilot. Kim déploie déjà l’inférence sur plusieurs clouds, sans SkyPilot. La documentation officielle montre comment lancer des jobs GPU d’un fournisseur à l’autre.
  10. OpenCost overviewObservabilité et coût de flotte. cours. https://opencost.io/docs/ consulté le 2026-10-24. Lacunes : Coût. Kim pratique déjà le FinOps et Prometheus. OpenCost prolonge ce suivi au coût d’une flotte Kubernetes, au lieu d’un premier cours de tableau de bord.
  11. DCGM ExporterObservabilité et coût de flotte. cours. https://docs.nvidia.com/datacenter/cloud-native/gpu-telemetry/latest/dcgm-exporter.html consulté le 2026-10-24. Lacunes : Observabilité. Kim suit déjà des services avec Prometheus, Grafana et DCGM. L’export DCGM vers Prometheus prolonge ces outils aux métriques d’une flotte de GPU d’entraînement.