Performances des LLM et voies PCIe : points clés à considérer
Envisagez-vous d’installer un second GPU pour les LLM ?
Comment les voies PCIe affectent les performances des LLM? Cela dépend de la tâche. Pour l’entraînement et l’inférence multi-GPU, la baisse de performance est significative.
Pour en savoir plus sur le débit, la latence, la VRAM et les mesures de référence (benchmarks) sur différents environnements d’exécution et matériels, consultez Performances des LLM : Benchmarks, Goulots d’étranglement & Optimisation.
Pour une configuration mono-GPU, lorsque le LLM est déjà chargé en VRAM, il n’y a pratiquement aucune différence.
Cette image est générée automatiquement avec Flux - LLM de texte à image .
- Chargement du modèle : Le nombre de voies PCIe affecte principalement la vitesse à laquelle les poids du modèle sont chargés depuis la RAM système vers la VRAM du GPU. Plus il y a de voies (par exemple, x16), plus les transferts sont rapides, ce qui réduit les temps de chargement initiaux. Une fois le modèle chargé en mémoire GPU, la vitesse d’inférence est largement indépendante de la bande passante PCIe, sauf si le modèle ou les données doivent être constamment échangés avec la VRAM.
- Vitesse d’inférence : Pour les tâches d’inférence LLM typiques, le nombre de voies PCIe a un effet minime après le chargement du modèle, car le calcul se produit à l’intérieur du GPU. La bande passante PCIe ne devient un goulot d’étranglement que lorsque les résultats ou les données intermédiaires doivent être fréquemment transférés vers le CPU ou entre plusieurs GPU.
- Entraînement et configurations multi-GPU : Pour l’entraînement, en particulier avec plusieurs GPU, la bande passante PCIe devient plus critique. Un faible nombre de voies (par exemple, x4) peut considérablement ralentir l’entraînement en raison de la communication accrue entre GPU et du réarrangement des données. Pour de meilleurs résultats, au moins 8 voies (x8) par GPU sont recommandées dans les systèmes multi-GPU.
Comparaison des performances : voies PCIe et interconnexions GPU
| Configuration | Impact sur l’inférence LLM | Impact sur l’entraînement LLM | Remarques clés |
|---|---|---|---|
| PCIe x16 par GPU | Temps de chargement les plus rapides, idéal pour les grands modèles | Idéal pour l’entraînement multi-GPU | Standard pour les stations de travail haut de gamme et les serveurs |
| PCIe x8 par GPU | Chargement légèrement plus lent, perte d’inférence négligeable | Acceptable pour le multi-GPU | Perte de performance mineure, surtout dans les configurations 2-4 GPU |
| PCIe x4 par GPU | Chargement nettement plus lent, impact mineur sur l’inférence | Ralentissement significatif de l’entraînement | Non recommandé pour l’entraînement, mais fonctionne pour l’inférence mono-GPU |
| SXM/NVLink (ex. : H100) | Communications inter-GPU beaucoup plus rapides, inférence jusqu’à 2,6 fois plus rapide qu’en PCIe | Supérieur pour l’entraînement à grande échelle | Idéal pour les LLM à l’échelle de l’entreprise, permet l’unification des GPU |
- SXM vs PCIe : Le format SXM de NVIDIA (avec NVLink) offre une bande passante inter-GPU nettement supérieure par rapport au PCIe. Par exemple, les GPU H100 SXM5 offrent une inférence LLM jusqu’à 2,6 fois plus rapide que les H100 PCIe, en particulier dans les configurations multi-GPU. Cela est crucial pour les grands modèles et les charges de travail distribuées.
- Génération PCIe : Passer du PCIe 3.0 à la 4.0 ou 5.0 augmente la bande passante, mais pour la plupart des inférences LLM à petite échelle ou mono-GPU, le bénéfice pratique est minime. Pour les grands clusters ou l’entraînement multi-GPU intensif, les générations PCIe supérieures aident au parallélisme et au transfert de données.
Recommandations pratiques
- Inférence LLM mono-GPU : Le nombre de voies PCIe n’est pas un goulot d’étranglement majeur après le chargement du modèle. 4 voies (x4) sont généralement suffisantes, bien que 8 (x8) ou 16 (x16) réduiront les temps de chargement.
- Inférence/Entraînement multi-GPU : Préférez 8 (x8) ou 16 (x16) voies par GPU. Un faible nombre de voies peut créer un goulot d’étranglement pour la communication inter-GPU, ralentissant à la fois l’entraînement et l’inférence à grande échelle.
- Échelle Entreprise/Recherche : Pour les plus grands modèles et les performances les plus rapides, les systèmes basés sur SXM/NVLink (par exemple, DGX, HGX) sont supérieurs, permettant un échange de données beaucoup plus rapide entre les GPU et un débit plus élevé.
“Faire fonctionner des GPU sur 4x voies est correct, surtout si vous n’avez que 2 GPU. Pour une configuration à 4 GPU, je préfèrerais 8x voies par GPU, mais les faire tourner à 4x voies ne réduira probablement la performance que d’environ 5-10 % si vous parallélisez sur les 4 GPU.”
Résumé
- Le nombre de voies PCIe affecte principalement le chargement du modèle et la communication inter-GPU, et non la vitesse d’inférence après le chargement du modèle.
- Pour la plupart des utilisateurs exécutant l’inférence de LLM sur un seul GPU, le nombre de voies n’est pas une préoccupation majeure.
- Pour l’entraînement ou les charges de travail multi-GPU, davantage de voies (x8/x16) et des interconnexions à plus large bande (NVLink/SXM) offrent des gains de performance substantiels.
Pour plus de benchmarks, de choix matériels et d’ajustements des performances, consultez notre hub Performances des LLM : Benchmarks, Goulots d’étranglement & Optimisation.
