LLM 성능과 PCIe 레인: 주요 고려 사항
LLM을 위해 GPU를 하나 더 설치할 계획이 있으신가요?
Page content
PCIe 레인이 LLM 성능에 미치는 영향? 작업에 따라 다릅니다. 학습 및 멀티 GPU 추론의 경우 성능 저하가 상당합니다.
처리량(throughput), 지연 시간(latency), VRAM, 다양한 런타임과 하드웨어에 따른 벤치마크에 대한 자세한 내용은 LLM 성능: 벤치마크, 병목 현상 및 최적화를 참고하십시오.
단일 GPU의 경우, LLM이 이미 VRAM에 로드되어 있다면 거의 차이가 없습니다.
이 이미지는 Flux - 텍스트 기반 이미지 생성 LLM으로 자동 생성되었습니다.
- 모델 로드: PCIe 레인 수는 시스템 RAM에서 GPU VRAM으로 모델 가중치가 로드되는 속도에 주로 영향을 미칩니다. 더 많은 레인(예: x16)은 더 빠른 전송을 가능하게 하여 초기 로드 시간을 줄입니다. 모델이 GPU 메모리에 로드된 후에는, 모델 또는 데이터를 VRAM으로 자주 스왑해야 하는 경우가 아니면 PCIe 대역폭에 의해 추론 속도가 크게 영향을 받지 않습니다.
- 추론 속도: 일반적인 LLM 추론 작업의 경우, 모델이 로드된 후 PCIe 레인 수는 계산이 GPU 내에서 이루어지므로 최소한의 영향을 미칩니다. 결과물이나 중간 데이터가 CPU로 또는 GPU 간에 자주 전송되어야 할 때만 PCIe 대역폭이 병목 현상이 됩니다.
- 학습 및 멀티 GPU 구성: 학습, 특히 멀티 GPU 환경에서는 PCIe 대역폭이 더 중요해집니다. 더 적은 레인 수(예: x4)는 GPU 간 통신 증가와 데이터 셔플링으로 인해 학습을 크게 늦출 수 있습니다. 최적의 결과를 위해 멀티 GPU 시스템에서는 GPU당 최소 x8 레인을 권장합니다.
성능 비교: PCIe 레인과 GPU 인터커넥트
| 구성 | LLM 추론에 미치는 영향 | LLM 학습에 미치는 영향 | 주요 참고사항 |
|---|---|---|---|
| GPU당 PCIe x16 | 가장 빠른 로드 시간, 대형 모델에 최적 | 멀티 GPU 학습에 가장 적합 | 고급 워크스테이션 및 서버의 표준 설정 |
| GPU당 PCIe x8 | 약간 느린 로드, 무시할 수 있는 추론 지연 | 멀티 GPU에 허용 가능 | 2~4개 GPU 구성에서 특히 주요 성능 손실 |
| GPU당 PCIe x4 | 눈에 띄게 느린 로드, 미미한 추론 영향 | 학습 속도의 주요한 저하 | 학습에는 비추천, 단일 GPU 추론에는 작동 가능 |
| SXM/NVLink (예: H100) | GPU 간 통신 대폭 향상, PCIe 대비 최대 2.6배 빠른 추론 | 대규모 학습에 우수 | 엔터프라이즈 규모 LLM에 이상적, GPU 통합 가능 |
- SXM 대 PCIe: NVIDIA의 SXM 폼 팩터(NVLink 포함)는 PCIe보다 GPU 간 대역폭을 크게 높입니다. 예를 들어, H100 SXM5 GPU는 특히 멀티 GPU 구성에서 H100 PCIe 대비 최대 2.6배 빠른 LLM 추론을 제공합니다. 이는 대형 모델과 분산 워크로드에 중요합니다.
- PCIe 세대: PCIe 3.0에서 4.0 또는 5.0으로 업그레이드하면 더 많은 대역폭을 제공합니다. 그러나 대부분의 소규모 또는 단일 GPU LLM 추론에는 실질적인 이점이 미미합니다. 대형 클러스터나 무거운 멀티 GPU 학습의 경우, 더 높은 PCIe 세대는 병렬화 및 데이터 전송에 도움이 됩니다.
실용적인 권장 사항
- 단일 GPU LLM 추론: 모델 로드 후 PCIe 레인 수는 주요 병목 현상이 아닙니다. x4 레인이 보통 충분하지만, x8 또는 x16은 로드 시간을 줄여줍니다.
- 멀티 GPU 추론/학습: GPU당 x8 또는 x16 레인을 권장합니다. 더 적은 레인 수는 GPU 간 통신의 병목이 되어 학습과 대규모 추론의 속도를 늦출 수 있습니다.
- 엔터프라이즈/연구 규모: 가장 큰 모델과 가장 빠른 성능을 위해서는 SXM/NVLink 기반 시스템(예: DGX, HGX)이 우수하며, GPU 간 더 빠른 데이터 교환과 더 높은 처리량을 가능하게 합니다.
“4x 레인으로 GPU를 운영하는 것은 문제없습니다. 특히 GPU가 2개만 있는 경우更是 그렇습니다. 4개 GPU 구성이라면 GPU당 8x 레인을 선호하겠지만, 4x 레인으로 실행한다고 해도 4개 GPU 전체에 걸쳐 병렬화한다면 성능이 약 5~10% 정도만 감소할 것입니다.”
요약
- PCIe 레인 수는 주로 모델 로드와 GPU 간 통신에 영향을 미치며, 모델이 로드된 후의 추론 속도에는 영향을 미치지 않습니다.
- 단일 GPU에서 LLM 추론을 실행하는 대부분의 사용자에게 레인 수는 큰 우려 사항이 아닙니다.
- 학습 또는 멀티 GPU 워크로드의 경우, 더 많은 레인(x8/x16)과 더 높은 대역폭의 인터커넥트(NVLink/SXM)는 상당한 성능 향상을 제공합니다.
더 많은 벤치마크, 하드웨어 선택, 성능 튜닝에 대해서는 LLM 성능: 벤치마크, 병목 현상 및 최적화 허브를 확인하십시오.
