model parallelism: 파이프라인 병렬화와 텐서 병렬화

파이프라인 병렬화와 텐서 병렬화는 대규모 모델을 여러 GPU에서 효율적으로 학습하기 위한 분산 학습 기법입니다. 두 방식은 데이터의 분산과 처리를 최적화하는 방식이 다릅니다.

1. 파이프라인 병렬화 (Pipeline Parallelism)

• 개념: 모델의 레이어를 여러 GPU에 순서대로 배치하여 파이프라인처럼 처리합니다. 예를 들어, 모델이 여러 레이어로 구성되어 있으면 첫 번째 GPU에 첫 번째 레이어, 두 번째 GPU에 두 번째 레이어를 배치하는 방식입니다.
• 작동 방식: 각 GPU가 하나의 작업을 처리한 후 결과를 다음 GPU로 넘깁니다. 이를 통해 대규모 모델을 GPU의 메모리 한도에 맞춰 효율적으로 학습할 수 있습니다.
• 장점: 각 GPU의 메모리 한도에 맞춰 모델을 나눌 수 있어, 메모리가 적은 환경에서도 큰 모델을 학습할 수 있습니다.
• 단점: 각 GPU가 작업을 완료할 때까지 기다려야 하므로, 파이프라인 단계에서 지연(latency)과 idle time이 발생할 수 있습니다. 이는 배치 크기가 작거나 레이어가 적은 경우 성능 저하로 이어질 수 있습니다.
• 주로 사용되는 경우: 매우 큰 모델을 학습할 때 주로 사용됩니다. 예를 들어, GPT-3와 같은 초대형 모델에서는 전체 모델을 한 번에 메모리에 적재할 수 없기 때문에 파이프라인 병렬화를 사용해 여러 GPU에 걸쳐 분산합니다.

2. 텐서 병렬화 (Tensor Parallelism)

• 개념: 모델 내의 연산을 여러 GPU로 분할하여, 같은 레이어의 연산을 병렬로 처리합니다. 예를 들어, 행렬 곱셈의 연산을 나누어 각 GPU가 일부 계산을 수행하도록 할 수 있습니다.
• 작동 방식: 모델 파라미터(텐서)를 GPU 간에 나누어 병렬로 계산합니다. 예를 들어, 완전 연결층에서의 행렬 연산을 여러 GPU에 분산하여 동시에 연산합니다.
• 장점: 연산을 분산하여 GPU의 처리 능력을 최대로 활용할 수 있습니다. 동시에 계산하므로 지연 시간이 줄어들며, 빠른 학습 속도를 얻을 수 있습니다.
• 단점: GPU 간의 데이터 전송이 빈번해질 수 있으므로, GPU 간 통신 비용이 커지게 됩니다. 특히 GPU 간 통신 속도가 느리면 성능이 저하될 수 있습니다.
• 주로 사용되는 경우: 대규모 행렬 연산이 필요한 모델에서 연산 속도를 높이기 위해 사용됩니다. 예를 들어, 트랜스포머 모델의 어텐션 메커니즘에서 효율적으로 사용됩니다.

요약 비교

특징	파이프라인 병렬화	텐서 병렬화
병렬화 단위	레이어 단위로 GPU에 분배	레이어 내 연산을 여러 GPU에 병렬로 분배
사용 메모리 최적화	모델의 일부만 GPU 메모리에 저장 가능	각 GPU에 연산을 분산하여 병렬 처리
지연 시간	대기 시간이 발생할 수 있음	통신이 많아지며 GPU 간 통신 비용이 증가할 수 있음
주요 사용 예	초대형 모델(파라미터가 수십억 개 이상)	행렬 연산이 큰 트랜스포머의 어텐션 메커니즘

두 방식은 혼합하여 사용할 수도 있습니다. 예를 들어, GPT-3 같은 모델은 파이프라인 병렬화와 텐서 병렬화를 함께 적용해 초대형 모델을 다수의 GPU에 분산시켜 효율적으로 학습합니다.