model parallelism: 파이프라인 병렬화와 텐서 병렬화

파이프라인 병렬화와 텐서 병렬화는 대규모 모델을 여러 GPU에서 효율적으로 학습하기 위한 분산 학습 기법입니다. 두 방식은 데이터의 분산과 처리를 최적화하는 방식이 다릅니다.1. 파이프라인 병렬화 (Pipeline Parallelism)개념: 모델의 레이어를 여러 GPU에 순서대로 배치하여 파이프라인처럼 처리합니다. 예를 들어, 모델이 여러 레이어로 구성되어 있으면 첫 번째 GPU에 첫 번째 레이어, 두 번째 GPU에 두 번째 레이어를 배치하는 방식입니다.작동 방식: 각 GPU가 하나의 작업을 처리한 후 결과를 다음 GPU로 넘깁니다. 이를 통해 대규모 모델을 GPU의 메모리 한도에 맞춰 효율적으로 학습할 수 있습니다.장점: 각 GPU의 메모리 한도에 맞춰 모델을 나눌 수 있어, 메모리가 적은 환경에서도..
DeepLearning 2024. 11. 1. 14:05
1