본문 바로가기 메뉴 바로가기

문과생CS정복기

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

문과생CS정복기

검색하기 폼
  • 분류 전체보기 (309)
    • Upstage AI 3기 (16)
      • 패스트러너_기자단 (8)
      • 프로젝트_개인회고 (4)
    • CS기초 (2)
    • Python (47)
    • DeepLearning (97)
      • CV (3)
      • NLP (43)
    • ML (52)
    • 코딩테스트 (12)
    • 통계 (14)
    • 개인프로젝트 (0)
    • 블로그 (30)
    • 비지니스영어회화 (16)
    • 부동산 (1)
  • 방명록

텐서 병렬화 (1)
model parallelism: 파이프라인 병렬화와 텐서 병렬화

파이프라인 병렬화와 텐서 병렬화는 대규모 모델을 여러 GPU에서 효율적으로 학습하기 위한 분산 학습 기법입니다. 두 방식은 데이터의 분산과 처리를 최적화하는 방식이 다릅니다.1. 파이프라인 병렬화 (Pipeline Parallelism)개념: 모델의 레이어를 여러 GPU에 순서대로 배치하여 파이프라인처럼 처리합니다. 예를 들어, 모델이 여러 레이어로 구성되어 있으면 첫 번째 GPU에 첫 번째 레이어, 두 번째 GPU에 두 번째 레이어를 배치하는 방식입니다.작동 방식: 각 GPU가 하나의 작업을 처리한 후 결과를 다음 GPU로 넘깁니다. 이를 통해 대규모 모델을 GPU의 메모리 한도에 맞춰 효율적으로 학습할 수 있습니다.장점: 각 GPU의 메모리 한도에 맞춰 모델을 나눌 수 있어, 메모리가 적은 환경에서도..

DeepLearning 2024. 11. 1. 14:05
이전 1 다음
이전 다음
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG
  • t5
  • 파이썬
  • LIST
  • 손실함수
  • cnn
  • Transformer
  • PEFT
  • Github
  • recursion #재귀 #자료구조 # 알고리즘
  • 해시
  • Array
  • 리스트
  • git
  • 코딩테스트
  • Hugging Face
  • #패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #무료교육 #국비지원 #국비지원취업 #데이터분석취업 등
  • RAG
  • LLM
  • classification
  • Python
  • English
  • 티스토리챌린지
  • speaking
  • #패스트캠퍼스 #패스트캠퍼스AI부트캠프 #업스테이지패스트캠퍼스 #UpstageAILab#국비지원 #패스트캠퍼스업스테이지에이아이랩#패스트캠퍼스업스테이지부트캠프
  • nlp
  • clustering
  • #패스트캠퍼스 #패스트캠퍼스ai부트캠프 #업스테이지패스트캠퍼스 #upstageailab#국비지원 #패스트캠퍼스업스테이지에이아이랩#패스트캠퍼스업스테이지부트캠프
  • Lora
  • 오블완
  • Numpy
more
«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
글 보관함

Blog is powered by Tistory / Designed by Tistory

티스토리툴바