epoch 에포크?
Epoch을 3으로 설정하고 1 epoch만 훈련한 것과, Epoch을 1로 설정하고 3번 훈련한 것은 이론적으로는 동일한 데이터셋을 3번 반복 학습한 것이므로 같은 학습 과정처럼 보일 수 있습니다. 그러나 실제로는 몇 가지 차이가 있을 수 있습니다:1. 학습률 스케줄링학습률 변화: 많은 학습 스케줄링 기법에서 학습률은 epoch마다 감소하거나 변경됩니다. Epoch을 3으로 설정하고 1 epoch만 학습한 후 중단하면 학습률은 계속 초기 값을 유지하지만, Epoch을 1로 설정하고 3번 반복 학습하면 학습률이 각 epoch마다 조정될 수 있습니다. 이로 인해 모델이 학습하는 방식에 차이가 생길 수 있습니다.2. 체크포인트 저장체크포인트 저장 및 모델 복원: Epoch을 1로 설정하고 3번 훈련하는 동안..
DeepLearning
2024. 9. 2. 12:17
250x250
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Lora
- LIST
- English
- LLM
- Github
- Array
- classification
- RAG
- t5
- 해시
- 파이썬
- 오블완
- nlp
- speaking
- Hugging Face
- 코딩테스트
- #패스트캠퍼스 #패스트캠퍼스ai부트캠프 #업스테이지패스트캠퍼스 #upstageailab#국비지원 #패스트캠퍼스업스테이지에이아이랩#패스트캠퍼스업스테이지부트캠프
- 손실함수
- PEFT
- clustering
- Numpy
- 티스토리챌린지
- #패스트캠퍼스 #패스트캠퍼스AI부트캠프 #업스테이지패스트캠퍼스 #UpstageAILab#국비지원 #패스트캠퍼스업스테이지에이아이랩#패스트캠퍼스업스테이지부트캠프
- Transformer
- Python
- cnn
- recursion #재귀 #자료구조 # 알고리즘
- git
- #패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #무료교육 #국비지원 #국비지원취업 #데이터분석취업 등
- 리스트
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
글 보관함