[LLM] 모델이 학습하는 방법: fine-tuning/in-context learning/pre-training

세 가지 방법인 파인튜닝(fine-tuning), 인컨텍스트 러닝(in-context learning), 그리고 프리트레이닝(pre-training)의 차이를 한국어로 설명드리겠습니다.1. 프리트레이닝 (Pre-training)정의: 프리트레이닝은 모델이 처음에 일반적인 패턴과 언어 구조, 그리고 다양한 지식을 대규모 데이터셋을 통해 학습하는 단계입니다.목표: 모델이 기본적인 언어 이해 능력과 일반적인 특징을 학습해, 이후에 더 구체적인 작업에 적용할 수 있도록 준비시키는 것입니다.과정: 자가 지도 학습(self-supervised learning) 방식으로, 예를 들어 다음 단어를 예측하거나(BERT의 경우 일부 단어 마스킹 후 예측), GPT처럼 주어진 문맥에서 다음 단어를 생성하는 방식으로 학습됩니..
DeepLearning/NLP 2024. 9. 19. 09:43
1