[LLM] 모델이 학습하는 Fine-tuning의 다양한 방법

파인튜닝에는 여러 가지 방법이 있으며, 각 방법은 모델의 특정 부분을 조정하거나 최적화하여 작업에 맞게 성능을 개선하는 데 사용됩니다. 여기서는 대표적인 파인튜닝 방법과 기술들을 설명하겠습니다.

1. 전통적 파인튜닝 (Standard Fine-tuning)

• 개념: 전체 모델의 가중치를 특정 작업에 맞게 재조정하는 가장 기본적인 방법입니다. 보통 프리트레이닝된 모델을 가져와 특정 데이터셋으로 모델 전체를 재학습시킵니다.
• 적용: BERT와 같은 사전 학습된 언어 모델을 특정 분류 작업이나 요약 작업에 맞게 조정하는 경우.
• 장점: 강력한 성능을 얻을 수 있으며, 특정 작업에 맞춰 모델이 완전히 최적화됩니다.
• 단점: 모델 크기가 클 경우, 전통적인 파인튜닝은 많은 메모리와 계산 자원을 소모합니다.

2. 프리징 (Freezing)

• 개념: 모델의 일부 가중치를 고정시키고, 나머지 부분만 학습시키는 방법입니다. 일반적으로 프리트레이닝된 모델의 초기 레이어(저수준 특징을 추출하는 부분)를 고정하고, 고차원 레이어(작업별로 구체적인 특징을 학습하는 부분)만 학습시킵니다.
• 적용: 모델의 크기가 클 때 사용되며, 학습 자원과 시간을 절약할 수 있습니다.
• 장점: 계산 비용 절감, 과적합(overfitting)을 줄이는 효과.
• 단점: 모델이 특정 작업에 완전히 최적화되지 않을 수 있음.

# 파인튜닝 시 일부 레이어를 프리징하는 코드 예시
for param in model.bert.parameters():
    param.requires_grad = False  # BERT 모델의 파라미터 프리징

3. 표현 학습 (Feature-based Fine-tuning)

• 개념: 프리트레이닝된 모델의 출력을 특징으로 사용하여 새로운 레이어를 추가하고, 이 새로운 레이어만 학습하는 방법입니다. 기본적으로 프리트레이닝된 모델은 고정된 특징 추출기로 사용됩니다.
• 적용: 모델의 출력에 추가적인 학습 레이어(예: 분류기)를 추가하여 작업에 맞게 조정하는 경우.
• 장점: 모델 전체를 학습시키지 않기 때문에 효율적이고, 모델이 다른 작업에도 쉽게 적용될 수 있음.
• 단점: 모델이 학습된 작업과 매우 다른 새로운 작업에는 성능이 떨어질 수 있음.

# 프리트레이닝된 모델의 출력을 특징으로 사용하는 방식
model = BertForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)
for param in model.bert.parameters():
    param.requires_grad = False  # BERT의 가중치는 고정하고 분류기만 학습

4. 로라 (LoRA, Low-Rank Adaptation)

• 개념: 모델의 가중치 업데이트를 줄이기 위해, 가중치 행렬을 저차원 공간으로 분해하여 학습하는 방법입니다. 전체 가중치를 학습하는 대신, 저차원 표현을 학습하여 계산 비용과 메모리 사용을 크게 줄입니다.
• 적용: 대규모 언어 모델을 메모리와 자원 효율적으로 파인튜닝할 때 사용됩니다.
• 장점: 메모리 효율성 증가, 계산 비용 감소.
• 단점: 전체 가중치를 학습하지 않기 때문에 성능이 약간 저하될 수 있음.

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(model, lora_config)

# 로라 방식으로 학습 진행
model.train()

5. Adapter Tuning (어댑터 튜닝)

• 개념: 프리트레이닝된 모델에 작은 어댑터 모듈을 추가하고, 이 모듈만 학습시키는 방법입니다. 어댑터는 작은 네트워크로, 기존 모델의 파라미터를 변경하지 않고 추가적인 학습을 가능하게 합니다.
• 적용: 여러 작업에 쉽게 적용할 수 있으며, 메모리 효율이 좋습니다.
• 장점: 여러 작업을 처리하는 데 매우 효율적이며, 하나의 모델에 여러 어댑터를 추가해 다양한 작업에 적응시킬 수 있음.
• 단점: 어댑터 모듈을 학습하는 것이므로 기존 파인튜닝보다 성능이 조금 떨어질 수 있음.

from transformers import AdapterConfig

# 어댑터 구성 및 학습
adapter_config = AdapterConfig.load("pfeiffer")
model.add_adapter("task_adapter", config=adapter_config)
model.train_adapter("task_adapter")

6. P-Tuning v2

• 개념: 프롬프트 기반 파인튜닝 방법으로, 프롬프트와 임베딩을 학습시켜 모델이 특정 작업에 맞는 출력을 하도록 만듭니다. 이 방법은 주로 GPT와 같은 생성형 모델에서 사용됩니다.
• 적용: 학습 효율을 높이고자 프롬프트를 통해 모델을 적응시키는 방식. 대화형 모델이나 자연어 생성 작업에 많이 사용됩니다.
• 장점: 메모리 사용을 크게 줄이고 효율적인 학습이 가능함.
• 단점: 특정 작업에 완전히 최적화되기 어려울 수 있음.

7. 데이터 증강 기반 파인튜닝

• 개념: 데이터 증강 기법을 사용하여 학습 데이터를 늘리고, 이를 통해 모델을 더욱 강건하게 학습시키는 방법입니다. 증강된 데이터를 통해 다양한 입력 상황에 적응하는 모델을 만들 수 있습니다.
• 적용: 데이터가 적은 상황에서 특히 유용하며, 텍스트의 변형, 동의어 치환, 문장 순서 변경 등의 방법이 사용됩니다.
• 장점: 데이터 부족 문제를 완화하고, 모델의 일반화 성능을 향상시킬 수 있음.
• 단점: 데이터 증강 기법의 품질에 따라 성능이 좌우될 수 있음.

---

요약:

• 전통적 파인튜닝: 모델 전체를 조정하는 기본 방법.
• 프리징: 일부 레이어를 고정하여 학습 자원을 절약.
• 표현 학습: 모델의 출력을 특징으로 활용해 새로운 레이어를 학습.
• LoRA: 저차원 공간에서 가중치를 학습해 메모리와 계산 효율을 높임.
• 어댑터 튜닝: 모델에 작은 어댑터 모듈을 추가해 효율적으로 학습.
• P-Tuning v2: 프롬프트 학습으로 생성형 모델을 특정 작업에 맞춤.
• 데이터 증강 기반: 데이터 증강 기법을 통해 성능을 높임.

각 방법은 모델의 크기, 작업의 특성, 사용할 수 있는 리소스에 따라 적합한 방식을 선택해야 합니다.