[LLM] embed_tokens 임베딩 크기 수정하면?

임베딩 크기를 수정하면 모델의 입력 텍스트가 임베딩되는 벡터의 차원이 변경됩니다. 이 변화는 모델의 전체 성능과 학습 과정에 중요한 영향을 미칩니다. 구체적으로, 임베딩 크기를 수정하면 다음과 같은 사항들이 발생할 수 있습니다:

1. 모델의 표현력 변화

• 임베딩 크기는 모델이 각 단어를 벡터로 변환할 때 사용하는 차원의 수를 의미합니다. 크기가 커질수록 각 단어를 더 고차원적으로 표현할 수 있으며, 더 많은 정보나 세부 사항을 학습할 수 있게 됩니다.
  • 임베딩 크기 증가: 더 큰 임베딩 벡터는 각 단어를 더 풍부하게 표현할 수 있어, 특히 복잡한 문맥에서 더 정확한 표현을 배울 수 있습니다. 하지만 차원이 너무 커지면 학습이 더 어려워지거나 과적합(overfitting)이 발생할 가능성이 있습니다.
  • 임베딩 크기 감소: 임베딩 크기를 줄이면 모델의 표현력이 제한될 수 있지만, 학습 속도는 빨라지고 메모리 사용량도 줄어듭니다. 단, 임베딩 크기가 너무 작으면 중요한 정보 손실이 발생할 수 있습니다.

2. 모델의 크기 변화

• 임베딩 크기를 변경하면 모델의 전체 파라미터 수가 변합니다. T5 모델은 여러 부분에서 임베딩 차원을 사용하므로, 이를 수정하면 모델의 크기와 복잡성이 변하게 됩니다.
  • 임베딩 크기 증가: 모델의 크기가 커져서 더 많은 메모리와 계산 자원이 필요하게 됩니다. 예를 들어, 임베딩 크기가 1024에서 2048로 증가하면 모델의 파라미터 수가 크게 증가하고, 훈련 속도와 추론 시간이 느려집니다.
  • 임베딩 크기 감소: 반대로 임베딩 크기를 줄이면 파라미터 수가 줄어들어, 메모리 사용량과 계산 비용이 줄어듭니다. 그러나 과도하게 줄이면 모델의 표현력이 낮아질 수 있습니다.

3. 모델 학습 성능에 미치는 영향

• 작은 임베딩 크기: 만약 임베딩 크기가 너무 작다면, 특히 큰 데이터셋을 학습하거나 복잡한 작업을 수행할 때 중요한 정보를 잃을 수 있습니다. 이로 인해 모델의 정확도가 떨어질 수 있습니다.
• 큰 임베딩 크기: 임베딩 크기를 너무 크게 설정하면 모델이 더 많은 정보를 학습할 수 있지만, 학습이 더 어려워지거나 훈련 데이터에 과적합될 가능성이 커집니다. 특히, 작은 데이터셋에서는 과적합 문제를 일으킬 수 있습니다.

4. 연산 자원 소모 변화

• 임베딩 크기가 커지면 모델이 더 많은 메모리와 계산 자원을 필요로 합니다. 이는 GPU 메모리 사용량을 증가시키고 학습 및 추론 속도를 저하시킬 수 있습니다. 반대로 임베딩 크기를 줄이면 계산 비용이 줄어들지만 성능 손실이 발생할 수 있습니다.

5. 모델의 다른 파라미터와의 관계

임베딩 크기를 변경하면, 모델의 다른 파라미터(예: 어텐션 헤드 수, 피드포워드 레이어 크기 등)도 이에 맞춰 조정해야 할 수도 있습니다. T5 모델은 여러 층에서 임베딩 크기를 사용하기 때문에, 임베딩 크기를 수정할 때는 아래 사항도 고려해야 합니다:

• 어텐션 메커니즘: 어텐션에서 사용하는 q, k, v 행렬도 임베딩 크기와 동일한 차원을 사용합니다. 임베딩 크기를 변경하면 이 행렬들도 같이 변경되어야 합니다.
• 피드포워드 네트워크(FFN) 크기: 피드포워드 네트워크의 입력 크기도 임베딩 크기와 관련이 있으므로, 피드포워드 층의 크기도 수정해야 할 수 있습니다.

6. 실제 예시

예를 들어, 임베딩 크기를 1024에서 512로 줄인다면, 모델의 표현력이 낮아질 수 있지만 메모리 사용량과 연산 시간이 줄어들어 더 빠르게 학습이 가능할 수 있습니다.

from transformers import T5ForConditionalGeneration, T5Config

# 임베딩 크기를 512로 수정
config = T5Config.from_pretrained('t5-small')
config.d_model = 512  # 임베딩 크기를 512로 설정

# 수정된 설정으로 모델 초기화
model = T5ForConditionalGeneration(config)

# 모델의 임베딩 레이어 크기 확인
print(model.shared)

7. 적절한 임베딩 크기 선택 방법

• 작업의 복잡성: 복잡한 자연어 처리 작업일수록 더 큰 임베딩 크기가 유리할 수 있습니다. 하지만 작업이 단순한 경우 큰 임베딩 크기가 반드시 필요한 것은 아닙니다.
• 데이터셋 크기: 데이터셋이 크고 다양한 경우, 큰 임베딩 크기를 사용하는 것이 유리할 수 있습니다. 반대로 데이터셋이 작을 경우, 큰 임베딩 크기는 과적합을 초래할 수 있습니다.
• 실험적 튜닝: 최적의 임베딩 크기를 찾기 위해 여러 크기를 실험해보고 성능을 평가하는 것이 중요합니다.

임베딩 크기를 적절하게 조정하면, 모델의 성능을 크게 향상시킬 수 있으며, 연산 자원에 맞게 조정할 수 있습니다.