[LLM] LM에서 LLM으로 발전하는 과정에서의 주요 변화

BERT, BART, T5와 같은 모델에서 LLM(대형 언어 모델)로 넘어오면서 모델이 더 다양한 NLP 작업을 하나로 통합할 수 있게 된 데는 몇 가지 주요 변화와 개선점이 있습니다. 이 과정에서 모델의 훈련 방식, 크기, 일반화 능력, 프롬프트 기반 학습 등이 발전하면서 여러 NLP 작업을 통합하여 처리할 수 있게 되었습니다.1. 모델 크기의 증가BERT, BART, T5와 같은 초기 모델은 대규모로 훈련된 언어 모델이었지만, GPT-3, GPT-4와 같은 LLM은 훨씬 더 많은 파라미터를 가지고 있습니다.BERT는 수억 개의 파라미터를 가졌지만, GPT-3는 1750억 개의 파라미터를 가지고 있습니다.모델 크기의 증가는 모델이 훨씬 더 방대한 양의 데이터를 학습하고, 더 복잡하고 다양한 언어 패턴을..
DeepLearning/NLP 2024. 9. 19. 12:26
1