문과생CS정복기

BERT, BART, T5와 같은 모델에서 LLM(대형 언어 모델)로 넘어오면서 모델이 더 다양한 NLP 작업을 하나로 통합할 수 있게 된 데는 몇 가지 주요 변화와 개선점이 있습니다. 이 과정에서 모델의 훈련 방식, 크기, 일반화 능력, 프롬프트 기반 학습 등이 발전하면서 여러 NLP 작업을 통합하여 처리할 수 있게 되었습니다.1. 모델 크기의 증가BERT, BART, T5와 같은 초기 모델은 대규모로 훈련된 언어 모델이었지만, GPT-3, GPT-4와 같은 LLM은 훨씬 더 많은 파라미터를 가지고 있습니다.BERT는 수억 개의 파라미터를 가졌지만, GPT-3는 1750억 개의 파라미터를 가지고 있습니다.모델 크기의 증가는 모델이 훨씬 더 방대한 양의 데이터를 학습하고, 더 복잡하고 다양한 언어 패턴을..

https://medium.com/@tom_21755/understanding-causal-llms-masked-llm-s-and-seq2seq-a-guide-to-language-model-training-d4457bbd07fa Understanding Causal LLM’s, Masked LLM’s, and Seq2Seq: A Guide to Language Model Training…In the world of natural language processing (NLP), choosing the right training approach is crucial for the success of your language model…medium.com Causal Language Modeling (CLM)..