[LLM] 모델의 핵심요소, 가중치weight

가중치(weight)는 모델마다 다르며, 그것이 바로 모델의 핵심 요소입니다. Transformer 모델을 포함한 모든 신경망 모델의 가중치는 학습 과정에서 최적화되는 파라미터들이며, 가중치가 어떻게 학습되는지에 따라 모델의 성능과 예측이 결정됩니다.1. 모델의 가중치는 입력 데이터를 처리하고, 최종 출력(예측)을 만들어내는 데 중요한 역할을 합니다. 가중치가 학습되면서 모델은 점차 데이터를 더 잘 이해하고, 특정 작업(번역, 요약, 분류 등)을 잘 수행할 수 있도록 최적화됩니다.2. Transformer 모델에서는 가중치가 여러 곳에서 학습됩니다. 특히, Self-Attention 메커니즘과 Feed-Forward 네트워크의 가중치가 중요한 역할을 합니다.a. Self-Attention에서 각 단어의 ..
DeepLearning/NLP 2024. 9. 16. 08:06
1