[논문 겉핥기 리뷰] LoRA: Low-Rank Adaptation of Large Language Model

ref: https://ngp9440.tistory.com/144 [논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models1. IntroductionNLP를 다루는 많은 Application들은 매우 큰 PTLM을 여러 downstream task를 다루기 위해 adapting 방식을 사용했다. adaptation은 일반적으로 pre-trained model의 전체 파라미터를 update하는 fine-tuning을ngp9440.tistory.com 위에서 설명한 내용은 NLP 모델, 특히 매우 큰 사전 훈련된 언어 모델(GPT-3 등)을 다양한 다운스트림 작업(특정 작업에 모델을 적용하는 것)에 효율적으로 적용하기 위한 방법론에 대해 다루고 있습니다. 이를..
DeepLearning/NLP 2024. 8. 31. 01:46
1