문과생CS정복기

IA3 (Input-Activated Attention Adaptation)는 대규모 모델의 미세 조정을 더 효율적으로 수행하기 위한 방법 중 하나입니다. 이 방법은 Low-Rank Adaptation (LoRA)와 유사한 접근을 취하지만, LoRA가 모든 가중치를 학습하는 대신, 어텐션 메커니즘에서 가중치 행렬의 일부를 학습하는 방식에 초점을 맞추고 있습니다.IA3의 핵심 개념IA3는 대규모 언어 모델의 전체 가중치를 학습하지 않고, 입력-활성화 어텐션(adaptive attention)이라는 기법을 통해 특정 파라미터만 조정함으로써 모델을 미세 조정합니다. 이 방식은 전체 모델의 파라미터 업데이트를 피하면서도, 모델이 특정 작업에 대해 더 잘 적응할 수 있도록 합니다.구체적으로, IA3는 어텐션 메커..

LoRA(Low-Rank Adaptation)와 프롬프트 튜닝(Prompt Tuning)은 둘 다 대규모 언어 모델을 더 효율적으로 미세 조정하는 기법입니다. 하지만 두 방법은 미세 조정의 대상과 방법이 다릅니다. 아래에서 각각의 차이점을 설명하겠습니다.1. LoRA (Low-Rank Adaptation)핵심 개념: LoRA는 모델 내부의 가중치(Weights)를 조정합니다. 모델의 가중치를 직접 변경하지 않고, 특정 가중치 행렬의 저차원(low-rank) 근사 행렬을 추가해 학습합니다. 이를 통해 전체 모델의 가중치를 모두 학습하는 것이 아니라, 저차원 근사치를 학습하여 메모리 사용을 줄이면서 성능을 최적화합니다.주요 특징:모델의 가중치 업데이트: LoRA는 기존의 가중치 행렬에 대해 두 개의 저차원 ..

파인튜닝에는 여러 가지 방법이 있으며, 각 방법은 모델의 특정 부분을 조정하거나 최적화하여 작업에 맞게 성능을 개선하는 데 사용됩니다. 여기서는 대표적인 파인튜닝 방법과 기술들을 설명하겠습니다.1. 전통적 파인튜닝 (Standard Fine-tuning)개념: 전체 모델의 가중치를 특정 작업에 맞게 재조정하는 가장 기본적인 방법입니다. 보통 프리트레이닝된 모델을 가져와 특정 데이터셋으로 모델 전체를 재학습시킵니다.적용: BERT와 같은 사전 학습된 언어 모델을 특정 분류 작업이나 요약 작업에 맞게 조정하는 경우.장점: 강력한 성능을 얻을 수 있으며, 특정 작업에 맞춰 모델이 완전히 최적화됩니다.단점: 모델 크기가 클 경우, 전통적인 파인튜닝은 많은 메모리와 계산 자원을 소모합니다.2. 프리징 (Freez..

LoRA 외에도 PEFT(Parameterized Efficient Fine-Tuning) 기술로 사용할 수 있는 여러 가지 방법이 있습니다. 각 방법은 LoRA와 마찬가지로 대규모 모델의 효율적인 파인튜닝을 목표로 하며, 메모리와 계산 비용을 줄이면서 성능을 유지하거나 개선할 수 있습니다. 아래에서 다른 주요 PEFT 기술들을 소개합니다.1. Prefix Tuning설명: 입력 시퀀스에 모델 학습 중 추가적인 "프리픽스" 벡터를 삽입하여 모델을 미세 조정하는 방식입니다. 모델의 기존 파라미터는 고정된 상태에서 추가된 프리픽스 벡터만 학습됩니다.장점:모델 파라미터를 수정하지 않고, 효율적으로 미세 조정이 가능합니다.원래 모델의 성능을 유지하면서도 특정 작업에 맞게 빠르게 조정할 수 있습니다.적용 시점: ..

LoRA(Low-Rank Adaptation)와 같은 PEFT(Parameterized Efficient Fine-Tuning) 기술을 적용할 때, 파라미터 설정은 주로 모델의 특성과 작업 목적에 따라 다릅니다. 각각의 파라미터는 LoRA가 어떤 방식으로 모델에 적용될지를 조정하며, 적절하게 설정하면 모델의 성능과 효율성을 최적화할 수 있습니다.아래는 각 파라미터의 의미와 적용 시 고려해야 할 사항입니다.1. r (저랭크 행렬의 차원)설명: r 값은 LoRA에서 학습할 저랭크 행렬의 크기를 결정합니다. 일반적으로 낮은 차원(r)으로 압축된 표현을 학습하면서 메모리와 계산 비용을 절감합니다.적용 기준: 작은 r 값은 메모리 사용량을 줄이지만, 학습 성능에 악영향을 미칠 수 있습니다.큰 r 값은 더 많은 학..

ref: https://ngp9440.tistory.com/144 [논문 리뷰] LoRA: Low-Rank Adaptation of Large Language Models1. IntroductionNLP를 다루는 많은 Application들은 매우 큰 PTLM을 여러 downstream task를 다루기 위해 adapting 방식을 사용했다. adaptation은 일반적으로 pre-trained model의 전체 파라미터를 update하는 fine-tuning을ngp9440.tistory.com 위에서 설명한 내용은 NLP 모델, 특히 매우 큰 사전 훈련된 언어 모델(GPT-3 등)을 다양한 다운스트림 작업(특정 작업에 모델을 적용하는 것)에 효율적으로 적용하기 위한 방법론에 대해 다루고 있습니다. 이를..