IA3 (Input-Activated Attention Adaptation)

IA3 (Input-Activated Attention Adaptation)는 대규모 모델의 미세 조정을 더 효율적으로 수행하기 위한 방법 중 하나입니다. 이 방법은 Low-Rank Adaptation (LoRA)와 유사한 접근을 취하지만, LoRA가 모든 가중치를 학습하는 대신, 어텐션 메커니즘에서 가중치 행렬의 일부를 학습하는 방식에 초점을 맞추고 있습니다.IA3의 핵심 개념IA3는 대규모 언어 모델의 전체 가중치를 학습하지 않고, 입력-활성화 어텐션(adaptive attention)이라는 기법을 통해 특정 파라미터만 조정함으로써 모델을 미세 조정합니다. 이 방식은 전체 모델의 파라미터 업데이트를 피하면서도, 모델이 특정 작업에 대해 더 잘 적응할 수 있도록 합니다.구체적으로, IA3는 어텐션 메커..
DeepLearning/NLP 2024. 9. 19. 14:57
1