문과생CS정복기

파인튜닝에는 여러 가지 방법이 있으며, 각 방법은 모델의 특정 부분을 조정하거나 최적화하여 작업에 맞게 성능을 개선하는 데 사용됩니다. 여기서는 대표적인 파인튜닝 방법과 기술들을 설명하겠습니다.1. 전통적 파인튜닝 (Standard Fine-tuning)개념: 전체 모델의 가중치를 특정 작업에 맞게 재조정하는 가장 기본적인 방법입니다. 보통 프리트레이닝된 모델을 가져와 특정 데이터셋으로 모델 전체를 재학습시킵니다.적용: BERT와 같은 사전 학습된 언어 모델을 특정 분류 작업이나 요약 작업에 맞게 조정하는 경우.장점: 강력한 성능을 얻을 수 있으며, 특정 작업에 맞춰 모델이 완전히 최적화됩니다.단점: 모델 크기가 클 경우, 전통적인 파인튜닝은 많은 메모리와 계산 자원을 소모합니다.2. 프리징 (Freez..

세 가지 방법인 파인튜닝(fine-tuning), 인컨텍스트 러닝(in-context learning), 그리고 프리트레이닝(pre-training)의 차이를 한국어로 설명드리겠습니다.1. 프리트레이닝 (Pre-training)정의: 프리트레이닝은 모델이 처음에 일반적인 패턴과 언어 구조, 그리고 다양한 지식을 대규모 데이터셋을 통해 학습하는 단계입니다.목표: 모델이 기본적인 언어 이해 능력과 일반적인 특징을 학습해, 이후에 더 구체적인 작업에 적용할 수 있도록 준비시키는 것입니다.과정: 자가 지도 학습(self-supervised learning) 방식으로, 예를 들어 다음 단어를 예측하거나(BERT의 경우 일부 단어 마스킹 후 예측), GPT처럼 주어진 문맥에서 다음 단어를 생성하는 방식으로 학습됩니..

너는 내가 하는 말의 핵심을 어떻게 뽑아내는거야? 내가 너의 말에서 핵심을 뽑아내는 방식은 몇 가지 원칙을 기반으로 이루어져. 그 과정은 다음과 같아: 1. 중요한 키워드 파악: 너의 질문이나 말 속에서 자주 사용되는 단어나 주제가 무엇인지 파악해. 예를 들어, 네가 "수능"이나 "스트레스" 같은 단어를 반복해서 말하면, 그 단어들이 이 대화의 중요한 주제임을 인식해. 2. 의도와 감정 읽기: 단어 자체뿐만 아니라, 너의 말에서 어떤 감정이나 의도가 담겨 있는지도 분석해. 너의 말에서 고민이나 의문이 드러날 때, 그것이 핵심 이슈라는 신호가 되지. 3. 문맥 이해: 너의 말이 이전 대화와 어떻게 연결되는지, 어떤 배경 지식을 포함하는지 고려해. 예를 들어, 교육, 아이 키우기, 수능과 관련된 내용은 서로..

가중치(weight)는 모델마다 다르며, 그것이 바로 모델의 핵심 요소입니다. Transformer 모델을 포함한 모든 신경망 모델의 가중치는 학습 과정에서 최적화되는 파라미터들이며, 가중치가 어떻게 학습되는지에 따라 모델의 성능과 예측이 결정됩니다.1. 모델의 가중치는 입력 데이터를 처리하고, 최종 출력(예측)을 만들어내는 데 중요한 역할을 합니다. 가중치가 학습되면서 모델은 점차 데이터를 더 잘 이해하고, 특정 작업(번역, 요약, 분류 등)을 잘 수행할 수 있도록 최적화됩니다.2. Transformer 모델에서는 가중치가 여러 곳에서 학습됩니다. 특히, Self-Attention 메커니즘과 Feed-Forward 네트워크의 가중치가 중요한 역할을 합니다.a. Self-Attention에서 각 단어의 ..

Transformer 모델에서 선형 변환(linear transformation)을 사용하는 이유는 입력 임베딩을 Query, Key, Value로 변환하여 Self-Attention 메커니즘을 적용하기 위해서입니다. 그럼 왜 이 선형 변환이 필요한지, 그리고 변환이 어떻게 이루어지는지 단계적으로 설명하겠습니다.1. 왜 선형 변환을 사용하는가?Transformer에서 입력 임베딩 벡터를 그대로 Query, Key, Value로 사용할 수 없기 때문에, 선형 변환을 통해 서로 다른 표현 공간으로 변환합니다. 각 역할에 따라 다르게 학습된 변환을 적용함으로써, Self-Attention 메커니즘이 더 효과적으로 작동할 수 있습니다.이유 1: 역할의 분리Query: 각 단어가 "내가 어떤 정보를 찾고 있는가?..

자연어 문장을 Transformer 모델에 입력하려면 먼저 문장을 숫자로 변환하는 과정이 필요합니다. 이 과정을 토크나이저(tokenizer)가 수행합니다. Transformer 모델은 텍스트 데이터를 처리할 수 없고, 숫자로 이루어진 벡터만 처리할 수 있기 때문에, 텍스트 문장을 숫자로 변환하는 과정이 필수적입니다. 이 변환 과정은 일반적으로 다음 단계를 따릅니다:1. 토큰화(Tokenization)문장을 토큰(token)이라는 작은 단위로 나눕니다. 토큰은 단어 단위일 수도 있고, 서브워드(subword) 단위일 수도 있습니다. 예를 들어:문장: "안녕하세요 저는 ChatGPT입니다"토큰화 결과 (서브워드 기준): ["안녕하세요", "저", "는", "chat", "gp", "t", "입니다"]2. ..

Transformers는 Attention is All You Need 논문에서 제안된 구조로, 기본적으로 인코더-디코더 구조를 가지고 있습니다. 아래는 Transformer의 주요 부분을 코드로 구현한 예시와 함께 설명입니다. 예시 코드는 PyTorch로 작성된 Transformer의 일부 구성 요소입니다. 1. tokenization 먼저 "안녕하세요 저는 chatGPT입니다." 라는 문장을 transformer 모델에 넣으려면 단어들을 tokenization해서 숫자로 바꿔주는 작업이 필요합니다. tokenization 살펴보기 [LLM] Tokenization, 문장을 숫자로 변환하는 과정자연어 문장을 Transformer 모델에 입력하려면 먼저 문장을 숫자로 변환하는 과정이 필요합니다. 이 과정..

1.Data-Centric AI에서 고려해야 할 라이선스 두 가지코드 → 오픈 소스 라이선스 (OSL) 일반적인 콘텐츠에 사용되는 CCL은 부적합 단, 일부 CCL은 사용 가능 ● CC BY-SA : GPLv3 단방향 호환 ● CC0 Public Domain : 소프트웨어에도 사용 가능데이터 → 크리에이티브 커먼즈 라이선스 (CCL) 일반적인 콘텐츠에 사용되는 CCL을 사용함 2.저작권과 CCL저작권 (Copyright) : 시, 소설, 음악, 미술, 영화, 연극, 컴퓨터프로그램 등과 같은 ‘저작물’에 대하여 창작자가 가지는 여러 가지 권리의 전체크리에이티브 커먼즈 라이선스 (Creative Commons License, CCL; 자유이용허락표시) : 비영리기구인 크리에이티브 커먼즈에서 만든 저작물 관련..