문과생CS정복기

GPT-3와 같은 LLM이 이전 모델들(BERT, GPT-2, T5)과 비교하여 구조적으로 달라진 점이 있냐는 질문에 대해, 핵심적으로는 기본 구조(트랜스포머 기반 구조)는 크게 변하지 않았지만, 활용 방식과 모델의 학습 방법에서 중요한 차이점이 있습니다. 특히 파라미터 수의 증가는 큰 차이를 만들었지만, 그 외에도 몇 가지 구조적 변화와 전략적 차이가 있습니다.구조적 차이가 적은 이유트랜스포머(Transformer) 구조 자체는 GPT, BERT, T5, GPT-3 모두에서 사용되며, 이는 LLM에서도 마찬가지입니다. 트랜스포머 구조는 셀프 어텐션(self-attention) 메커니즘을 통해 입력 문장 내의 각 단어가 문맥을 고려해 서로의 관계를 학습할 수 있게 합니다.BERT: 양방향 트랜스포머를 사..

BERT, BART, T5와 같은 모델에서 LLM(대형 언어 모델)로 넘어오면서 모델이 더 다양한 NLP 작업을 하나로 통합할 수 있게 된 데는 몇 가지 주요 변화와 개선점이 있습니다. 이 과정에서 모델의 훈련 방식, 크기, 일반화 능력, 프롬프트 기반 학습 등이 발전하면서 여러 NLP 작업을 통합하여 처리할 수 있게 되었습니다.1. 모델 크기의 증가BERT, BART, T5와 같은 초기 모델은 대규모로 훈련된 언어 모델이었지만, GPT-3, GPT-4와 같은 LLM은 훨씬 더 많은 파라미터를 가지고 있습니다.BERT는 수억 개의 파라미터를 가졌지만, GPT-3는 1750억 개의 파라미터를 가지고 있습니다.모델 크기의 증가는 모델이 훨씬 더 방대한 양의 데이터를 학습하고, 더 복잡하고 다양한 언어 패턴을..

1. 프로젝트 개요A. 개요 : https://stages.ai/en/competitions/320/overview/descriptionB. 환경: Upstage에서 제공하는 remote 서버연결GPUCPUMemoryRTX 3090 / 24 GB10 thread60G 2. 프로젝트 팀 구성 및 역할 2-1. 매일 11시 어제 한 것, 유효한 부분, 내일 진행할 부분에 대해 공유, 모델학습실험기록지를 엑셀로 공유2-2. 역할분담진행속도가 빠른 사람이 실험결과 공유해주고, 후발주자가 성능 올릴 수 있는 다양한 실험 진행  3.프로젝트 수행 절차 및 결과3-1. 데이터 탐색:3-2. 모델 학습:3-3. 결과 추론: 4.프로젝트 회고   더보기**LLM(대형 언어 모델)**에서 add_token(토큰 추가) 작..

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing 1 Two Sea Changes in NLP 더보기Sequence tagging은 **자연어 처리(NLP)**에서 사용하는 기법으로, 주어진 입력 시퀀스(문장이나 단어들)에 대해 각 단어 또는 토큰에 레이블을 붙이는 작업을 의미합니다. 대표적인 예로는 다음과 같은 작업들이 있습니다:POS 태깅 (Part-of-Speech Tagging): 각 단어에 품사(명사, 동사, 형용사 등)를 붙이는 작업.예: "I love NLP" → "I/PRP love/VBP NLP/NNP"Named Entity Recognition (NER..

파인튜닝에는 여러 가지 방법이 있으며, 각 방법은 모델의 특정 부분을 조정하거나 최적화하여 작업에 맞게 성능을 개선하는 데 사용됩니다. 여기서는 대표적인 파인튜닝 방법과 기술들을 설명하겠습니다.1. 전통적 파인튜닝 (Standard Fine-tuning)개념: 전체 모델의 가중치를 특정 작업에 맞게 재조정하는 가장 기본적인 방법입니다. 보통 프리트레이닝된 모델을 가져와 특정 데이터셋으로 모델 전체를 재학습시킵니다.적용: BERT와 같은 사전 학습된 언어 모델을 특정 분류 작업이나 요약 작업에 맞게 조정하는 경우.장점: 강력한 성능을 얻을 수 있으며, 특정 작업에 맞춰 모델이 완전히 최적화됩니다.단점: 모델 크기가 클 경우, 전통적인 파인튜닝은 많은 메모리와 계산 자원을 소모합니다.2. 프리징 (Freez..

세 가지 방법인 파인튜닝(fine-tuning), 인컨텍스트 러닝(in-context learning), 그리고 프리트레이닝(pre-training)의 차이를 한국어로 설명드리겠습니다.1. 프리트레이닝 (Pre-training)정의: 프리트레이닝은 모델이 처음에 일반적인 패턴과 언어 구조, 그리고 다양한 지식을 대규모 데이터셋을 통해 학습하는 단계입니다.목표: 모델이 기본적인 언어 이해 능력과 일반적인 특징을 학습해, 이후에 더 구체적인 작업에 적용할 수 있도록 준비시키는 것입니다.과정: 자가 지도 학습(self-supervised learning) 방식으로, 예를 들어 다음 단어를 예측하거나(BERT의 경우 일부 단어 마스킹 후 예측), GPT처럼 주어진 문맥에서 다음 단어를 생성하는 방식으로 학습됩니..

영어로 말할 때 단어가 떠오르는 속도가 느려지는 이유는 여러 가지가 있을 수 있어. 특히 모국어가 아닌 언어를 구사할 때는 몇 가지 공통적인 이유가 작용할 수 있는데, 이를 해결하는 방법도 함께 살펴볼 수 있어.1. 언어 전환의 부담한국어를 모국어로 사용하는 사람에게는 한국어와 영어 사이를 빠르게 전환하는 것이 어려울 수 있어. 특히 말하려고 할 때 모국어에서 영어로 변환하는 과정을 거쳐야 하는데, 이 과정에서 시간이 걸릴 수 있어.해결 방법: 영어로 생각하려는 연습이 필요해. 한국어로 생각한 후 영어로 변환하는 대신, 영어로 바로 생각하려고 노력하는 것이 좋아. 일상적인 상황에서도 스스로 영어로 머릿속에서 대화를 연습하거나, 쉬운 영어로 스스로 생각을 표현해보는 연습을 자주 하면 자연스럽게 영어로 생각..

영어로 고급 비즈니스 수준의 스피킹 능력을 효율적으로 향상시키기 위해 몇 가지 방법을 제안할 수 있어. 학습 과정이 시간이 걸리지만, 더 효과적으로 접근할 수 있는 전략들이 있어.1. 구체적인 목표 설정먼저, 영어로 스피킹할 때 어떤 상황에서 주로 필요한지 구체적으로 정의하는 것이 중요해. 예를 들어:비즈니스 회의프레젠테이션협상네트워킹각 상황에서 필요한 언어 스킬이 다르기 때문에, 목표에 맞게 학습 전략을 세우는 것이 효율적이야.2. 입력과 출력을 균형 있게영어를 독해 위주로 학습한 경우, 스피킹에서 어려움을 겪는 경우가 많아. 스피킹은 언어 출력을 의미하는데, 직접 말해보는 경험이 많이 필요해. 이를 위한 효과적인 방법은:거울 앞에서 말하기 연습: 비즈니스 상황에서 사용할 표현을 반복 연습해 입에 익히..