문과생CS정복기

https://youtube.com/shorts/Wrn7ZuaIW98?si=KA8ZZ5EsaLyuPlki유리컵에 물을 담고 건전지를 양 옆에 붙이면 유리컵 속 물에 회오리가 생긴다?! 유투브에는 이런 실험이 사실로 나와있는 영상들이 많다. 원리가 무엇일까? GPT4o에게 물어봤다. 결론은 GPT4o는 이 원리에 대해 정확히 사실을 배운 상태였습니다. 유리컵에 건전지를 가져다 댄다고 유리컵 속 물이 회오리가 생길 순 없지요. 다만 저의 질문이 구체적이지 않아서 gpt4o가 다르게 이해한 것이지요. 원하는 답변과 반대로 나왔을 뿐입니다. 결국 정확한 query를 던지지 못한 휴먼에러네요. 생각보다 GPT4o는 정확한 과학원리와 사실들을 많이 학습했나 봅니다. 이로써, GPT4o의 과학영역에서의 halluci..

Transformer 아키텍처의 전체 흐름에서 쿼리(Query), 키(Key), 값(Value)가 언제 생성되는지 순차적으로 설명드릴게요. 각 단계에 번호를 붙여서 트랜스포머가 입력을 처리하는 순서를 이해하기 쉽게 정리해보겠습니다.Transformer 아키텍처에서의 순차 흐름입력 임베딩 생성트랜스포머 모델에 문장을 입력하면, 먼저 각 단어가 임베딩 레이어를 통해 임베딩 벡터로 변환됩니다.여기서 임베딩 벡터는 단어의 기본적인 의미를 숫자 벡터로 표현한 것입니다.예를 들어, “고양이”라는 단어는 임베딩 벡터로 변환되어, 모델이 숫자로 처리할 수 있게 됩니다.포지셔널 인코딩 추가트랜스포머는 위치 정보가 필요하므로, 각 단어의 임베딩 벡터에 포지셔널 인코딩을 추가합니다.포지셔널 인코딩은 단어들이 문장 내에서 순..

임베딩이 더 큰 OpenAI의 embedding 모델을 사용하는 것이 SRoBERTa보다 더 효과적일지 여부는 여러 요인에 따라 다릅니다. 두 모델은 서로 다른 특성과 강점을 가지고 있으므로, 사용하는 상황과 목표에 따라 성능이 달라질 수 있습니다.고려해야 할 요인들임베딩 크기OpenAI의 최신 embedding 모델들은 매우 큰 크기의 임베딩을 제공합니다. 임베딩 크기가 클수록 더 풍부한 정보를 담을 수 있지만, 항상 성능이 더 좋은 것은 아닙니다. 임베딩 크기가 큰 모델은 일반적으로 더 많은 계산 자원을 요구하며, 실시간 응답이 중요한 작업에서는 비효율적일 수 있습니다.SRoBERTa는 더 작은 크기의 임베딩을 제공하면서도, 문장 간의 의미적 유사성을 잘 학습하도록 최적화된 모델입니다. 임베딩 크기가..

BERT와 SRoBERTa(Sentence-RoBERTa)는 모두 Transformer 기반 모델이지만, 목적과 구조에 몇 가지 차이점이 있습니다. 아래는 그 주요 차이점입니다:1. 기본 모델 구조BERT: BERT(Base)는 12개의 Transformer 레이어로 구성된 양방향 모델로, 토큰 임베딩을 생성하는 데 중점을 둡니다. 주로 문장 내에서 토큰 간의 관계를 학습하는 데 적합하며, 마스크드 언어 모델링(MLM)과 다음 문장 예측(NSP) 같은 사전 학습 방법을 사용합니다.SRoBERTa: SRoBERTa는 RoBERTa(Robustly Optimized BERT Pretraining Approach) 모델을 Sentence Embedding 목적으로 수정한 모델입니다. RoBERTa는 BERT의..

문서 선택 품질 향상:다양한 Retrieval 전략 사용: 현재 사용하는 hybrid retrieval 외에, 다른 검색 기법을 추가하거나 앙상블 방식으로 결합해 더 다양한 문서를 검색하는 방법을 시도해보세요. 예를 들어, sparse (BM25)와 dense (embedding-based) retrieval 결과를 더 효율적으로 결합하는 방법을 최적화할 수 있습니다.Fine-tuning of Retrieval Model: 이미 Roberta를 사용하고 계신다면, fine-tuning을 좀 더 고도화하거나, 다른 모델(예: ColBERT)을 사용해보는 것도 좋은 방법입니다.Re-ranking 성능 향상:다른 Re-ranker 모델 사용: 현재 사용 중인 reranker 모델 대신 BERT 기반의 re-r..

RAG 시스템(Retrieval-Augmented Generation)은 정보 검색과 생성형 인공지능(GPT와 같은 모델)을 결합하여, 사용자 질문에 대한 보다 정확하고 풍부한 답변을 생성하는 시스템입니다. 이 시스템을 효과적으로 구축하기 위해서는 여러 가지 중요한 요소가 있습니다. standalone_query 외에도, 다음과 같은 핵심 요소들이 RAG 시스템의 성능과 효과를 크게 좌우합니다:1. 검색 엔진 선택 및 최적화검색 엔진은 RAG 시스템의 핵심 구성 요소 중 하나로, 주어진 쿼리에 대한 관련 문서를 검색합니다. 일반적으로 Elasticsearch나 FAISS와 같은 도구가 사용됩니다. 검색 엔진의 설정과 최적화가 매우 중요합니다.역색인(sparse retrieval):텍스트 기반 검색으로, ..

IA3 (Input-Activated Attention Adaptation)는 대규모 모델의 미세 조정을 더 효율적으로 수행하기 위한 방법 중 하나입니다. 이 방법은 Low-Rank Adaptation (LoRA)와 유사한 접근을 취하지만, LoRA가 모든 가중치를 학습하는 대신, 어텐션 메커니즘에서 가중치 행렬의 일부를 학습하는 방식에 초점을 맞추고 있습니다.IA3의 핵심 개념IA3는 대규모 언어 모델의 전체 가중치를 학습하지 않고, 입력-활성화 어텐션(adaptive attention)이라는 기법을 통해 특정 파라미터만 조정함으로써 모델을 미세 조정합니다. 이 방식은 전체 모델의 파라미터 업데이트를 피하면서도, 모델이 특정 작업에 대해 더 잘 적응할 수 있도록 합니다.구체적으로, IA3는 어텐션 메커..

LoRA(Low-Rank Adaptation)와 프롬프트 튜닝(Prompt Tuning)은 둘 다 대규모 언어 모델을 더 효율적으로 미세 조정하는 기법입니다. 하지만 두 방법은 미세 조정의 대상과 방법이 다릅니다. 아래에서 각각의 차이점을 설명하겠습니다.1. LoRA (Low-Rank Adaptation)핵심 개념: LoRA는 모델 내부의 가중치(Weights)를 조정합니다. 모델의 가중치를 직접 변경하지 않고, 특정 가중치 행렬의 저차원(low-rank) 근사 행렬을 추가해 학습합니다. 이를 통해 전체 모델의 가중치를 모두 학습하는 것이 아니라, 저차원 근사치를 학습하여 메모리 사용을 줄이면서 성능을 최적화합니다.주요 특징:모델의 가중치 업데이트: LoRA는 기존의 가중치 행렬에 대해 두 개의 저차원 ..