문과생CS정복기

안녕하세요! 오늘은 2024년 10월 28일, 4월부터 시작한 Upstage AI Lab 3기 부트캠프가 7개월을 지난 시점입니다.마지막 프로젝트인 '파이널 프로젝트' 주제를 바탕으로 글을 써보려고 합니다.파이널 프로젝트의 주제는 총 4개이고, 이 중에서 원하는 프로젝트를 골라 참여할 수 있었습니다. 1. 파이널 프로젝트 주제저는 최근 LLM의 발전으로 핫해진 RAG 시스템을 경험하기 위해 [Scientific Knowledge Question Answering | 과학 지식 질의 응답 시스템 구축] IR Information Retrieval 프로젝트에 참여하였습니다. 대부분의 수강생들도 IR 프로젝트에 참여하셨습니다. 여기서 간단하게 RAG에 대해 살펴보면RAG(Retrieval-Augmented G..

24년 4월부터 11월까지 총 7개월 간의 긴 대장정 부트캠프가 끝이 났습니다.업스테이지 AI랩 3기는 박기준 매니저 님이 함께 해주셨고 파이썬부터 시작해서 ML, DL, LLM-RAG까지 배웠습니다.많은 강사님들과 멘토님들의 체계적인 지도 하에 어디가서 chatGPT가 무엇이고 트랜스포머가 무엇인지 설명할 수 있는 수준까지 성장했습니다.아침 10시부터 오후 7시까지 줌과 온라인 강의를 통해 굉장히 강도 높은 수준의 교육을 진행했기 때문에,프로그래밍 개발자이신 분들에게도 근면성실함은 물론이고 추가적인 학습과 노력을 요구하는 과정이었습니다.하지만 아예 프로그래밍 경험이 없는 비전공자 분들도 완주하시는 분들이 계신 걸로 보아서 얼마나 성장하고 얼마나 본인 몫을 가져갈지는 본인 하기 나름이라고 생각합니다. 4..

1. 프로젝트 개요A. 개요 : https://stages.ai/en/competitions/322대화 히스토리를 기반으로 질문에 가장 알맞은 문서를 맞추는 것이 이번 대회 목표이다. 알맞은 문서는 1개 내지 2개일 수 있다고 강사님께서 언급하셨다. topk를 1개를 제출하든 5개를 제출하든 상관은 없지만 MAP점수 매길 때 topk의 순위가 중요하다.B. 환경: Upstage에서 제공하는 remote 서버연결GPUCPUMemoryRTX 3090 / 24 GB10 thread60G 2. 프로젝트 팀 구성 및 역할 2-1. 매일 11시 어제 한 것, 유효한 부분, 내일 진행할 부분에 대해 공유, 모델학습실험기록지를 엑셀로 공유2-2. 역할분담진행속도가 빠른 사람이 실험결과 공유해주고, 후발주자가 성능 올릴..

BERT와 SRoBERTa(Sentence-RoBERTa)는 모두 Transformer 기반 모델이지만, 목적과 구조에 몇 가지 차이점이 있습니다. 아래는 그 주요 차이점입니다:1. 기본 모델 구조BERT: BERT(Base)는 12개의 Transformer 레이어로 구성된 양방향 모델로, 토큰 임베딩을 생성하는 데 중점을 둡니다. 주로 문장 내에서 토큰 간의 관계를 학습하는 데 적합하며, 마스크드 언어 모델링(MLM)과 다음 문장 예측(NSP) 같은 사전 학습 방법을 사용합니다.SRoBERTa: SRoBERTa는 RoBERTa(Robustly Optimized BERT Pretraining Approach) 모델을 Sentence Embedding 목적으로 수정한 모델입니다. RoBERTa는 BERT의..

RAG 시스템(Retrieval-Augmented Generation)은 정보 검색과 생성형 인공지능(GPT와 같은 모델)을 결합하여, 사용자 질문에 대한 보다 정확하고 풍부한 답변을 생성하는 시스템입니다. 이 시스템을 효과적으로 구축하기 위해서는 여러 가지 중요한 요소가 있습니다. standalone_query 외에도, 다음과 같은 핵심 요소들이 RAG 시스템의 성능과 효과를 크게 좌우합니다:1. 검색 엔진 선택 및 최적화검색 엔진은 RAG 시스템의 핵심 구성 요소 중 하나로, 주어진 쿼리에 대한 관련 문서를 검색합니다. 일반적으로 Elasticsearch나 FAISS와 같은 도구가 사용됩니다. 검색 엔진의 설정과 최적화가 매우 중요합니다.역색인(sparse retrieval):텍스트 기반 검색으로, ..