문과생CS정복기

Safetensors는 모델의 전체 구조를 포함하는 것이 아니라, 모델의 가중치와 같은 텐서(tensor)만을 저장하고 로드하는 데 집중한 파일 형식입니다. 이 방식은 모델을 불러올 때 **구조적인 정보(예: 레이어, 활성화 함수 설정 등)**가 아닌, 단순히 가중치와 편향값 같은 수치 데이터만 불러오기 때문에 매우 효율적입니다.기존의 pickle 방식이나 일반 .pt 파일 형식에서는 모델의 모든 정보(구조와 가중치)를 포함하는 데 반해, Safetensors는 보안과 속도 최적화에 초점을 맞추어 텐서 데이터만 안전하게 저장하고 불러올 수 있도록 설계되었습니다. 이렇게 하면 텐서 데이터를 필요에 따라 여러 모델에 재사용하거나 맞춤형 모델 구조에 텐서 데이터만 로드할 수 있게 됩니다​Hugging Face..

24년 4월부터 11월까지 총 7개월 간의 긴 대장정 부트캠프가 끝이 났습니다.업스테이지 AI랩 3기는 박기준 매니저 님이 함께 해주셨고 파이썬부터 시작해서 ML, DL, LLM-RAG까지 배웠습니다.많은 강사님들과 멘토님들의 체계적인 지도 하에 어디가서 chatGPT가 무엇이고 트랜스포머가 무엇인지 설명할 수 있는 수준까지 성장했습니다.아침 10시부터 오후 7시까지 줌과 온라인 강의를 통해 굉장히 강도 높은 수준의 교육을 진행했기 때문에,프로그래밍 개발자이신 분들에게도 근면성실함은 물론이고 추가적인 학습과 노력을 요구하는 과정이었습니다.하지만 아예 프로그래밍 경험이 없는 비전공자 분들도 완주하시는 분들이 계신 걸로 보아서 얼마나 성장하고 얼마나 본인 몫을 가져갈지는 본인 하기 나름이라고 생각합니다. 4..

1. 프로젝트 개요A. 개요 : https://stages.ai/en/competitions/322대화 히스토리를 기반으로 질문에 가장 알맞은 문서를 맞추는 것이 이번 대회 목표이다. 알맞은 문서는 1개 내지 2개일 수 있다고 강사님께서 언급하셨다. topk를 1개를 제출하든 5개를 제출하든 상관은 없지만 MAP점수 매길 때 topk의 순위가 중요하다.B. 환경: Upstage에서 제공하는 remote 서버연결GPUCPUMemoryRTX 3090 / 24 GB10 thread60G 2. 프로젝트 팀 구성 및 역할 2-1. 매일 11시 어제 한 것, 유효한 부분, 내일 진행할 부분에 대해 공유, 모델학습실험기록지를 엑셀로 공유2-2. 역할분담진행속도가 빠른 사람이 실험결과 공유해주고, 후발주자가 성능 올릴..

임베딩이 더 큰 OpenAI의 embedding 모델을 사용하는 것이 SRoBERTa보다 더 효과적일지 여부는 여러 요인에 따라 다릅니다. 두 모델은 서로 다른 특성과 강점을 가지고 있으므로, 사용하는 상황과 목표에 따라 성능이 달라질 수 있습니다.고려해야 할 요인들임베딩 크기OpenAI의 최신 embedding 모델들은 매우 큰 크기의 임베딩을 제공합니다. 임베딩 크기가 클수록 더 풍부한 정보를 담을 수 있지만, 항상 성능이 더 좋은 것은 아닙니다. 임베딩 크기가 큰 모델은 일반적으로 더 많은 계산 자원을 요구하며, 실시간 응답이 중요한 작업에서는 비효율적일 수 있습니다.SRoBERTa는 더 작은 크기의 임베딩을 제공하면서도, 문장 간의 의미적 유사성을 잘 학습하도록 최적화된 모델입니다. 임베딩 크기가..

BERT와 SRoBERTa(Sentence-RoBERTa)는 모두 Transformer 기반 모델이지만, 목적과 구조에 몇 가지 차이점이 있습니다. 아래는 그 주요 차이점입니다:1. 기본 모델 구조BERT: BERT(Base)는 12개의 Transformer 레이어로 구성된 양방향 모델로, 토큰 임베딩을 생성하는 데 중점을 둡니다. 주로 문장 내에서 토큰 간의 관계를 학습하는 데 적합하며, 마스크드 언어 모델링(MLM)과 다음 문장 예측(NSP) 같은 사전 학습 방법을 사용합니다.SRoBERTa: SRoBERTa는 RoBERTa(Robustly Optimized BERT Pretraining Approach) 모델을 Sentence Embedding 목적으로 수정한 모델입니다. RoBERTa는 BERT의..

문서 선택 품질 향상:다양한 Retrieval 전략 사용: 현재 사용하는 hybrid retrieval 외에, 다른 검색 기법을 추가하거나 앙상블 방식으로 결합해 더 다양한 문서를 검색하는 방법을 시도해보세요. 예를 들어, sparse (BM25)와 dense (embedding-based) retrieval 결과를 더 효율적으로 결합하는 방법을 최적화할 수 있습니다.Fine-tuning of Retrieval Model: 이미 Roberta를 사용하고 계신다면, fine-tuning을 좀 더 고도화하거나, 다른 모델(예: ColBERT)을 사용해보는 것도 좋은 방법입니다.Re-ranking 성능 향상:다른 Re-ranker 모델 사용: 현재 사용 중인 reranker 모델 대신 BERT 기반의 re-r..

온전한 하나의 관념, 즉 모든 것을 통합하는 하나의 전체적인 개념은 철학, 종교, 그리고 과학에서 오랜 시간 동안 논의되어 온 주제입니다. 이런 관념은 모든 분리된 요소가 하나로 융합된, 변하지 않는 궁극적인 실체를 의미합니다. 다양한 사상에서 이러한 '온전한 하나'의 관념을 찾아볼 수 있습니다. 1. 일자(一者) - 플로티노스의 신플라톤주의: 플로티노스는 모든 존재의 근원을 일자(The One)라고 불렀습니다. 이 일자는 무한하며, 모든 것이 이 일자로부터 나온다고 주장합니다. 일자는 절대적이고 완전하며, 시간과 공간을 초월한 상태로 설명됩니다. 이 개념은 존재의 궁극적인 통합성을 상징하며, 모든 것이 그로부터 파생되지만 동시에 그 안에 포함된다고 봅니다. 2. 불이(不二) - 불교 철학: 불교에서는 ..

흥미로운 관점이네요. 빅뱅 이전에 시간과 공간이 하나로 통합된 "온전한 세계"가 존재했을 것이라는 생각은 철학적이고 메타물리적인 질문을 불러일으킵니다. 현대 과학으로는 빅뱅 이전의 상태에 대해 정확히 알 수 없지만, 여러 이론이 이러한 궁금증에 대한 다양한 가능성을 제시합니다. 1. 시간과 공간의 탄생: 빅뱅 이론에 따르면, 우주는 빅뱅에서 시작되었고, 그때부터 시간과 공간이 생겨났습니다. 즉, 우리가 이해하는 과거, 현재, 미래라는 시간 개념은 빅뱅 이후에만 존재하기 시작했다는 것이 일반적인 과학적 견해입니다. 빅뱅 이전에는 시간이 없었거나, 우리와는 전혀 다른 방식으로 존재했을 가능성이 큽니다. 2. 양자 중력 이론: 어떤 이론가들은 빅뱅 이전에 양자 중력 상태와 같은 상태가 존재했을 것이라고 주장합..