문과생CS정복기

파이프라인 병렬화와 텐서 병렬화는 대규모 모델을 여러 GPU에서 효율적으로 학습하기 위한 분산 학습 기법입니다. 두 방식은 데이터의 분산과 처리를 최적화하는 방식이 다릅니다.1. 파이프라인 병렬화 (Pipeline Parallelism)개념: 모델의 레이어를 여러 GPU에 순서대로 배치하여 파이프라인처럼 처리합니다. 예를 들어, 모델이 여러 레이어로 구성되어 있으면 첫 번째 GPU에 첫 번째 레이어, 두 번째 GPU에 두 번째 레이어를 배치하는 방식입니다.작동 방식: 각 GPU가 하나의 작업을 처리한 후 결과를 다음 GPU로 넘깁니다. 이를 통해 대규모 모델을 GPU의 메모리 한도에 맞춰 효율적으로 학습할 수 있습니다.장점: 각 GPU의 메모리 한도에 맞춰 모델을 나눌 수 있어, 메모리가 적은 환경에서도..

LLM 캐시에서 유사도 방식으로 비슷한 쿼리에 대한 캐시를 사용할 수 있습니다. 이는 주로 문맥이나 의미가 거의 같지만 표현 방식이 약간 다를 때 유용하게 작동합니다. 다만, 쿼리가 미묘하게 다르다면 캐시가 적합할지에 대해 신중한 고려가 필요합니다.LLM 캐시에서 유사도 방식이 가능한 이유임베딩 기반 유사도 검색:LLM의 쿼리를 벡터로 변환하고, 이를 통해 유사도를 측정하여 비슷한 의미의 쿼리를 캐싱할 수 있습니다. 임베딩 방식은 쿼리의 단어 표현이 달라도 의미적 유사성을 기반으로 유사한 캐시 항목을 찾을 수 있습니다.근사 유사도 탐색(ANN):비슷한 벡터를 찾기 위해 근사 최근접 이웃(ANN) 알고리즘을 적용하여, 정확히 일치하지 않더라도 가장 가까운 벡터를 찾습니다. 예를 들어 "서울 날씨 어때?"와..

벡터 데이터베이스(Vector DB)와 전통적인 관계형 데이터베이스(RDBMS, 예: Oracle)의 주요 차이점은 데이터 구조와 쿼리 방식입니다. 각 DB가 해결하는 문제의 성격과 목적이 달라, 데이터 저장 방식과 검색 기능에서도 차이가 납니다. 1. 데이터 구조벡터 DB: 주로 고차원 벡터 데이터를 저장하고 이를 기반으로 유사도 검색을 수행합니다. 각 데이터가 수백 또는 수천 개의 값(차원)을 가지는 벡터로 표현되며, 이는 이미지, 문서, 오디오와 같은 비정형 데이터를 나타내기 위해 사용됩니다.관계형 DB: 전통적으로 테이블 형식의 구조화된 데이터(행과 열)를 저장합니다. 숫자, 문자열과 같은 기본 자료형으로 데이터를 표현하며, 고정된 스키마에 따라 데이터가 저장됩니다.2. 검색 및 쿼리 방식벡터 D..