문과생CS정복기

고물가 시대에 대처하기 위해서는 생활 전반에서 절약하고, 현명한 소비 습관을 가지는 것이 중요합니다. 다음은 고물가 시대에 대처하는 몇 가지 방법입니다. 1. 지출 관리: 월별 예산을 세우고, 필수 지출과 선택적 지출을 구분해 불필요한 소비를 줄입니다. 2. 필수품 목록 작성: 장을 볼 때 필요한 물건 리스트를 작성하여 충동구매를 피하고 계획된 소비를 합니다. 3. 저렴한 대체품 사용: 브랜드 제품 대신 저렴한 대체품을 찾아 사용하는 것도 절약 방법 중 하나입니다. 4. 에너지 절약: 전기, 가스, 수도 등의 사용을 줄여 고지서 지출을 줄입니다. 에너지 효율이 높은 가전제품을 사용하고, 필요하지 않은 불은 끄는 등 생활 속에서 에너지를 아끼는 습관을 들입니다. 5. 이동비 절감: 대중교통 이용, 카풀, ..

https://youtube.com/shorts/Wrn7ZuaIW98?si=KA8ZZ5EsaLyuPlki유리컵에 물을 담고 건전지를 양 옆에 붙이면 유리컵 속 물에 회오리가 생긴다?! 유투브에는 이런 실험이 사실로 나와있는 영상들이 많다. 원리가 무엇일까? GPT4o에게 물어봤다. 결론은 GPT4o는 이 원리에 대해 정확히 사실을 배운 상태였습니다. 유리컵에 건전지를 가져다 댄다고 유리컵 속 물이 회오리가 생길 순 없지요. 다만 저의 질문이 구체적이지 않아서 gpt4o가 다르게 이해한 것이지요. 원하는 답변과 반대로 나왔을 뿐입니다. 결국 정확한 query를 던지지 못한 휴먼에러네요. 생각보다 GPT4o는 정확한 과학원리와 사실들을 많이 학습했나 봅니다. 이로써, GPT4o의 과학영역에서의 halluci..

여러분 패스트캠퍼스 업스테이지 부트캠프 7개월 간의 대장정이 드디어 끝났습니다오늘은 수료식이 있었는데요. 수료를 위해 그동안의 과정을 회고하는 시간을 가졌습니다. 그리고 마지막 서류 작업들과 제출해야 할 것들에 대한 공지, 커리어케어 안내와 시상식이 있었습니다.  나는 얼만큼 성장했는가저는 python을 제대로 모른 상태에서 과정에 참여했는데요. 지금은 RNN, transformer의 구조를 설명할 수 있을 정도로 성장했습니다. huggingface의 내용들을 어느 정도 이해하고 적용할 수 있는 수준이지요. 4월부터 10월까지 6개월만에 이렇게 성장할 수 있었던 건 패스트캠퍼스와 upstage가 탄탄하게 만든 커리큘럼 덕분이라고 생각합니다.다음은 reddit artificial에 올려진 Top Poste..

10/28(월) - 최상철 컨설턴트님10/30(수) - 김다현 강사님11/6(수) - 김윤기 강사님

Transformer 아키텍처의 전체 흐름에서 쿼리(Query), 키(Key), 값(Value)가 언제 생성되는지 순차적으로 설명드릴게요. 각 단계에 번호를 붙여서 트랜스포머가 입력을 처리하는 순서를 이해하기 쉽게 정리해보겠습니다.Transformer 아키텍처에서의 순차 흐름입력 임베딩 생성트랜스포머 모델에 문장을 입력하면, 먼저 각 단어가 임베딩 레이어를 통해 임베딩 벡터로 변환됩니다.여기서 임베딩 벡터는 단어의 기본적인 의미를 숫자 벡터로 표현한 것입니다.예를 들어, “고양이”라는 단어는 임베딩 벡터로 변환되어, 모델이 숫자로 처리할 수 있게 됩니다.포지셔널 인코딩 추가트랜스포머는 위치 정보가 필요하므로, 각 단어의 임베딩 벡터에 포지셔널 인코딩을 추가합니다.포지셔널 인코딩은 단어들이 문장 내에서 순..

파이프라인 병렬화와 텐서 병렬화는 대규모 모델을 여러 GPU에서 효율적으로 학습하기 위한 분산 학습 기법입니다. 두 방식은 데이터의 분산과 처리를 최적화하는 방식이 다릅니다.1. 파이프라인 병렬화 (Pipeline Parallelism)개념: 모델의 레이어를 여러 GPU에 순서대로 배치하여 파이프라인처럼 처리합니다. 예를 들어, 모델이 여러 레이어로 구성되어 있으면 첫 번째 GPU에 첫 번째 레이어, 두 번째 GPU에 두 번째 레이어를 배치하는 방식입니다.작동 방식: 각 GPU가 하나의 작업을 처리한 후 결과를 다음 GPU로 넘깁니다. 이를 통해 대규모 모델을 GPU의 메모리 한도에 맞춰 효율적으로 학습할 수 있습니다.장점: 각 GPU의 메모리 한도에 맞춰 모델을 나눌 수 있어, 메모리가 적은 환경에서도..

LLM 캐시에서 유사도 방식으로 비슷한 쿼리에 대한 캐시를 사용할 수 있습니다. 이는 주로 문맥이나 의미가 거의 같지만 표현 방식이 약간 다를 때 유용하게 작동합니다. 다만, 쿼리가 미묘하게 다르다면 캐시가 적합할지에 대해 신중한 고려가 필요합니다.LLM 캐시에서 유사도 방식이 가능한 이유임베딩 기반 유사도 검색:LLM의 쿼리를 벡터로 변환하고, 이를 통해 유사도를 측정하여 비슷한 의미의 쿼리를 캐싱할 수 있습니다. 임베딩 방식은 쿼리의 단어 표현이 달라도 의미적 유사성을 기반으로 유사한 캐시 항목을 찾을 수 있습니다.근사 유사도 탐색(ANN):비슷한 벡터를 찾기 위해 근사 최근접 이웃(ANN) 알고리즘을 적용하여, 정확히 일치하지 않더라도 가장 가까운 벡터를 찾습니다. 예를 들어 "서울 날씨 어때?"와..

벡터 데이터베이스(Vector DB)와 전통적인 관계형 데이터베이스(RDBMS, 예: Oracle)의 주요 차이점은 데이터 구조와 쿼리 방식입니다. 각 DB가 해결하는 문제의 성격과 목적이 달라, 데이터 저장 방식과 검색 기능에서도 차이가 납니다. 1. 데이터 구조벡터 DB: 주로 고차원 벡터 데이터를 저장하고 이를 기반으로 유사도 검색을 수행합니다. 각 데이터가 수백 또는 수천 개의 값(차원)을 가지는 벡터로 표현되며, 이는 이미지, 문서, 오디오와 같은 비정형 데이터를 나타내기 위해 사용됩니다.관계형 DB: 전통적으로 테이블 형식의 구조화된 데이터(행과 열)를 저장합니다. 숫자, 문자열과 같은 기본 자료형으로 데이터를 표현하며, 고정된 스키마에 따라 데이터가 저장됩니다.2. 검색 및 쿼리 방식벡터 D..