LLM 캐시의 한계

LLM 캐시에서 유사도 방식으로 비슷한 쿼리에 대한 캐시를 사용할 수 있습니다. 이는 주로 문맥이나 의미가 거의 같지만 표현 방식이 약간 다를 때 유용하게 작동합니다. 다만, 쿼리가 미묘하게 다르다면 캐시가 적합할지에 대해 신중한 고려가 필요합니다.LLM 캐시에서 유사도 방식이 가능한 이유임베딩 기반 유사도 검색:LLM의 쿼리를 벡터로 변환하고, 이를 통해 유사도를 측정하여 비슷한 의미의 쿼리를 캐싱할 수 있습니다. 임베딩 방식은 쿼리의 단어 표현이 달라도 의미적 유사성을 기반으로 유사한 캐시 항목을 찾을 수 있습니다.근사 유사도 탐색(ANN):비슷한 벡터를 찾기 위해 근사 최근접 이웃(ANN) 알고리즘을 적용하여, 정확히 일치하지 않더라도 가장 가까운 벡터를 찾습니다. 예를 들어 "서울 날씨 어때?"와..
DeepLearning 2024. 11. 1. 12:13
1