정보 검색, 희소 검색만으로 충분할까? 밀집 검색과의 시너지를 고민해야 하는 이유

정보 검색 시스템 구축을 고민하는 기획자/PM을 위해 희소 검색과 밀집 검색의 장단점을 비교하고, 하이브리드 전략으로 검색 품질을 높이는 방법을 제시합니다.

AI 기술의 발전은 정보 검색 시스템의 패러다임을 변화시키고 있습니다. 특히, 방대한 양의 비정형 데이터를 효과적으로 탐색하고 사용자에게 정확한 정보를 제공하는 능력은 서비스의 성공을 좌우하는 핵심 요소로 부상했습니다. 하지만 단순히 ‘검색’이라는 행위 뒤에는 희소(Sparse) 검색과 밀집(Dense) 검색이라는 두 가지 근본적으로 다른 접근 방식이 존재하며, 각 방식은 고유의 장단점을 가지고 있습니다. 프로젝트의 성공적인 안착을 위해서는 이 두 가지 방식의 특성을 명확히 이해하고, 적절한 상황에 맞춰 전략적으로 활용하는 것이 필수적입니다.

이 글에서는 특정 기업의 내부 지식 관리 시스템(KMS) 구축 프로젝트를 가상 상황으로 설정하여, 두 가지 검색 방식의 비교 분석과 함께 현실적인 문제 해결 과정을 제시합니다. 개발 지식이 필요한 기획자 및 PM 관점에서, 코드보다는 개념과 의사결정의 관점에 초점을 맞춰 분석을 진행합니다.

📑 목차

• 문제 발생: "키워드만으로는 답을 찾을 수 없습니다"
• 원인 분석: 희소 검색의 한계와 밀집 검색의 등장
• 희소 검색의 강점과 명확한 한계
• 밀집 검색의 등장: 의미를 이해하는 검색
• 해결 과정: 하이브리드 검색으로 시너지를 극대화하다
• 전략 1: 검색 결과 결합 및 재순위화
• 전략 2: 리트리버-리랭커 구조
• 프로젝트 교훈: 정보 검색 전략, 목적에 맞춰 설계해야 한다

Image by DreamQuest on Pixabay

문제 발생: "키워드만으로는 답을 찾을 수 없습니다"

가상의 IT 솔루션 기업 '테크이노베이션'은 사내 기술 문서, 회의록, 고객 지원 FAQ 등을 통합 관리하는 지식 관리 시스템(KMS)을 구축하기로 결정했습니다. 초기 KMS는 사용자들이 입력한 키워드를 기반으로 문서를 찾아주는 검색 기능을 핵심으로 설계되었습니다. 예를 들어, 사용자가 '클라우드 보안'이라고 입력하면, 문서 내에 '클라우드'와 '보안'이라는 키워드가 포함된 문서를 찾아주는 방식입니다.

그러나 시스템 오픈 후, 사용자들로부터 검색 결과에 대한 불만이 쏟아지기 시작했습니다. 주요 불만 사항은 다음과 같습니다.

• "분명 관련 문서가 있을 텐데, 검색이 안 돼요.": 사용자들이 '재무 보고서 제출 기한'을 검색했지만, 실제 문서에는 '재무 결산 마감일'로 표기되어 있어 검색되지 않는 경우가 빈번했습니다.
• "엉뚱한 문서만 나와요.": '배터리 수명 연장'을 검색했더니, 배터리 교체 방법이나 폐기 절차에 대한 문서가 상위에 노출되고, 정작 수명 연장 팁에 대한 문서는 저 아래에 있거나 아예 나오지 않았습니다.
• "검색 결과가 너무 많아서 뭐가 중요한지 모르겠어요.": 특정 키워드를 입력하면 수백 개의 문서가 쏟아져 나와 사용자가 원하는 정보를 찾기 위해 많은 시간을 소모해야 했습니다.

PM인 김 팀장은 이러한 문제점들이 단순히 검색 엔진의 인덱싱 부족이나 데이터 양의 문제가 아니라, 정보 검색 방식 자체의 근본적인 한계에서 비롯될 수 있다고 판단했습니다. 특히 '의미'를 이해하지 못하고 '단어'에만 의존하는 현 검색 방식의 문제점을 직시하게 되었습니다.

원인 분석: 희소 검색의 한계와 밀집 검색의 등장

테크이노베이션 KMS의 초기 검색 시스템은 전형적인 희소(Sparse) 검색 방식을 채택하고 있었습니다. 희소 검색은 문서와 쿼리 간의 키워드 일치 여부를 기반으로 관련성을 판단하는 방식입니다. 대표적인 알고리즘으로는 TF-IDF(Term Frequency-Inverse Document Frequency)나 BM25가 있습니다. 이 방식은 특정 단어가 문서에 얼마나 자주 나타나고, 전체 문서 집합에서 얼마나 희귀한 단어인지를 종합하여 점수를 매깁니다.

희소 검색의 강점과 명확한 한계

희소 검색은 다음과 같은 장점을 가집니다.

• 직관적이고 해석 가능: 어떤 키워드 때문에 검색 결과가 나왔는지 명확히 알 수 있습니다.
• 구현 용이성: 상대적으로 구축 및 유지보수가 간단합니다.
• 대규모 데이터 처리: 잘 최적화된 엔진은 대량의 문서에서도 빠른 검색 속도를 제공합니다.

그러나 테크이노베이션 KMS에서 발생한 문제점들은 희소 검색의 고유한 한계를 여실히 보여줍니다.

• 어휘 불일치 문제 (Lexical Gap): '재무 보고서 제출 기한'과 '재무 결산 마감일'처럼 동의어나 유사어를 인식하지 못하여 관련 문서를 놓치는 문제입니다. 사용자가 사용하는 단어와 문서에 사용된 단어가 정확히 일치하지 않으면 검색되지 않습니다.
• 의미 파악의 한계: '배터리 수명 연장'과 '배터리 교체'는 '배터리'라는 키워드를 공유하지만, 사용자의 의도는 전혀 다릅니다. 희소 검색은 단어의 표면적인 일치에만 집중하므로 문맥이나 의미론적인 유사성을 파악하기 어렵습니다.
• 높은 희귀도 단어의 불리함: 특정 전문 용어나 고유명사는 전체 문서에서 출현 빈도가 낮아 TF-IDF나 BM25 점수가 낮게 책정될 수 있습니다. 이는 중요한 정보임에도 불구하고 검색 결과에서 밀려나는 결과를 초래할 수 있습니다.

밀집 검색의 등장: 의미를 이해하는 검색

이러한 희소 검색의 한계를 극복하기 위해 등장한 것이 밀집(Dense) 검색입니다. 밀집 검색은 딥러닝 기반의 임베딩 모델을 활용하여 문서와 쿼리를 고차원 벡터 공간의 점(Vector)으로 표현합니다. 이 벡터는 단어 하나하나의 의미뿐만 아니라, 문장 전체의 문맥적 의미를 담고 있습니다. 검색 과정에서는 쿼리 벡터와 문서 벡터 간의 유사도(코사인 유사도 등)를 계산하여 관련성을 판단합니다.

# 개념적인 밀집 검색 과정
1. **문서 임베딩**: 모든 문서를 딥러닝 모델(예: BERT, RoBERTa 기반 모델)을 통과시켜 고정된 길이의 벡터(Dense Vector)로 변환하고 저장합니다.
   - 예: "클라우드 보안 가이드" -> [0.1, 0.5, -0.2, ..., 0.8]
2. **쿼리 임베딩**: 사용자의 검색 쿼리도 동일한 모델로 벡터로 변환합니다.
   - 예: "클라우드 서비스 안전 수칙" -> [0.05, 0.4, -0.1, ..., 0.7]
3. **유사도 계산**: 쿼리 벡터와 문서 벡터 간의 유사도를 계산하여 가장 유사한 문서를 반환합니다.
   - 벡터 [0.05, ..., 0.7]과 [0.1, ..., 0.8]의 코사인 유사도 측정

밀집 검색은 다음과 같은 강력한 장점을 가집니다.

• 의미론적 검색 (Semantic Search): 키워드가 직접 일치하지 않아도 의미적으로 유사한 문서를 찾아낼 수 있습니다. '재무 보고서 제출 기한'과 '재무 결산 마감일'을 동일한 의미로 인식할 수 있습니다.
• 문맥 이해: 단어의 나열이 아닌 문장 전체의 의미를 파악하여 사용자의 의도를 더 정확하게 파악합니다.
• 긴 쿼리에 강점: 사용자가 구체적인 문장 형태로 질문해도 효과적인 검색이 가능합니다.

하지만 밀집 검색 역시 다음과 같은 단점을 가집니다.

• 구현 복잡성 및 자원 소모: 딥러닝 모델 구축, 학습, 서빙에 많은 기술적 지식과 컴퓨팅 자원이 필요합니다.
• 해석의 어려움: 벡터 공간에서의 유사성은 직관적으로 이해하기 어렵습니다. 왜 이 문서가 검색되었는지 설명하기가 희소 검색보다 까다롭습니다.
• 희귀 단어/고유명사 처리: 학습 데이터에 등장하지 않거나 매우 희귀한 단어(Out-Of-Vocabulary, OOV)에 대해서는 임베딩 품질이 저하될 수 있습니다. 이는 특정 제품 코드, 신조어, 오타 등에서 문제가 될 수 있습니다.

두 검색 방식의 주요 특징을 비교하면 다음과 같습니다.

특징	희소(Sparse) 검색	밀집(Dense) 검색
기본 원리	키워드 일치 및 빈도 기반 (TF-IDF, BM25)	의미 기반 벡터 유사도 (딥러닝 임베딩)
주요 장점	직관적, 구현 용이, 빠른 속도, 해석 용이	의미론적 검색, 문맥 이해, 어휘 불일치 해결
주요 단점	어휘 불일치 문제, 문맥 이해 한계, 동의어/유사어 인식 불가	높은 구현 복잡성, 자원 소모, 해석 어려움, OOV 문제
주요 활용	정확한 키워드 매칭이 중요한 경우, 초기 시스템	질의응답, 챗봇, 시맨틱 검색, 추천 시스템

Image by Pexels on Pixabay

해결 과정: 하이브리드 검색으로 시너지를 극대화하다

테크이노베이션의 김 팀장은 희소 검색과 밀집 검색이 각각 명확한 장단점을 가지고 있음을 파악했습니다. 어느 한쪽만을 고집하는 것은 최적의 검색 품질을 보장하기 어렵다고 판단했습니다. 이에 따라 두 방식의 장점을 결합하여 단점을 상호 보완하는 하이브리드(Hybrid) 검색 전략을 수립하기로 했습니다.

하이브리드 검색은 여러 형태로 구현될 수 있으나, 테크이노베이션 KMS에는 다음과 같은 두 가지 주요 전략을 적용하기로 했습니다.

전략 1: 검색 결과 결합 및 재순위화

가장 일반적인 하이브리드 전략은 희소 검색과 밀집 검색을 각각 수행한 후, 두 검색 결과를 적절히 결합하여 사용자에게 최종 순위를 제시하는 방식입니다.

# 하이브리드 검색의 개념적 흐름
1. **사용자 쿼리 입력**
2. **희소 검색 수행**: 쿼리를 이용해 기존 희소 검색 엔진(예: Elasticsearch, Solr)에서 관련 문서 후보군을 추출하고 점수를 매깁니다.
   - 예: BM25 점수 S_sparse
3. **밀집 검색 수행**: 쿼리를 임베딩 모델로 벡터화하고, 문서 벡터 데이터베이스에서 유사한 문서 후보군을 추출하고 점수를 매깁니다.
   - 예: 코사인 유사도 S_dense
4. **결과 결합 및 재순위화 (Re-ranking)**:
   - 두 검색 엔진에서 나온 문서들을 하나로 합칩니다.
   - 각 문서에 대해 S_sparse와 S_dense를 종합하여 최종 순위 점수 S_final을 계산합니다.
   - S_final = (w1 * S_sparse) + (w2 * S_dense)  (w1, w2는 가중치)
   - 또는 RRF (Reciprocal Rank Fusion)와 같은 알고리즘을 사용하여 각 검색 엔진의 순위를 기반으로 최종 순위를 결정합니다.
5. **최종 검색 결과 반환**

이 전략의 핵심은 어떻게 두 검색 엔진의 점수를 합칠 것인가입니다. 단순히 가중치를 부여하는 방식부터, 각 검색 엔진의 상위 N개 결과의 역순위 합을 이용하는 RRF(Reciprocal Rank Fusion)와 같은 고급 기법까지 다양하게 적용될 수 있습니다. RRF는 특정 검색 엔진에서만 높은 순위를 받은 문서도 최종 결과에 포함될 기회를 제공하여 다양성을 확보하는 데 유리합니다.

전략 2: 리트리버-리랭커 구조

다른 강력한 하이브리드 전략은 리트리버(Retriever)와 리랭커(Re-ranker) 구조를 활용하는 것입니다.

• 리트리버 (Retriever): 희소 검색을 사용하여 방대한 문서 중에서 관련성이 있을 법한 수십~수백 개의 문서 후보군을 빠르게 추출합니다. 이는 밀집 검색의 높은 연산 비용을 줄이는 데 기여합니다. 희소 검색은 대규모 데이터에서 빠른 필터링 역할을 수행합니다.
• 리랭커 (Re-ranker): 리트리버가 추출한 소수의 문서 후보군에 대해 밀집 검색 모델(또는 더 정교한 딥러닝 모델)을 적용하여 정확한 의미론적 유사도를 계산하고 최종 순위를 재조정합니다. 이는 적은 수의 문서에만 밀집 검색 모델을 적용하므로 연산 효율성을 높이면서도 높은 검색 품질을 얻을 수 있습니다.

이 전략은 대규모 문서 집합에서 검색 효율성과 정확도를 동시에 확보하는 데 매우 효과적입니다. 테크이노베이션 KMS의 경우, 초기 검색 부하를 줄이면서도 사용자 만족도를 높일 수 있는 현실적인 대안으로 판단되었습니다.

하이브리드 검색 도입 후, 테크이노베이션의 KMS는 눈에 띄게 개선되었습니다. '재무 보고서 제출 기한'을 검색하면 '재무 결산 마감일' 문서가 정확히 검색되었고, '배터리 수명 연장'을 검색하면 관련 팁 문서가 상위에 노출되기 시작했습니다. 사용자들의 불만은 크게 줄었으며, 정보 탐색 시간이 단축되어 업무 효율성 증대에 기여했습니다.

Image by 422737 on Pixabay

프로젝트 교훈: 정보 검색 전략, 목적에 맞춰 설계해야 한다

테크이노베이션의 KMS 구축 프로젝트를 통해 얻은 가장 큰 교훈은 정보 검색 시스템은 단일한 최적의 해법이 없으며, 프로젝트의 목적과 환경에 맞춰 전략적으로 설계되어야 한다는 점입니다. 희소 검색과 밀집 검색은 각각 고유한 강점과 약점을 가지고 있으며, 이들을 어떻게 조합하고 활용할지가 검색 품질을 결정하는 중요한 요소입니다.

기획자/PM은 다음과 같은 의사결정 포인트를 고려하여 검색 전략을 수립해야 합니다.

1. 검색 대상 데이터의 특성: 문서의 양, 텍스트의 구조, 전문 용어의 포함 여부, 오타 발생 가능성 등을 고려해야 합니다. 정형화된 짧은 데이터는 희소 검색으로도 충분할 수 있으나, 비정형의 긴 문서나 자연어 질의가 많은 경우 밀집 검색의 필요성이 커집니다.
2. 사용자의 검색 행태 및 기대치: 사용자가 주로 키워드 위주로 검색하는지, 아니면 자연어 문장으로 질문하는 경향이 있는지 파악해야 합니다. 또한, 단순히 키워드 매칭을 넘어서는 '의미론적' 검색 결과를 기대하는지 여부도 중요합니다.
3. 구현 복잡성 및 운영 비용: 밀집 검색은 희소 검색 대비 구축 및 운영에 더 많은 리소스(전문 인력, 컴퓨팅 자원)를 요구합니다. 초기 단계에서는 희소 검색으로 시작하여 점진적으로 밀집 검색 요소를 추가하는 단계적 접근 방식도 고려할 수 있습니다.
4. 성능 및 확장성 요구 사항: 대규모 트래픽을 처리해야 하거나 실시간 검색이 중요한 경우, 각 검색 방식의 성능 특성과 결합 시의 지연 시간을 면밀히 분석해야 합니다.

결론적으로, 희소 검색은 명확한 키워드 매칭과 빠른 속도라는 본연의 강점을 가지며, 밀집 검색은 인간의 언어와 유사한 의미론적 이해를 통해 검색 정확도를 혁신적으로 높이는 능력을 가집니다. 이 둘을 하이브리드 전략으로 결합함으로써, 우리는 단순한 키워드 매칭을 넘어 사용자의 '의도'를 파악하고 '맥락'에 맞는 정보를 제공하는 차세대 정보 검색 시스템을 구축할 수 있습니다. 개발 지식이 필요한 기획자/PM이라면, 이러한 개념들을 명확히 이해하고 프로젝트의 특성에 맞춰 최적의 검색 아키텍처를 설계하는 안목을 갖추는 것이 중요합니다.

이 글이 정보 검색 시스템 구축을 고민하는 기획자/PM 여러분께 실질적인 도움이 되었기를 바랍니다. 희소 검색과 밀집 검색, 그리고 하이브리드 전략에 대해 궁금한 점이나 여러분의 경험을 댓글로 공유해 주세요.

📌 함께 읽으면 좋은 글

• [AI 머신러닝] AI 에이전트, 느린 의사결정 vs. 빠른 행동 선택: 지연 시간 최소화 튜닝 전략
• [AI 머신러닝] 그 모델, 복잡할수록 잘할 줄 알았나요? 편향-분산 트레이드오프의 실무적 함정
• [AI 머신러닝] 에뮬레이터 롬 분석: 머신러닝으로 저작권 침해 5가지 난제 해결 전략

이 글이 도움이 되셨다면 공감(♥)과 댓글로 응원해 주세요!
궁금한 점이나 다루었으면 하는 주제가 있다면 댓글로 남겨주세요.