임베딩 모델: 문장을 벡터로 바꿔 검색 품질을 정하는 부품

왜 임베딩이 필요했나

키워드 검색은 질문과 문서에 같은 글자가 있어야 문서를 찾는다. '연차 쓰는 법'으로 검색하면 '휴가 신청 절차'라는 문서는 뜻이 같아도 놓칠 수 있다. BM25 같은 키워드 검색 순위 함수는 빠르고 정확하지만 '뜻이 같다'는 것은 알지 못한다. 컴퓨터가 잘하는 일은 숫자 비교다. 그래서 문장을 숫자 목록으로 바꾸되, 뜻이 비슷한 문장끼리는 숫자도 비슷해지게 만들자는 생각이 나왔다. 이렇게 바꾼 결과가 임베딩이고, 이 변환을 맡는 모델이 임베딩 모델이다.

오늘날 임베딩 모델은 RAG(검색 증강 생성), 챗봇, 시맨틱 검색에서 '찾아오는 단계'를 맡는다. LLM이 아무리 뛰어나도 엉뚱한 문서를 건네받으면 답이 틀린다. 임베딩 모델 선택 프레임워크 연구논문는 임베딩 모델 선택을 검색 시스템을 만들 때 결과에 가장 큰 영향을 주는 결정 중 하나로 꼽는다. 그런데도 가장 덜 따져 보는 결정이라고 지적한다.

임베딩은 검색에만 쓰이지 않는다. ADEPT논문는 시계열 같은 원자료를 글로 풀어 쓴 뒤 텍스트 임베딩으로 표현했다. 이렇게 해서 데이터 수집, 전처리, 피처 엔지니어링으로 이어지는 데이터 엔지니어링 단계를 자동화하려 했다. 이 연구는 누락값이나 깨진 형식이 있는 데이터에서도 의료, 금융, 산업 IoT 데이터셋에서 기존 벤치마크보다 나은 예측 성능을 냈다고 보고했다. 문장을 벡터로 바꾸는 능력이 범용 부품이 되고 있다는 뜻이다.

핵심 아이디어: 의미의 지도에 좌표 찍기

임베딩 모델은 거대한 지도를 만드는 측량사와 비슷하다. 모든 문장에 좌표를 하나씩 매기는데, 뜻이 가까운 문장일수록 지도에서도 가까운 곳에 찍힌다. 다만 실제 지도는 가로와 세로 두 축뿐이지만, 임베딩의 지도는 아주 많은 축을 가진 공간이다. 두 문장이 얼마나 비슷한지는 두 좌표가 얼마나 가까운지로 잰다. 흔히 두 벡터 사이의 각도로 재는 코사인 유사도를 쓴다.

이 설계의 핵심 선택은 '문장 하나를 벡터 하나로 압축한다'는 것이다. 이렇게 하면 수백만 건의 문서를 미리 벡터로 바꿔 저장해 둘 수 있다. 질문이 들어오면 질문 하나만 벡터로 바꾸고 가까운 좌표를 찾으면 되므로 빠르다. 대신 압축하면서 정보를 잃는다. '2% 성장'과 '20% 성장'이 거의 같은 자리에 찍히는 일이 생기는 이유가 여기에 있다.

그래서 다른 방식과의 맞바꿈이 생긴다. 토큰마다 벡터를 따로 남겨 질문과 문서를 토큰 단위로 맞대 보는 ColBERT 계열의 Late Interaction 방식은 세부 정보를 더 많이 보존한다. 대신 저장할 것과 계산할 것이 늘어난다. 암하라어 검색 연구논문에서는 ColBERT 기반 모델이 평가한 모델 가운데 가장 높은 MRR@10(0.843)을 기록했다. 벡터 하나짜리 모델은 속도와 단순함을, 토큰 단위 모델은 정밀함을 얻는 구조다. 마지막에 리랭커(재순위화 모델)를 붙이는 것도 같은 맞바꿈을 메우는 방법이다.

어떻게 작동하나

한 문장이 벡터가 되기까지는 네 단계를 거친다. 첫째, 토크나이저가 문장을 토큰(단어나 단어 조각)으로 쪼갠다. 둘째, 트랜스포머가 토큰마다 주변 문맥을 반영한 Representation을 만든다. 셋째, 풀링 단계에서 토큰별 벡터를 하나로 합친다. 평균을 내는 방식이 흔하고, 특정 토큰의 벡터를 대표로 쓰기도 한다. 넷째, 이렇게 나온 벡터 하나가 그 문장의 좌표가 된다.

모델이 '비슷함'을 배우는 방법은 대조 학습(contrastive learning)이다. 질문과 정답 문서처럼 관련 있는 쌍은 가깝게, 관련 없는 쌍은 멀게 밀어내도록 학습한다. 엔터티 매칭 연구논문가 쓴 Triplet 학습은 '기준 기록, 같은 대상의 기록, 비슷하지만 다른 대상의 기록' 세 개를 한 묶음으로 쓴다. 정답 쌍이 오답 쌍보다 일정한 간격(margin) 이상 가깝도록 학습시킨다. 결국 모델이 말하는 '비슷하다'는 학습 데이터가 정한 기준이다. 이 점이 뒤에 나올 한계와 맞춤 학습을 이해하는 열쇠다.

검색 시스템에 넣으면 흐름은 이렇다. 미리 문서를 청킹(문서 분할)으로 적당한 크기로 자르고, 조각마다 임베딩해 벡터 DB에 저장한다. 질문이 오면 반드시 같은 임베딩 모델로 질문을 벡터로 바꾼다. 그다음 ANN 검색(근사 최근접 이웃 검색)으로 가까운 조각 후보를 빠르게 추리고, 필요하면 리랭커로 순서를 다시 매긴다. 선택 프레임워크 연구논문는 모델 선택을 따로 떼어 보지 말라고 한다. 임베딩 생성, 색인과 대규모 검색, 청킹 전략까지 이어진 파이프라인 안의 한 결정으로 봐야 한다는 것이다. 챗봇처럼 대화가 이어지는 경우에는 이전 메시지까지 넣어 검색해야 할 때가 있다. Hakim논문은 이런 대화 기록을 반영한 검색을 설계 목표로 삼았다.

발전 흐름: 범용 모델에서 맞춤 모델로

이번 자료의 출발점 연구들은 한 줄로 이어진 계보라기보다 같은 질문을 서로 다른 각도에서 다룬다. 그 질문은 '범용 임베딩 모델로 충분한가, 아니면 맞춰야 하나'다. 첫 번째 축은 언어다. Hakim논문은 대규모 임베딩 연구에서 소외된 페르시아어를 위해 학습 데이터셋 세 개를 새로 만들었다. 그 결과 FaMTEB 벤치마크에서 기존 방식보다 8.5% 높은 성능을 냈다고 보고했다. 암하라어 검색 연구논문는 이 효과를 더 분명히 보여 준다. 1억 1천만(110M) 파라미터의 암하라어 전용 모델이 5억 6,800만(568M) 파라미터의 다국어 모델 Arctic Embed 2.0보다 MRR@10에서 17.6%(상대값), Recall@10에서 9.86% 높았다. 42M 크기의 더 작은 변형도 13배 넘게 작으면서 경쟁력을 유지했다.

두 번째 축은 '비슷함'의 기준이다. 엔터티 매칭 연구논문는 범용 임베딩이 의미의 비슷함에는 강하다고 본다. 반면 같은 회사나 같은 사람을 가리키는 기록인지 가려내는 데는 맞춰져 있지 않다고 지적한다. 기록 몇 글자 차이가 같은 대상일 수도, 전혀 다른 대상일 수도 있기 때문이다. 이 연구는 합성 데이터로 Triplet 파인튜닝을 했고, 진짜 일치와 아주 비슷한 불일치를 구분하는 능력이 크게 좋아졌다고 보고했다.

세 번째 축은 고르는 법이다. 선택 프레임워크 연구논문는 상용 API 모델과 여러 오픈소스 모델을 영어 검색 과제에서 비교했다. 그리고 리더보드 1위 모델이 특정 배포 환경에서 최선인 경우는 드물다고 결론 내렸다. 그래서 과제, 지연 시간, 비용, 배포 제약에 따라 고르는 실무 기준을 제시한다. 정리하면 범용 모델은 출발점일 뿐이고, 언어, 도메인, '같다'의 정의가 다르면 맞춰야 한다는 것이 이 연구들의 공통된 결론이다.

요즘 어디로 가고 있나

맞춤이 중요하다는 데는 합의가 있지만, 문제는 비용이다. 맞춤 학습에는 '이 질문에는 이 문서가 맞다'는 쌍이 많이 필요하다. 이런 데이터를 사람이 설계하는 일은 비싸다. SYNTRA논문는 이 병목을 직접 다룬다. 라벨 없는 문서 묶음과 질문-문서 예시 몇 개만 주면, 에이전트가 그 안에 숨은 정보 요구와 관련성 기준을 추론한다. 이어서 시험 출력에 대한 피드백으로 질문 생성 지시문과 관련성 판정 지시문을 스스로 다듬는다. 15개 도메인 24개 데이터셋에서 같은 흐름으로 쓸 만한 학습 데이터를 만들었다. 평가한 6개 과제 중 4개에서는 사람이 보정한 것보다 나은 검색 성능을 냈다. MS MARCO에서는 합성 데이터 양을 32배 범위로 늘리는 동안 성능 향상이 계속됐다고 보고했다.

다른 흐름은 '다시 학습하지 않고 바꾸기'다. 최근 임베딩 모델은 질문 앞에 '이 질문과 관련된 법률 조항을 찾아라' 같은 지시문을 붙여 쓰기도 한다. 하지만 대조 학습만으로는 지시를 잘 따르지 못하는 경우가 많다. Attention Relay논문는 이미 지시를 잘 따르는 LLM의 어텐션 가중치를 임베딩 모델의 어텐션에 그대로 넘겨주는 방법을 제안했다. 추가 학습은 없다. Qwen3, Llama 3.1, OLMo 3 계열 LLM 6개와 임베딩 모델 10개의 조합 대부분이 지시를 반영하게 됐다. 지시가 묻는 측면이 임베딩에서 두드러지고, 평균을 내면서 희석됐던 측면도 되살아났다고 한다.

두 흐름 모두 같은 문제의식에서 나왔다. '비슷함'의 기준을 업무마다 다르게 맞춰야 하는데, 그 비용을 줄이려는 것이다. SYNTRA는 데이터를 싸게 만드는 쪽에서, Attention Relay는 학습 자체를 건너뛰는 쪽에서 접근한다.

한계와 쟁점

첫째, 이상한 토큰 하나가 결과를 흔들 수 있다. Sticky 토큰 연구논문는 문장에 반복해 넣으면 유사도를 특정 값 쪽으로 끌어당기는 토큰을 찾아냈다. 14개 모델 계열의 체크포인트 40개에서 이런 토큰을 모두 868개 발견했다. 이 토큰들은 주로 어휘집의 특수 항목이나 쓰이지 않는 항목, 다국어 말뭉치에서 잘게 쪼개진 단어 조각에서 나왔다. 모델이나 어휘집이 크다고 덜 생기는 것도 아니었다. 클러스터링과 검색 같은 후속 과제에서는 성능이 최대 50%까지 떨어졌다. 외부 문서를 그대로 색인하는 시스템이라면 신경 써야 할 부분이다.

둘째, 숫자에 약하다. 숫자 감각 연구논문는 금융 맥락의 합성 데이터로 널리 쓰이는 임베딩 모델 13개를 평가했다. 모델들은 대체로 숫자의 세부를 정확히 담지 못했다. '시장 점유율이 2% 늘었다'와 '20% 늘었다'는 뜻이 크게 다르지만 임베딩에서는 비슷하게 보일 수 있다. 금융이나 의료처럼 숫자가 중요한 분야에서는 임베딩 검색만 믿지 말고 숫자 필터나 키워드 조건을 함께 거는 편이 안전하다.

셋째, 결과가 모델에 크게 좌우된다. 과학 지도 연구논문는 OpenAlex 논문 50만 편의 제목과 초록을 모델 10개로 임베딩해 비교했다. 26개 학문 분야를 평균 위치로 놓은 큰 배치는 모델이 달라도 비슷했다. 하지만 같은 분야, 같은 시기 안에서 한 논문과 가장 가까운 25편을 뽑으면 두 모델이 평균 8편만 겹쳤다. 제목만 넣느냐 초록까지 넣느냐에 따라서도 목록이 크게 바뀌었다. 모델을 바꾸면 사용자가 보는 검색 결과도 실제로 달라진다는 뜻이다. 그래서 모델을 교체할 때는 전체 문서를 다시 임베딩하고 다시 평가해야 한다.

흔한 실수도 정리해 둔다. 리더보드 점수만 보고 고르는 것, 문서와 질문을 서로 다른 모델로 임베딩하는 것, 범용 모델의 '비슷함'을 업무의 '같음'(같은 고객, 같은 계약)과 혼동하는 것이다. 모델만 탓하면서 청킹 전략을 점검하지 않는 것도 자주 보인다.

실무에서 고르는 법과 더 공부하려면

모델을 고를 때는 순서가 있다. 먼저 내 데이터로 만든 작은 평가 세트(Evals)를 준비한다. 실제 질문과 그 질문에 맞는 문서 쌍을 모으면 된다. 그다음 후보 모델 여러 개를 같은 청킹 조건에서 비교한다. 선택 프레임워크 연구논문가 말하듯 정확도만이 아니라 지연 시간, 비용, 배포 제약(외부 API를 쓸 수 있는지, 사내에서 직접 돌려야 하는지)을 함께 따진다. 한국어 이외의 언어나 특수 도메인이라면 작은 특화 모델이 큰 범용 모델보다 나을 수 있다. 암하라어 사례논문가 그렇다. 성능이 모자라면 파인튜닝을 검토하고, 학습 데이터가 부족하면 SYNTRA논문 같은 합성 데이터 접근을 참고한다.

임베딩 검색만 쓰기보다 키워드 검색을 섞는 하이브리드 검색, 그리고 리랭커를 함께 쓰면 숫자나 고유명사처럼 임베딩이 약한 부분을 보완할 수 있다. 이는 앞의 한계 절에서 본 약점에서 바로 나오는 판단이다.

더 공부하려면 선택 프레임워크 연구논문부터 읽기를 권한다. 임베딩 생성부터 색인, 청킹까지 검색 파이프라인 전체를 한 번에 훑어 준다. 그다음 맞춤의 효과를 수치로 보여 주는 암하라어 검색 연구논문와, '비슷함'과 '같음'의 차이를 다룬 엔터티 매칭 연구논문를 읽으면 왜 맞춰야 하는지 감이 잡힌다. 약점을 알고 싶다면 Sticky 토큰논문과 숫자 감각논문 연구를, 최신 흐름이 궁금하다면 SYNTRA논문와 Attention Relay논문를 이어서 보면 된다.