임베더의 딜레마: LLM이 더 우수하지만, 그 대가는 무엇인가?

초록

텍스트 임베딩 파이프라인을 대규모 언어 모델로 대체해야 할까요? 우리는 6개 계열의 LLM 10개와 118M~14B 파라미터 규모의 임베딩 모델 26개를 분류, 의미론적 텍스트 유사도(STS), 군집화, 쌍 분류, 검색을 포괄하는 37개 작업에서 비용을 고려한 통제된 비교를 통해 이 질문에 답합니다. 전체적으로 두 패러다임은 사실상 동률입니다. 최고 LLM(Gemini 3.1 Pro, 77.6)과 최고 임베딩 모델(77.2)의 차이는 0.4포인트에 불과합니다. 강점은 작업별로 다릅니다. LLM은 추론 중심 검색에서 앞서고, 임베딩 모델은 분류에서 앞서며, 군집화, STS, 쌍 분류에서는 둘의 성능이 동일합니다. 그러나 이러한 동등성에 도달하는 데는 비용이 많이 듭니다. LLM은 유사한 품질의 임베딩 모델보다 벤치마크 1회 실행당 최대 1,431배 더 많은 비용이 소요되며(USD 154 대 USD 0.11), 테스트한 오픈 LLM은 동일 GPU에서 토큰을 2.5~736배 더 느리게 처리합니다. 추론 토큰은 LLM 추론 비용의 28~81%를 차지하며, 절제 실험에서 대부분의 모델은 추론 예산을 낮출 때 검색 품질을 유지하거나 개선했습니다. 파레토 최적 경계에는 선도적인 임베딩 모델과 단 하나의 LLM인 Gemini 3.1 Pro가 포함됩니다. 이러한 결과는 역할 분담을 지지합니다. 유사도, 분류, 군집화에는 임베딩 모델을 사용하고, 추론 집약적 검색에는 LLM을 사용하는 것입니다. 우리의 코드, 데이터셋, 결과는 https://github.com/embeddings-benchmark/embedders-dilemma에서 공개적으로 이용할 수 있습니다.

English

Should you replace your text-embedding pipeline with a large language model? We answer this with a controlled, cost-aware comparison of ten LLMs across six families and 26 embedding models (118M to 14B parameters) on 37 tasks spanning classification, semantic textual similarity (STS), clustering, pair classification, and retrieval. In aggregate the two paradigms are effectively tied: the best LLM (Gemini 3.1 Pro, 77.6) and the best embedding model (77.2) differ by 0.4 points. Their strengths differ by task: LLMs lead on reasoning-heavy retrieval, embedding models lead on classification, and the two match on clustering, STS, and pair classification. Reaching that parity is expensive. An LLM costs up to 1,431x more than an embedding model of comparable quality (USD 154 vs. USD 0.11 per benchmark pass), and the open LLMs tested process tokens 2.5 to 736x more slowly on the same GPU. Reasoning tokens account for 28 to 81% of LLM inference cost; lower reasoning budgets preserve or improve retrieval quality for most models in our ablation. The Pareto frontier contains the leading embedding models and one LLM, Gemini 3.1 Pro. These results support a division of labour: use embedding models for similarity, classification, and clustering, and reserve LLMs for reasoning-intensive retrieval. Our code, datasets, and results are publicly available at https://github.com/embeddings-benchmark/embedders-dilemma.