HUME: Измерение разрыва в производительности между человеком и моделью в задаче текстового эмбеддинга

HUME: Measuring the Human-Model Performance Gap in Text Embedding Task

October 11, 2025

Авторы: Adnan El Assadi, Isaac Chung, Roman Solomatin, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

Аннотация

Сравнение производительности человека и моделей предоставляет ценный взгляд на понимание сильных сторон и ограничений моделей эмбиддингов, выделяя области, где они преуспевают, и где они не способны уловить смысл и нюансы. Однако такие сравнения редко проводятся, поскольку производительность человека в задачах эмбиддинга сложно измерить. Чтобы заполнить этот пробел, мы представляем HUME: Фреймворк для оценки текстовых эмбиддингов человеком. В то время как фреймворки, такие как MTEB, предоставляют широкую оценку моделей, они не включают надежных оценок человеческой производительности, что ограничивает интерпретируемость результатов моделей. Мы измеряем производительность человека на 16 наборах данных MTEB, охватывающих задачи ранжирования, классификации, кластеризации и семантического текстового сходства для лингвистически разнообразных языков с высоким и низким уровнем ресурсов. Люди достигают средней производительности 77,6% по сравнению с 80,1% у лучшей модели эмбиддингов, хотя вариация значительна: модели демонстрируют почти максимальную производительность на некоторых наборах данных, но испытывают трудности на других, что указывает на проблемы с наборами данных и выявляет недостатки в языках с низким уровнем ресурсов. Мы предоставляем базовые показатели человеческой производительности, инсайты о закономерностях сложности задач и расширяемый фреймворк оценки, который позволяет более осмысленно интерпретировать результаты моделей и информирует разработку как моделей, так и бенчмарков. Наш код, набор данных и таблица лидеров доступны публично по адресу https://github.com/embeddings-benchmark/mteb.

English

Comparing human and model performance offers a valuable perspective for understanding the strengths and limitations of embedding models, highlighting where they succeed and where they fail to capture meaning and nuance. However, such comparisons are rarely made, as human performance on embedding tasks is difficult to measure. To fill this gap, we introduce HUME: Human Evaluation Framework for Text Embeddings. While frameworks like MTEB provide broad model evaluation, they lack reliable estimates of human performance, limiting the interpretability of model scores. We measure human performance across 16 MTEB datasets spanning reranking, classification, clustering, and semantic textual similarity across linguistically diverse high- and low-resource languages. Humans achieve an average performance of 77.6% compared to 80.1% for the best embedding model, although variation is substantial: models reach near-ceiling performance on some datasets while struggling on others, suggesting dataset issues and revealing shortcomings in low-resource languages. We provide human performance baselines, insight into task difficulty patterns, and an extensible evaluation framework that enables a more meaningful interpretation of the model and informs the development of both models and benchmarks. Our code, dataset, and leaderboard are publicly available at https://github.com/embeddings-benchmark/mteb.