HUME: Het meten van de prestatiekloof tussen mens en model in tekstembeddingstaken

HUME: Measuring the Human-Model Performance Gap in Text Embedding Task

October 11, 2025

Auteurs: Adnan El Assadi, Isaac Chung, Roman Solomatin, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

Samenvatting

Het vergelijken van menselijke en modelprestaties biedt een waardevol perspectief voor het begrijpen van de sterke punten en beperkingen van embeddingmodellen, en benadrukt waar ze slagen en waar ze falen in het vastleggen van betekenis en nuance. Dergelijke vergelijkingen worden echter zelden gemaakt, omdat menselijke prestaties op embeddingtaken moeilijk te meten zijn. Om deze leemte op te vullen, introduceren we HUME: Human Evaluation Framework for Text Embeddings. Terwijl frameworks zoals MTEB brede model evaluatie bieden, ontbreekt het hen aan betrouwbare schattingen van menselijke prestaties, wat de interpreteerbaarheid van modelscores beperkt. We meten menselijke prestaties op 16 MTEB-datasets die reranking, classificatie, clustering en semantische tekstuele gelijkenis omvatten, over taalkundig diverse hoog- en laag-resource talen. Mensen behalen een gemiddelde prestatie van 77,6% vergeleken met 80,1% voor het beste embeddingmodel, hoewel de variatie aanzienlijk is: modellen bereiken bijna maximale prestaties op sommige datasets terwijl ze op andere moeite hebben, wat wijst op datasetproblemen en tekortkomingen in laag-resource talen aan het licht brengt. We bieden menselijke prestatie-baselines, inzicht in patronen van taakmoeilijkheid en een uitbreidbaar evaluatieframework dat een betekenisvollere interpretatie van het model mogelijk maakt en de ontwikkeling van zowel modellen als benchmarks informeert. Onze code, dataset en leaderboard zijn publiekelijk beschikbaar op https://github.com/embeddings-benchmark/mteb.

English

Comparing human and model performance offers a valuable perspective for understanding the strengths and limitations of embedding models, highlighting where they succeed and where they fail to capture meaning and nuance. However, such comparisons are rarely made, as human performance on embedding tasks is difficult to measure. To fill this gap, we introduce HUME: Human Evaluation Framework for Text Embeddings. While frameworks like MTEB provide broad model evaluation, they lack reliable estimates of human performance, limiting the interpretability of model scores. We measure human performance across 16 MTEB datasets spanning reranking, classification, clustering, and semantic textual similarity across linguistically diverse high- and low-resource languages. Humans achieve an average performance of 77.6% compared to 80.1% for the best embedding model, although variation is substantial: models reach near-ceiling performance on some datasets while struggling on others, suggesting dataset issues and revealing shortcomings in low-resource languages. We provide human performance baselines, insight into task difficulty patterns, and an extensible evaluation framework that enables a more meaningful interpretation of the model and informs the development of both models and benchmarks. Our code, dataset, and leaderboard are publicly available at https://github.com/embeddings-benchmark/mteb.