HUME : Mesurer l'écart de performance entre l'humain et le modèle dans la tâche d'incorporation de texte

HUME: Measuring the Human-Model Performance Gap in Text Embedding Task

October 11, 2025

papers.authors: Adnan El Assadi, Isaac Chung, Roman Solomatin, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

papers.abstract

La comparaison entre les performances humaines et celles des modèles offre une perspective précieuse pour comprendre les forces et les limites des modèles d'embedding, mettant en lumière leurs succès et leurs échecs à capturer le sens et les nuances. Cependant, de telles comparaisons sont rarement effectuées, car la performance humaine sur les tâches d'embedding est difficile à mesurer. Pour combler cette lacune, nous introduisons HUME : un cadre d'évaluation humaine pour les embeddings de texte. Bien que des cadres comme MTEB fournissent une évaluation large des modèles, ils manquent d'estimations fiables de la performance humaine, limitant ainsi l'interprétabilité des scores des modèles. Nous mesurons la performance humaine sur 16 ensembles de données MTEB couvrant des tâches de reranking, de classification, de clustering et de similarité sémantique textuelle, dans des langues à ressources linguistiques élevées et faibles. Les humains atteignent une performance moyenne de 77,6 % contre 80,1 % pour le meilleur modèle d'embedding, bien que la variation soit importante : les modèles atteignent des performances quasi maximales sur certains ensembles de données tout en peinant sur d'autres, suggérant des problèmes liés aux données et révélant des lacunes dans les langues à faibles ressources. Nous fournissons des références de performance humaine, des insights sur les schémas de difficulté des tâches, et un cadre d'évaluation extensible qui permet une interprétation plus significative des modèles et guide le développement à la fois des modèles et des benchmarks. Notre code, nos ensembles de données et notre classement sont disponibles publiquement à l'adresse suivante : https://github.com/embeddings-benchmark/mteb.

English

Comparing human and model performance offers a valuable perspective for understanding the strengths and limitations of embedding models, highlighting where they succeed and where they fail to capture meaning and nuance. However, such comparisons are rarely made, as human performance on embedding tasks is difficult to measure. To fill this gap, we introduce HUME: Human Evaluation Framework for Text Embeddings. While frameworks like MTEB provide broad model evaluation, they lack reliable estimates of human performance, limiting the interpretability of model scores. We measure human performance across 16 MTEB datasets spanning reranking, classification, clustering, and semantic textual similarity across linguistically diverse high- and low-resource languages. Humans achieve an average performance of 77.6% compared to 80.1% for the best embedding model, although variation is substantial: models reach near-ceiling performance on some datasets while struggling on others, suggesting dataset issues and revealing shortcomings in low-resource languages. We provide human performance baselines, insight into task difficulty patterns, and an extensible evaluation framework that enables a more meaningful interpretation of the model and informs the development of both models and benchmarks. Our code, dataset, and leaderboard are publicly available at https://github.com/embeddings-benchmark/mteb.