HUME: Misurare il Divario di Prestazione Uomo-Modello nei Compiti di Embedding Testuale

HUME: Measuring the Human-Model Performance Gap in Text Embedding Task

October 11, 2025

Autori: Adnan El Assadi, Isaac Chung, Roman Solomatin, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

Abstract

Il confronto tra le prestazioni umane e quelle dei modelli offre una prospettiva preziosa per comprendere i punti di forza e i limiti dei modelli di embedding, evidenziando dove riescono a cogliere il significato e le sfumature e dove invece falliscono. Tuttavia, tali confronti sono raramente effettuati, poiché le prestazioni umane nei compiti di embedding sono difficili da misurare. Per colmare questa lacuna, introduciamo HUME: Human Evaluation Framework for Text Embeddings. Mentre framework come MTEB forniscono una valutazione ampia dei modelli, mancano di stime affidabili delle prestazioni umane, limitando l'interpretabilità dei punteggi dei modelli. Misuriamo le prestazioni umane su 16 dataset MTEB che coprono attività di reranking, classificazione, clustering e similarità semantica testuale in lingue ad alta e bassa risorsa linguisticamente diverse. Gli esseri umani raggiungono una prestazione media del 77,6% rispetto all'80,1% del miglior modello di embedding, sebbene la variazione sia significativa: i modelli raggiungono prestazioni quasi massimali su alcuni dataset mentre faticano su altri, suggerendo problemi nei dataset e rivelando carenze nelle lingue a bassa risorsa. Forniamo baseline delle prestazioni umane, approfondimenti sui modelli di difficoltà dei task e un framework di valutazione estensibile che consente un'interpretazione più significativa del modello e informa lo sviluppo sia dei modelli che dei benchmark. Il nostro codice, dataset e leaderboard sono disponibili pubblicamente all'indirizzo https://github.com/embeddings-benchmark/mteb.

English

Comparing human and model performance offers a valuable perspective for understanding the strengths and limitations of embedding models, highlighting where they succeed and where they fail to capture meaning and nuance. However, such comparisons are rarely made, as human performance on embedding tasks is difficult to measure. To fill this gap, we introduce HUME: Human Evaluation Framework for Text Embeddings. While frameworks like MTEB provide broad model evaluation, they lack reliable estimates of human performance, limiting the interpretability of model scores. We measure human performance across 16 MTEB datasets spanning reranking, classification, clustering, and semantic textual similarity across linguistically diverse high- and low-resource languages. Humans achieve an average performance of 77.6% compared to 80.1% for the best embedding model, although variation is substantial: models reach near-ceiling performance on some datasets while struggling on others, suggesting dataset issues and revealing shortcomings in low-resource languages. We provide human performance baselines, insight into task difficulty patterns, and an extensible evaluation framework that enables a more meaningful interpretation of the model and informs the development of both models and benchmarks. Our code, dataset, and leaderboard are publicly available at https://github.com/embeddings-benchmark/mteb.