Riconsiderare un Dolore al Collo: Un Benchmark di Ragionamento Semantico per i Modelli Linguistici
Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models
April 17, 2026
Autori: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang
cs.AI
Abstract
Presentiamo SemanticQA, una suite di valutazione progettata per testare i modelli linguistici (LM) in compiti di elaborazione di frasi semantiche. Il benchmark consolida risorse esistenti sulle espressioni polirematiche (MwE) e le riorganizza in un banco di prova unificato. Copre sia fenomeni lessicali generali, come le collocazioni lessicali, sia tre categorie granulari: espressioni idiomatiche, composti nominali e costruzioni verbali. Attraverso SemanticQA, valutiamo LM di diverse architetture e dimensioni in compiti di estrazione, classificazione e interpretazione, nonché in composizioni sequenziali di attività. Riveliamo una variazione prestazionale sostanziale, specialmente nei compiti che richiedono ragionamento semantico, evidenziando differenze nell'efficacia del ragionamento e nella comprensione semantica degli LM, fornendo spunti per sviluppare modelli linguistici con una comprensione più solida di frasi semantiche non banali. L'infrastruttura di valutazione e i dati di SemanticQA sono disponibili su https://github.com/jacklanda/SemanticQA.
English
We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.