Revisitando un Dolor de Cabeza: Un Punto de Referencia de Razonamiento Semántico para Modelos de Lenguaje
Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models
April 17, 2026
Autores: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang
cs.AI
Resumen
Presentamos SemanticQA, una suite de evaluación diseñada para valorar a los modelos de lenguaje (LM) en tareas de procesamiento de frases semánticas. El benchmark consolida recursos existentes de expresiones multipalabra (MwE) y los reorganiza en un banco de pruebas unificado. Abarca tanto fenómenos léxicos generales, como las colocaciones léxicas, como tres categorías detalladas: expresiones idiomáticas, compuestos nominales y construcciones verbales. A través de SemanticQA, evaluamos LM de diversas arquitecturas y escalas en tareas de extracción, clasificación e interpretación, así como en composiciones secuenciales de tareas. Revelamos una variación sustancial en el rendimiento, particularmente en tareas que requieren razonamiento semántico, lo que pone de relieve diferencias en la eficacia del razonamiento y la comprensión semántica de los LM, ofreciendo perspectivas para impulsar modelos con una comprensión más sólida de frases semánticas no triviales. El sistema de evaluación y los datos de SemanticQA están disponibles en https://github.com/jacklanda/SemanticQA.
English
We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.