Revisitando uma Dor de Cabeça: Um Benchmark de Raciocínio Semântico para Modelos de Linguagem
Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models
April 17, 2026
Autores: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang
cs.AI
Resumo
Apresentamos o SemanticQA, um conjunto de avaliação concebido para testar modelos de linguagem (ML) em tarefas de processamento de frases semânticas. O *benchmark* consolida recursos existentes de expressões multipalavra (EMPs) e reorganiza-os num banco de testes unificado. Abrange tanto fenómenos lexicais gerais, como colocações lexicais, como três categorias específicas: expressões idiomáticas, compostos nominais e construções verbais. Através do SemanticQA, avaliamos MLs de diversas arquiteturas e escalas em tarefas de extração, classificação e interpretação, bem como em composições sequenciais de tarefas. Revelamos uma variação substancial de desempenho, particularmente em tarefas que exigem raciocínio semântico, destacando diferenças na eficácia do raciocínio e na compreensão semântica dos MLs, fornecendo insights para impulsionar MLs com uma compreensão mais robusta de frases semânticas não triviais. O *harness* de avaliação e os dados do SemanticQA estão disponíveis em https://github.com/jacklanda/SemanticQA.
English
We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.