Переосмысление проблемы: бенчмарк семантических рассуждений для языковых моделей
Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models
April 17, 2026
Авторы: Yang Liu, Hongming Li, Melissa Xiaohui Qin, Qiankun Liu, Chao Huang
cs.AI
Аннотация
Мы представляем SemanticQA — набор инструментов для оценки языковых моделей (ЯМ) в задачах обработки семантических фраз. Данный бенчмарк объединяет существующие ресурсы по многокомпонентным выражениям (МВЕ) и реорганизует их в единую тестовую среду. Он охватывает как общие лексические явления, такие как лексические коллокации, так и три детализированные категории: идиоматические выражения, именные композиты и глагольные конструкции. С помощью SemanticQA мы оцениваем ЯМ различных архитектур и масштабов в задачах извлечения, классификации и интерпретации, а также в композициях последовательных задач. Мы выявляем значительные вариации производительности, особенно в заданиях, требующих семантического рассуждения, что подчеркивает различия в эффективности reasoning и семантическом понимании ЯМ. Эти наблюдения дают основу для развития языковых моделей с более глубоким пониманием нетривиальных семантических фраз. Инструментарий оценки и данные SemanticQA доступны по адресу https://github.com/jacklanda/SemanticQA.
English
We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.