목의 통증 재고찰: 언어 모델을 위한 의미론적 추론 벤치마크

초록

우리는 언어 모델의 의미론적 구문 처리 과제 평가를 위해 설계된 평가 도구인 SemanticQA를 소개한다. 이 벤치마크는 기존 다중 단어 표현(MwE) 자원을 통합하고 이를 일관된 테스트베드로 재구성하였다. 여기에는 어휘적 연어와 같은 일반적인 어휘 현상과 더불어 관용 표현, 명사 합성어, 동사 구조 등 세 가지 세분화된 범주가 포함된다. SemanticQA를 통해 우리는 다양한 아키텍처와 규모의 언어 모델을 대상으로 추출, 분류, 해석 과제 및 순차적 과제 구성 능력을 평가하였다. 특히 의미론적 추론이 필요한 과제에서 상당한 성능 변동을 확인하였으며, 이는 언어 모델 간 추론 효율성과 의미론적 이해의 차이를 부각시켜, 비단순적 의미 구문에 대한更强的 이해력을 갖춘 언어 모델 개발을 위한 통찰을 제공한다. SemanticQA의 평가 도구 및 데이터는 https://github.com/jacklanda/SemanticQA에서 이용 가능하다.

English

We present SemanticQA, an evaluation suite designed to assess language models (LMs) in semantic phrase processing tasks. The benchmark consolidates existing multiword expression (MwE) resources and reorganizes them into a unified testbed. It covers both general lexical phenomena, such as lexical collocations, and three fine-grained categories: idiomatic expressions, noun compounds, and verbal constructions. Through SemanticQA, we assess LMs of diverse architectures and scales in extraction, classification, and interpretation tasks, as well as sequential task compositions. We reveal substantial performance variation, particularly on tasks requiring semantic reasoning, highlighting differences in reasoning efficacy and semantic understanding of LMs, providing insights for pushing LMs with stronger comprehension on non-trivial semantic phrases. The evaluation harness and data of SemanticQA are available at https://github.com/jacklanda/SemanticQA.

목의 통증 재고찰: 언어 모델을 위한 의미론적 추론 벤치마크

Revisiting a Pain in the Neck: A Semantic Reasoning Benchmark for Language Models

초록

Support