Набор данных GRS-QA -- Набор данных для вопросно-ответной системы на основе графового рассуждения.

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

Авторы: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

Аннотация

Большие языковые модели (LLM) превосходно справляются с многошаговым вопросно-ответным моделированием (M-QA) благодаря своим продвинутым способностям к рассуждениям. Однако влияние встроенных структур рассуждений на производительность LLM в M-QA остается неясным, в значительной степени из-за отсутствия наборов данных для вопросно-ответных задач, предоставляющих тонкие структуры рассуждений. Для решения этого пробела мы представляем набор данных для вопросно-ответных задач с графовой структурой рассуждений (GRS-QA), который включает как семантические контексты, так и структуры рассуждений для пар вопрос-ответ. В отличие от существующих наборов данных M-QA, где различные структуры рассуждений переплетены, GRS-QA явно фиксирует сложные пути рассуждений путем построения графов рассуждений, где узлы представляют текстовые контексты, а ребра обозначают логические потоки. Эти графы рассуждений различных структур позволяют тонко оценить способности LLM к рассуждениям по различным структурам рассуждений. Наше эмпирическое анализ показывает, что LLM проявляют различное поведение при обработке вопросов с различными структурами рассуждений. Это открытие способствует исследованию текстовых структур по сравнению с семантикой.

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.