GRS-QA: Conjunto de datos de Razonamiento de Gráficos y Respuestas a Preguntas Estructuradas

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

Autores: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs) han destacado en la resolución de preguntas de múltiples pasos (M-QA) debido a sus avanzadas habilidades de razonamiento. Sin embargo, el impacto de las estructuras de razonamiento inherentes en el rendimiento de LLM M-QA sigue siendo incierto, en gran parte debido a la ausencia de conjuntos de datos de QA que proporcionen estructuras de razonamiento detalladas. Para abordar esta brecha, presentamos el Conjunto de Datos de Preguntas y Respuestas Estructuradas por Razonamiento en Grafo (GRS-QA), que incluye tanto contextos semánticos como estructuras de razonamiento para pares de preguntas y respuestas. A diferencia de los conjuntos de datos de M-QA existentes, donde diferentes estructuras de razonamiento están entrelazadas, GRS-QA captura explícitamente intrincados caminos de razonamiento mediante la construcción de grafos de razonamiento, donde los nodos representan contextos textuales y los bordes denotan flujos lógicos. Estos grafos de razonamiento de diferentes estructuras permiten una evaluación detallada de las capacidades de razonamiento de LLM en diversas estructuras de razonamiento. Nuestro análisis empírico revela que los LLMs se desempeñan de manera diferente al abordar preguntas con diversas estructuras de razonamiento. Este hallazgo facilita la exploración de estructuras textuales en comparación con la semántica.

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.