GRS-QA -- グラフ推論構造化質問応答データセット

GRS-QA -- Graph Reasoning-Structured Question Answering Dataset

November 1, 2024

著者: Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang

cs.AI

要旨

大規模言語モデル（LLM）は、高度な推論能力により、マルチホップ質問応答（M-QA）で優れた成績を収めています。ただし、LLMのM-QAパフォーマンスにおける固有の推論構造の影響は不明確であり、それはQAデータセットが詳細な推論構造を提供していないことが主な理由です。このギャップを埋めるために、私たちはグラフ推論構造化質問応答データセット（GRS-QA）を導入しました。このデータセットには、QAペアのための意味的文脈と推論構造の両方が含まれています。既存のM-QAデータセットとは異なり、異なる推論構造が絡み合っているものではなく、GRS-QAは推論グラフを構築することで複雑な推論経路を明示的に捉え、ノードがテキストコンテキストを表し、エッジが論理的なフローを示します。これら異なる構造の推論グラフは、さまざまな推論構造にわたるLLMの推論能力を詳細に評価することを可能にします。私たちの経験的分析により、LLMは異なる推論構造を扱う際に異なるパフォーマンスを発揮することが明らかになりました。この知見は、意味と比較してテキスト構造の探索を促進します。

English

Large Language Models (LLMs) have excelled in multi-hop question-answering (M-QA) due to their advanced reasoning abilities. However, the impact of the inherent reasoning structures on LLM M-QA performance remains unclear, largely due to the absence of QA datasets that provide fine-grained reasoning structures. To address this gap, we introduce the Graph Reasoning-Structured Question Answering Dataset (GRS-QA), which includes both semantic contexts and reasoning structures for QA pairs. Unlike existing M-QA datasets, where different reasoning structures are entangled together, GRS-QA explicitly captures intricate reasoning pathways by constructing reasoning graphs, where nodes represent textual contexts and edges denote logical flows. These reasoning graphs of different structures enable a fine-grained evaluation of LLM reasoning capabilities across various reasoning structures. Our empirical analysis reveals that LLMs perform differently when handling questions with varying reasoning structures. This finding facilitates the exploration of textual structures as compared with semantics.