ソフトプロンプトとランダムウォークを用いた言語モデルの質問応答におけるマルチホップ推論のトリガー

Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks

June 6, 2023

著者: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri

cs.AI

要旨

事前学習済み言語モデル（LM）は、エンティティに関する世界知識を容易に記憶するものの、2つ以上の事実を組み合わせて質問応答タスクにおけるマルチホップ推論を実行するのは苦手である。本研究では、構造化された知識グラフ上でのランダムウォークに依存することで、この制限を改善する技術を提案する。具体的には、ソフトプロンプトを使用して、LMがエンコードした知識を連鎖させるよう導き、マルチホップ質問を答えに至るランダムウォーク経路にマッピングすることを学習させる。2つのT5 LMに本手法を適用した結果、2ホップ推論を必要とする質問への回答において、標準的なチューニング手法を大幅に上回る改善が見られた。

English

Despite readily memorizing world knowledge about entities, pre-trained language models (LMs) struggle to compose together two or more facts to perform multi-hop reasoning in question-answering tasks. In this work, we propose techniques that improve upon this limitation by relying on random walks over structured knowledge graphs. Specifically, we use soft prompts to guide LMs to chain together their encoded knowledge by learning to map multi-hop questions to random walk paths that lead to the answer. Applying our methods on two T5 LMs shows substantial improvements over standard tuning approaches in answering questions that require 2-hop reasoning.