소프트 프롬프트와 랜덤 워크를 활용한 언어 모델의 다중 홉 추론 촉진을 통한 질문 응답

초록

사전 학습된 언어 모델(LM)은 엔티티에 대한 세계 지식을 쉽게 기억하지만, 두 개 이상의 사실을 조합하여 질문 응답 작업에서 다중 홉 추론을 수행하는 데 어려움을 겪습니다. 본 연구에서는 구조화된 지식 그래프 위의 랜덤 워크에 의존하여 이러한 한계를 개선하는 기법을 제안합니다. 구체적으로, 우리는 소프트 프롬프트를 사용하여 LM이 다중 홉 질문을 답변으로 이어지는 랜덤 워크 경로에 매핑하는 방법을 학습하도록 유도합니다. 두 개의 T5 LM에 우리의 방법을 적용한 결과, 2홉 추론이 필요한 질문에 대해 표준 튜닝 접근법 대비 상당한 개선을 보였습니다.

English

Despite readily memorizing world knowledge about entities, pre-trained language models (LMs) struggle to compose together two or more facts to perform multi-hop reasoning in question-answering tasks. In this work, we propose techniques that improve upon this limitation by relying on random walks over structured knowledge graphs. Specifically, we use soft prompts to guide LMs to chain together their encoded knowledge by learning to map multi-hop questions to random walk paths that lead to the answer. Applying our methods on two T5 LMs shows substantial improvements over standard tuning approaches in answering questions that require 2-hop reasoning.

소프트 프롬프트와 랜덤 워크를 활용한 언어 모델의 다중 홉 추론 촉진을 통한 질문 응답

Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks

초록

Support