Attivazione del Ragionamento a Multi-Salto per il Question Answering nei Modelli Linguistici Utilizzando Prompt Soft e Cammini Casuali

Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks

June 6, 2023

Autori: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri

cs.AI

Abstract

Nonostante i modelli linguistici pre-addestrati (LMs) memorizzino facilmente la conoscenza mondiale sulle entità, faticano a combinare due o più fatti per eseguire ragionamenti multi-hop nei compiti di risposta alle domande. In questo lavoro, proponiamo tecniche che migliorano questa limitazione basandosi su cammini casuali su grafi di conoscenza strutturati. Nello specifico, utilizziamo prompt soft per guidare i LMs a concatenare la loro conoscenza codificata, apprendendo a mappare domande multi-hop su percorsi di cammini casuali che portano alla risposta. L'applicazione dei nostri metodi su due modelli T5 LMs mostra miglioramenti sostanziali rispetto agli approcci di tuning standard nel rispondere a domande che richiedono ragionamenti a 2-hop.

English

Despite readily memorizing world knowledge about entities, pre-trained language models (LMs) struggle to compose together two or more facts to perform multi-hop reasoning in question-answering tasks. In this work, we propose techniques that improve upon this limitation by relying on random walks over structured knowledge graphs. Specifically, we use soft prompts to guide LMs to chain together their encoded knowledge by learning to map multi-hop questions to random walk paths that lead to the answer. Applying our methods on two T5 LMs shows substantial improvements over standard tuning approaches in answering questions that require 2-hop reasoning.