Auslösen von Mehrschrittigem Schlussfolgern für Frage-Antwort-Systeme in Sprachmodellen durch Soft Prompts und Zufällige Pfade
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
June 6, 2023
Autoren: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri
cs.AI
Zusammenfassung
Obwohl vortrainierte Sprachmodelle (LMs) problemlos Weltwissen über Entitäten speichern können, haben sie Schwierigkeiten, zwei oder mehr Fakten zu kombinieren, um mehrstufiges Reasoning in Frage-Antwort-Aufgaben durchzuführen. In dieser Arbeit schlagen wir Techniken vor, die diese Einschränkung durch den Einsatz von Zufallspfaden auf strukturierten Wissensgraphen überwinden. Konkret verwenden wir Soft Prompts, um LMs dabei zu unterstützen, ihr kodiertes Wissen zu verknüpfen, indem sie lernen, mehrstufige Fragen auf Zufallspfade abzubilden, die zur Antwort führen. Die Anwendung unserer Methoden auf zwei T5-LMs zeigt deutliche Verbesserungen gegenüber Standard-Finetuning-Ansätzen bei der Beantwortung von Fragen, die 2-stufiges Reasoning erfordern.
English
Despite readily memorizing world knowledge about entities, pre-trained
language models (LMs) struggle to compose together two or more facts to perform
multi-hop reasoning in question-answering tasks. In this work, we propose
techniques that improve upon this limitation by relying on random walks over
structured knowledge graphs. Specifically, we use soft prompts to guide LMs to
chain together their encoded knowledge by learning to map multi-hop questions
to random walk paths that lead to the answer. Applying our methods on two T5
LMs shows substantial improvements over standard tuning approaches in answering
questions that require 2-hop reasoning.