Het activeren van meerlagige redenering voor vraagbeantwoording in taalmodelen met behulp van zachte prompts en willekeurige wandelingen
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
June 6, 2023
Auteurs: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri
cs.AI
Samenvatting
Ondanks het gemakkelijk onthouden van wereldkennis over entiteiten, hebben vooraf getrainde taalmodelen (LMs) moeite om twee of meer feiten samen te voegen om meerstapsredeneringen uit te voeren in vraag-antwoordtaken. In dit werk stellen we technieken voor die deze beperking verbeteren door te vertrouwen op willekeurige wandelingen over gestructureerde kennisgrafieken. Specifiek gebruiken we zachte prompts om LMs te begeleiden bij het aaneenschakelen van hun gecodeerde kennis door te leren om meerstapsvragen te koppelen aan willekeurige wandelpaden die naar het antwoord leiden. Het toepassen van onze methoden op twee T5 LMs laat aanzienlijke verbeteringen zien ten opzichte van standaard afstemmingsbenaderingen bij het beantwoorden van vragen die 2-stapsredeneringen vereisen.
English
Despite readily memorizing world knowledge about entities, pre-trained
language models (LMs) struggle to compose together two or more facts to perform
multi-hop reasoning in question-answering tasks. In this work, we propose
techniques that improve upon this limitation by relying on random walks over
structured knowledge graphs. Specifically, we use soft prompts to guide LMs to
chain together their encoded knowledge by learning to map multi-hop questions
to random walk paths that lead to the answer. Applying our methods on two T5
LMs shows substantial improvements over standard tuning approaches in answering
questions that require 2-hop reasoning.