Déclenchement du raisonnement à sauts multiples pour la réponse aux questions dans les modèles de langage en utilisant des prompts souples et des marches aléatoires

Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks

June 6, 2023

Auteurs: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri

cs.AI

Résumé

Bien qu'ils mémorisent facilement les connaissances générales sur les entités, les modèles de langage pré-entraînés (LMs) peinent à combiner deux faits ou plus pour effectuer un raisonnement multi-étapes dans les tâches de question-réponse. Dans ce travail, nous proposons des techniques qui améliorent cette limitation en s'appuyant sur des marches aléatoires sur des graphes de connaissances structurés. Plus précisément, nous utilisons des prompts souples pour guider les LMs à enchaîner leurs connaissances encodées en apprenant à mapper des questions multi-étapes vers des chemins de marche aléatoire menant à la réponse. L'application de nos méthodes sur deux modèles T5 montre des améliorations substantielles par rapport aux approches de réglage standard pour répondre à des questions nécessitant un raisonnement à 2 étapes.

English

Despite readily memorizing world knowledge about entities, pre-trained language models (LMs) struggle to compose together two or more facts to perform multi-hop reasoning in question-answering tasks. In this work, we propose techniques that improve upon this limitation by relying on random walks over structured knowledge graphs. Specifically, we use soft prompts to guide LMs to chain together their encoded knowledge by learning to map multi-hop questions to random walk paths that lead to the answer. Applying our methods on two T5 LMs shows substantial improvements over standard tuning approaches in answering questions that require 2-hop reasoning.