Activación del Razonamiento de Múltiples Saltos para la Respuesta a Preguntas en Modelos de Lenguaje mediante Indicaciones Suaves y Caminatas Aleatorias

Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks

June 6, 2023

Autores: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri

cs.AI

Resumen

A pesar de memorizar fácilmente el conocimiento mundial sobre entidades, los modelos de lenguaje preentrenados (LMs) tienen dificultades para combinar dos o más hechos para realizar razonamientos de múltiples saltos en tareas de respuesta a preguntas. En este trabajo, proponemos técnicas que mejoran esta limitación basándonos en caminatas aleatorias sobre grafos de conocimiento estructurados. Específicamente, utilizamos indicaciones suaves (soft prompts) para guiar a los LMs a encadenar su conocimiento codificado, aprendiendo a mapear preguntas de múltiples saltos a trayectorias de caminatas aleatorias que conducen a la respuesta. La aplicación de nuestros métodos en dos modelos T5 muestra mejoras sustanciales sobre los enfoques de ajuste estándar al responder preguntas que requieren razonamiento de 2 saltos.

English

Despite readily memorizing world knowledge about entities, pre-trained language models (LMs) struggle to compose together two or more facts to perform multi-hop reasoning in question-answering tasks. In this work, we propose techniques that improve upon this limitation by relying on random walks over structured knowledge graphs. Specifically, we use soft prompts to guide LMs to chain together their encoded knowledge by learning to map multi-hop questions to random walk paths that lead to the answer. Applying our methods on two T5 LMs shows substantial improvements over standard tuning approaches in answering questions that require 2-hop reasoning.