Ativando o Raciocínio Multi-Salto para Resposta a Perguntas em Modelos de Linguagem Usando Prompts Suaves e Caminhadas Aleatórias
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
June 6, 2023
Autores: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri
cs.AI
Resumo
Apesar de memorizarem facilmente o conhecimento mundial sobre entidades, os modelos de linguagem pré-treinados (LMs) têm dificuldade em combinar dois ou mais fatos para realizar raciocínio multi-hop em tarefas de questionamento. Neste trabalho, propomos técnicas que superam essa limitação ao se basear em caminhadas aleatórias sobre grafos de conhecimento estruturados. Especificamente, usamos prompts suaves para orientar os LMs a encadear seu conhecimento codificado, aprendendo a mapear perguntas multi-hop para caminhos de caminhada aleatória que levam à resposta. A aplicação de nossos métodos em dois modelos T5 LMs mostra melhorias substanciais em relação às abordagens de ajuste padrão ao responder perguntas que exigem raciocínio de 2 hops.
English
Despite readily memorizing world knowledge about entities, pre-trained
language models (LMs) struggle to compose together two or more facts to perform
multi-hop reasoning in question-answering tasks. In this work, we propose
techniques that improve upon this limitation by relying on random walks over
structured knowledge graphs. Specifically, we use soft prompts to guide LMs to
chain together their encoded knowledge by learning to map multi-hop questions
to random walk paths that lead to the answer. Applying our methods on two T5
LMs shows substantial improvements over standard tuning approaches in answering
questions that require 2-hop reasoning.