Активация многошагового рассуждения для ответов на вопросы в языковых моделях с использованием мягких подсказок и случайных блужданий

Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks

June 6, 2023

Авторы: Kanishka Misra, Cicero Nogueira dos Santos, Siamak Shakeri

cs.AI

Аннотация

Несмотря на способность легко запоминать информацию о сущностях, предварительно обученные языковые модели (LMs) испытывают трудности с объединением двух или более фактов для выполнения многошагового рассуждения в задачах ответа на вопросы. В данной работе мы предлагаем методы, которые улучшают эту ограниченность, используя случайные блуждания по структурированным графам знаний. В частности, мы применяем мягкие подсказки, чтобы направлять языковые модели в объединении их закодированных знаний, обучая их сопоставлять многошаговые вопросы с путями случайного блуждания, ведущими к ответу. Применение наших методов на двух моделях T5 демонстрирует значительные улучшения по сравнению с традиционными подходами настройки в ответах на вопросы, требующие 2-шагового рассуждения.

English

Despite readily memorizing world knowledge about entities, pre-trained language models (LMs) struggle to compose together two or more facts to perform multi-hop reasoning in question-answering tasks. In this work, we propose techniques that improve upon this limitation by relying on random walks over structured knowledge graphs. Specifically, we use soft prompts to guide LMs to chain together their encoded knowledge by learning to map multi-hop questions to random walk paths that lead to the answer. Applying our methods on two T5 LMs shows substantial improvements over standard tuning approaches in answering questions that require 2-hop reasoning.