PlaSma: Улучшение небольших языковых моделей для работы с процедурными знаниями в задачах (контрфактического) планирования

PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning

May 31, 2023

Авторы: Faeze Brahman, Chandra Bhagavatula, Valentina Pyatkin, Jena D. Hwang, Xiang Lorraine Li, Hirona J. Arai, Soumya Sanyal, Keisuke Sakaguchi, Xiang Ren, Yejin Choi

cs.AI

Аннотация

Процедурное планирование, которое предполагает декомпозицию высокоуровневой цели в последовательность временно упорядоченных шагов, является важной, но сложной задачей для машин. Оно требует интеграции здравого смысла для рассуждений о сложных контекстуализированных ситуациях, которые часто являются контрфактуальными, например, "запись на прием к врачу без телефона". Хотя современные подходы демонстрируют обнадеживающие результаты с использованием больших языковых моделей (LLM), они ограничены такими недостатками, как дорогостоящие вызовы API и проблемы с воспроизводимостью. В данной статье мы предлагаем планирование с использованием более компактных языковых моделей. Мы представляем PlaSma, новый двухэтапный подход, который наделяет небольшие языковые модели процедурными знаниями и способностями к (контрфактуальному) планированию. Конкретно, мы разрабатываем символическую дистилляцию процедурных знаний для улучшения неявных знаний в небольших языковых моделях и алгоритм для времени вывода, который способствует более структурированному и точному рассуждению. Кроме того, мы вводим новую задачу, Контрфактуальное планирование, которая требует пересмотра плана для адаптации к контрфактуальной ситуации. Как в исходной, так и в контрфактуальной постановке, мы показываем, что модели на порядки меньшего размера (770M-11B параметров) могут конкурировать и часто превосходить возможности своих более крупных моделей-учителей.

English

Procedural planning, which entails decomposing a high-level goal into a sequence of temporally ordered steps, is an important yet intricate task for machines. It involves integrating common-sense knowledge to reason about complex contextualized situations that are often counterfactual, e.g. "scheduling a doctor's appointment without a phone". While current approaches show encouraging results using large language models (LLMs), they are hindered by drawbacks such as costly API calls and reproducibility issues. In this paper, we advocate planning using smaller language models. We present PlaSma, a novel two-pronged approach to endow small language models with procedural knowledge and (counterfactual) planning capabilities. More concretely, we develop symbolic procedural knowledge distillation to enhance the implicit knowledge in small language models and an inference-time algorithm to facilitate more structured and accurate reasoning. In addition, we introduce a novel task, Counterfactual Planning, that requires a revision of a plan to cope with a counterfactual situation. In both the original and counterfactual setting, we show that orders-of-magnitude smaller models (770M-11B parameters) can compete and often surpass their larger teacher models' capabilities.