PlaSma: Verbesserung kleiner Sprachmodelle als Modelle für prozedurales Wissen für (kontrafaktische) Planung

PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning

May 31, 2023

Autoren: Faeze Brahman, Chandra Bhagavatula, Valentina Pyatkin, Jena D. Hwang, Xiang Lorraine Li, Hirona J. Arai, Soumya Sanyal, Keisuke Sakaguchi, Xiang Ren, Yejin Choi

cs.AI

Zusammenfassung

Prozedurale Planung, die die Zerlegung eines übergeordneten Ziels in eine Sequenz zeitlich geordneter Schritte umfasst, ist eine wichtige, aber komplexe Aufgabe für Maschinen. Sie erfordert die Integration von Alltagswissen, um über komplexe, kontextualisierte Situationen zu schlussfolgern, die oft kontrafaktisch sind, z.B. „einen Arzttermin ohne Telefon vereinbaren“. Obwohl aktuelle Ansätze mit großen Sprachmodellen (LLMs) vielversprechende Ergebnisse zeigen, werden sie durch Nachteile wie kostspielige API-Aufrufe und Reproduzierbarkeitsprobleme eingeschränkt. In diesem Papier plädieren wir für die Planung mit kleineren Sprachmodellen. Wir stellen PlaSma vor, einen neuartigen zweigleisigen Ansatz, um kleinen Sprachmodellen prozedurales Wissen und (kontrafaktische) Planungsfähigkeiten zu verleihen. Konkret entwickeln wir eine symbolische prozedurale Wissensdestillation, um das implizite Wissen in kleinen Sprachmodellen zu erweitern, sowie einen Inferenzzeit-Algorithmus, um strukturierteres und präziseres Schlussfolgern zu ermöglichen. Zusätzlich führen wir eine neue Aufgabe, die kontrafaktische Planung, ein, die eine Überarbeitung eines Plans erfordert, um mit einer kontrafaktischen Situation umzugehen. Sowohl im ursprünglichen als auch im kontrafaktischen Kontext zeigen wir, dass um Größenordnungen kleinere Modelle (770M-11B Parameter) mit den Fähigkeiten ihrer größeren Lehrermodelle konkurrieren und diese oft übertreffen können.

English

Procedural planning, which entails decomposing a high-level goal into a sequence of temporally ordered steps, is an important yet intricate task for machines. It involves integrating common-sense knowledge to reason about complex contextualized situations that are often counterfactual, e.g. "scheduling a doctor's appointment without a phone". While current approaches show encouraging results using large language models (LLMs), they are hindered by drawbacks such as costly API calls and reproducibility issues. In this paper, we advocate planning using smaller language models. We present PlaSma, a novel two-pronged approach to endow small language models with procedural knowledge and (counterfactual) planning capabilities. More concretely, we develop symbolic procedural knowledge distillation to enhance the implicit knowledge in small language models and an inference-time algorithm to facilitate more structured and accurate reasoning. In addition, we introduce a novel task, Counterfactual Planning, that requires a revision of a plan to cope with a counterfactual situation. In both the original and counterfactual setting, we show that orders-of-magnitude smaller models (770M-11B parameters) can compete and often surpass their larger teacher models' capabilities.