PlaSma: Trasformare i Modelli Linguistici di Piccole Dimensioni in Migliori Modelli di Conoscenza Procedurale per la Pianificazione (Controfattuale)

PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning

May 31, 2023

Autori: Faeze Brahman, Chandra Bhagavatula, Valentina Pyatkin, Jena D. Hwang, Xiang Lorraine Li, Hirona J. Arai, Soumya Sanyal, Keisuke Sakaguchi, Xiang Ren, Yejin Choi

cs.AI

Abstract

La pianificazione procedurale, che implica la scomposizione di un obiettivo di alto livello in una sequenza di passaggi temporalmente ordinati, è un compito importante ma complesso per le macchine. Richiede l'integrazione di conoscenza di senso comune per ragionare su situazioni contestualizzate e spesso controfattuali, ad esempio "prenotare una visita medica senza un telefono". Sebbene gli approcci attuali mostrino risultati promettenti utilizzando modelli linguistici di grandi dimensioni (LLM), sono ostacolati da svantaggi come costose chiamate API e problemi di riproducibilità. In questo articolo, sosteniamo la pianificazione utilizzando modelli linguistici più piccoli. Presentiamo PlaSma, un approccio innovativo a due livelli per dotare i modelli linguistici di piccole dimensioni di conoscenza procedurale e capacità di pianificazione (anche controfattuale). Più concretamente, sviluppiamo una distillazione simbolica della conoscenza procedurale per migliorare la conoscenza implicita nei modelli linguistici di piccole dimensioni e un algoritmo di inferenza per facilitare un ragionamento più strutturato e accurato. Inoltre, introduciamo un nuovo compito, la Pianificazione Controfattuale, che richiede la revisione di un piano per affrontare una situazione controfattuale. Sia nel contesto originale che in quello controfattuale, dimostriamo che modelli di ordini di grandezza più piccoli (770M-11B parametri) possono competere e spesso superare le capacità dei loro modelli insegnanti più grandi.

English

Procedural planning, which entails decomposing a high-level goal into a sequence of temporally ordered steps, is an important yet intricate task for machines. It involves integrating common-sense knowledge to reason about complex contextualized situations that are often counterfactual, e.g. "scheduling a doctor's appointment without a phone". While current approaches show encouraging results using large language models (LLMs), they are hindered by drawbacks such as costly API calls and reproducibility issues. In this paper, we advocate planning using smaller language models. We present PlaSma, a novel two-pronged approach to endow small language models with procedural knowledge and (counterfactual) planning capabilities. More concretely, we develop symbolic procedural knowledge distillation to enhance the implicit knowledge in small language models and an inference-time algorithm to facilitate more structured and accurate reasoning. In addition, we introduce a novel task, Counterfactual Planning, that requires a revision of a plan to cope with a counterfactual situation. In both the original and counterfactual setting, we show that orders-of-magnitude smaller models (770M-11B parameters) can compete and often surpass their larger teacher models' capabilities.