PlaSma: Mejorando los modelos de lenguaje pequeños como modelos de conocimiento procedimental para la planificación (contrafáctica)

PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning

May 31, 2023

Autores: Faeze Brahman, Chandra Bhagavatula, Valentina Pyatkin, Jena D. Hwang, Xiang Lorraine Li, Hirona J. Arai, Soumya Sanyal, Keisuke Sakaguchi, Xiang Ren, Yejin Choi

cs.AI

Resumen

La planificación procedural, que implica descomponer un objetivo de alto nivel en una secuencia de pasos ordenados temporalmente, es una tarea importante pero compleja para las máquinas. Requiere integrar conocimiento de sentido común para razonar sobre situaciones contextualizadas complejas que a menudo son contrafactuales, como "programar una cita médica sin un teléfono". Aunque los enfoques actuales muestran resultados alentadores utilizando modelos de lenguaje grandes (LLMs), se ven limitados por inconvenientes como llamadas API costosas y problemas de reproducibilidad. En este artículo, abogamos por la planificación utilizando modelos de lenguaje más pequeños. Presentamos PlaSma, un enfoque novedoso de dos vertientes para dotar a los modelos de lenguaje pequeños de conocimiento procedural y capacidades de planificación (contrafactual). Más concretamente, desarrollamos una destilación simbólica de conocimiento procedural para mejorar el conocimiento implícito en modelos de lenguaje pequeños y un algoritmo de inferencia en tiempo real para facilitar un razonamiento más estructurado y preciso. Además, introducimos una nueva tarea, Planificación Contrafactual, que requiere la revisión de un plan para adaptarse a una situación contrafactual. Tanto en el escenario original como en el contrafactual, demostramos que modelos órdenes de magnitud más pequeños (770M-11B parámetros) pueden competir y, a menudo, superar las capacidades de sus modelos maestros más grandes.

English

Procedural planning, which entails decomposing a high-level goal into a sequence of temporally ordered steps, is an important yet intricate task for machines. It involves integrating common-sense knowledge to reason about complex contextualized situations that are often counterfactual, e.g. "scheduling a doctor's appointment without a phone". While current approaches show encouraging results using large language models (LLMs), they are hindered by drawbacks such as costly API calls and reproducibility issues. In this paper, we advocate planning using smaller language models. We present PlaSma, a novel two-pronged approach to endow small language models with procedural knowledge and (counterfactual) planning capabilities. More concretely, we develop symbolic procedural knowledge distillation to enhance the implicit knowledge in small language models and an inference-time algorithm to facilitate more structured and accurate reasoning. In addition, we introduce a novel task, Counterfactual Planning, that requires a revision of a plan to cope with a counterfactual situation. In both the original and counterfactual setting, we show that orders-of-magnitude smaller models (770M-11B parameters) can compete and often surpass their larger teacher models' capabilities.