PlaSma: Transformando Modelos de Linguagem Pequenos em Melhores Modelos de Conhecimento Procedimental para Planejamento (Contrafactual)

PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning

May 31, 2023

Autores: Faeze Brahman, Chandra Bhagavatula, Valentina Pyatkin, Jena D. Hwang, Xiang Lorraine Li, Hirona J. Arai, Soumya Sanyal, Keisuke Sakaguchi, Xiang Ren, Yejin Choi

cs.AI

Resumo

O planejamento procedural, que envolve a decomposição de um objetivo de alto nível em uma sequência de etapas temporalmente ordenadas, é uma tarefa importante, porém complexa, para máquinas. Ele requer a integração de conhecimento de senso comum para raciocinar sobre situações contextualizadas complexas que frequentemente são contrafactuais, como, por exemplo, "marcar uma consulta médica sem um telefone". Embora as abordagens atuais mostrem resultados encorajadores ao utilizar modelos de linguagem de grande escala (LLMs), elas são limitadas por desvantagens, como chamadas de API custosas e problemas de reprodutibilidade. Neste artigo, defendemos o planejamento utilizando modelos de linguagem menores. Apresentamos o PlaSma, uma nova abordagem de duas vertentes para dotar modelos de linguagem menores de conhecimento procedural e capacidades de planejamento (contrafactual). Mais concretamente, desenvolvemos a destilação de conhecimento procedural simbólico para aprimorar o conhecimento implícito em modelos de linguagem menores e um algoritmo de inferência em tempo real para facilitar um raciocínio mais estruturado e preciso. Além disso, introduzimos uma nova tarefa, o Planejamento Contrafactual, que exige a revisão de um plano para lidar com uma situação contrafactual. Tanto no cenário original quanto no contrafactual, demonstramos que modelos ordens de magnitude menores (770M-11B parâmetros) podem competir e, frequentemente, superar as capacidades de seus modelos maiores de referência.

English

Procedural planning, which entails decomposing a high-level goal into a sequence of temporally ordered steps, is an important yet intricate task for machines. It involves integrating common-sense knowledge to reason about complex contextualized situations that are often counterfactual, e.g. "scheduling a doctor's appointment without a phone". While current approaches show encouraging results using large language models (LLMs), they are hindered by drawbacks such as costly API calls and reproducibility issues. In this paper, we advocate planning using smaller language models. We present PlaSma, a novel two-pronged approach to endow small language models with procedural knowledge and (counterfactual) planning capabilities. More concretely, we develop symbolic procedural knowledge distillation to enhance the implicit knowledge in small language models and an inference-time algorithm to facilitate more structured and accurate reasoning. In addition, we introduce a novel task, Counterfactual Planning, that requires a revision of a plan to cope with a counterfactual situation. In both the original and counterfactual setting, we show that orders-of-magnitude smaller models (770M-11B parameters) can compete and often surpass their larger teacher models' capabilities.