Inducción Gramatical para la Generación de Lenguaje Específico de Dominio con Modelos de Lenguaje a Gran Escala

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Autores: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) pueden aprender a realizar una amplia gama de tareas de lenguaje natural a partir de solo un puñado de ejemplos en contexto. Sin embargo, para generar cadenas de lenguajes altamente estructurados (por ejemplo, análisis semántico hacia lenguajes específicos de dominio complejos), es un desafío para el LLM generalizar a partir de solo unos pocos ejemplos. Exploramos el "grammar prompting" (sugerencia gramatical) como un enfoque simple para permitir que los LLMs utilicen conocimiento externo y restricciones específicas de dominio, expresadas a través de una gramática en Forma de Backus-Naur (BNF), durante el aprendizaje en contexto. El "grammar prompting" complementa cada ejemplo de demostración con una gramática especializada que es mínimamente suficiente para generar el ejemplo de salida particular, donde la gramática especializada es un subconjunto de la gramática completa del DSL. Para la inferencia, el LLM primero predice una gramática BNF dado una entrada de prueba, y luego genera la salida de acuerdo con las reglas de la gramática. Los experimentos demuestran que el "grammar prompting" puede permitir que los LLMs se desempeñen de manera competitiva en un conjunto diverso de tareas de generación de DSL, incluyendo análisis semántico (SMCalFlow, Overnight, GeoQuery), planificación PDDL e incluso generación de moléculas (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).