Prompting Gramatical para Geração de Linguagem Específica de Domínio com Modelos de Linguagem de Grande Escala

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Autores: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) podem aprender a realizar uma ampla gama de tarefas de linguagem natural a partir de apenas alguns exemplos em contexto. No entanto, para gerar strings de linguagens altamente estruturadas (por exemplo, análise semântica para linguagens específicas de domínio complexas), é desafiador para o LLM generalizar a partir de apenas alguns exemplos. Exploramos o prompting gramatical como uma abordagem simples para permitir que LLMs utilizem conhecimento externo e restrições específicas de domínio, expressas por meio de uma gramática na Forma de Backus-Naur (BNF), durante o aprendizado em contexto. O prompting gramatical aumenta cada exemplo de demonstração com uma gramática especializada que é minimamente suficiente para gerar o exemplo de saída específico, onde a gramática especializada é um subconjunto da gramática completa da DSL. Para inferência, o LLM primeiro prevê uma gramática BNF dado um input de teste e, em seguida, gera a saída de acordo com as regras da gramática. Experimentos demonstram que o prompting gramatical pode permitir que LLMs desempenhem de forma competitiva em um conjunto diversificado de tarefas de geração de DSL, incluindo análise semântica (SMCalFlow, Overnight, GeoQuery), planejamento PDDL e até mesmo geração de moléculas (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).