Incitation Grammaticale pour la Génération de Langage Spécifique à un Domaine avec des Modèles de Langage à Grande Échelle

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Auteurs: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Résumé

Les grands modèles de langage (LLMs) peuvent apprendre à exécuter un large éventail de tâches de traitement du langage naturel à partir de seulement quelques exemples en contexte. Cependant, pour générer des chaînes de caractères à partir de langages hautement structurés (par exemple, l'analyse sémantique vers des langages spécifiques à un domaine complexes), il est difficile pour un LLM de généraliser à partir de seulement quelques exemples. Nous explorons l'incitation grammaticale comme une approche simple permettant aux LLMs d'utiliser des connaissances externes et des contraintes spécifiques à un domaine, exprimées à travers une grammaire en forme de Backus-Naur (BNF), lors de l'apprentissage en contexte. L'incitation grammaticale enrichit chaque exemple de démonstration avec une grammaire spécialisée qui est minimalement suffisante pour générer l'exemple de sortie particulier, où la grammaire spécialisée est un sous-ensemble de la grammaire complète du langage spécifique au domaine (DSL). Pour l'inférence, le LLM prédit d'abord une grammaire BNF étant donné une entrée de test, puis génère la sortie selon les règles de la grammaire. Les expériences montrent que l'incitation grammaticale peut permettre aux LLMs de performer de manière compétitive sur un ensemble diversifié de tâches de génération de DSL, incluant l'analyse sémantique (SMCalFlow, Overnight, GeoQuery), la planification PDDL, et même la génération de molécules (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).