Prompting Grammaticale per la Generazione di Linguaggio Specifico di Dominio con Modelli Linguistici di Grande Scala

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Autori: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Abstract

I grandi modelli linguistici (LLM) possono imparare a eseguire un'ampia gamma di attività di elaborazione del linguaggio naturale partendo da pochi esempi contestuali. Tuttavia, per generare stringhe da linguaggi altamente strutturati (ad esempio, il parsing semantico verso linguaggi specifici di dominio complessi), è difficile per un LLM generalizzare a partire da pochi esempi. Esploriamo il prompting grammaticale come approccio semplice per consentire agli LLM di utilizzare conoscenze esterne e vincoli specifici del dominio, espressi attraverso una grammatica in Forma di Backus-Naur (BNF), durante l'apprendimento contestuale. Il prompting grammaticale arricchisce ogni esempio dimostrativo con una grammatica specializzata che è minimamente sufficiente per generare il particolare esempio di output, dove la grammatica specializzata è un sottoinsieme della grammatica completa del DSL. Per l'inferenza, l'LLM predice prima una grammatica BNF dato un input di test, e poi genera l'output secondo le regole della grammatica. Gli esperimenti dimostrano che il prompting grammaticale può consentire agli LLM di ottenere risultati competitivi su un insieme diversificato di task di generazione di DSL, tra cui parsing semantico (SMCalFlow, Overnight, GeoQuery), pianificazione PDDL e persino generazione di molecole (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).