Grammatica-prompting voor domeinspecifieke taalgeneratie met grote taalmmodellen

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Auteurs: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) kunnen leren om een breed scala aan natuurlijke taaltaken uit te voeren aan de hand van slechts een handvol in-context voorbeelden. Voor het genereren van strings uit sterk gestructureerde talen (bijvoorbeeld semantisch parsen naar domeinspecifieke talen met een hoge complexiteit) is het echter een uitdaging voor het LLM om te generaliseren op basis van slechts enkele voorbeelden. Wij onderzoeken grammatica-prompting als een eenvoudige aanpak om LLMs in staat te stellen externe kennis en domeinspecifieke beperkingen te gebruiken, uitgedrukt via een grammatica in Backus-Naur Form (BNF), tijdens in-context leren. Grammatica-prompting verrijkt elk demonstratievoorbeeld met een gespecialiseerde grammatica die minimaal voldoende is voor het genereren van het specifieke uitvoervoorbeeld, waarbij de gespecialiseerde grammatica een subset is van de volledige DSL-grammatica. Voor inferentie voorspelt het LLM eerst een BNF-grammatica op basis van een testinvoer en genereert vervolgens de uitvoer volgens de regels van de grammatica. Experimenten tonen aan dat grammatica-prompting LLMs in staat stelt om competitief te presteren op een diverse set van DSL-generatietaken, waaronder semantisch parsen (SMCalFlow, Overnight, GeoQuery), PDDL-planning en zelfs molecuulgeneratie (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).