Grammatik-Prompting für domänenspezifische Sprachgenerierung mit großen Sprachmodellen

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Autoren: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) können lernen, eine Vielzahl von natürlichen Sprachaufgaben anhand nur weniger Beispiele im Kontext auszuführen. Allerdings ist es für LLMs eine Herausforderung, bei der Erzeugung von Zeichenketten aus hochstrukturierten Sprachen (z. B. semantisches Parsing in komplexen domänenspezifischen Sprachen) aus nur wenigen Beispielen zu verallgemeinern. Wir untersuchen Grammatik-Prompting als einen einfachen Ansatz, um LLMs zu ermöglichen, externes Wissen und domänenspezifische Einschränkungen, die durch eine Grammatik in Backus-Naur-Form (BNF) ausgedrückt werden, während des Lernens im Kontext zu nutzen. Grammatik-Prompting erweitert jedes Demonstrationsbeispiel mit einer spezialisierten Grammatik, die minimal ausreichend ist, um das jeweilige Ausgabebeispiel zu erzeugen, wobei die spezialisierte Grammatik eine Teilmenge der vollständigen DSL-Grammatik darstellt. Für die Inferenz sagt das LLM zunächst eine BNF-Grammatik für eine Testeingabe voraus und erzeugt dann die Ausgabe gemäß den Regeln der Grammatik. Experimente zeigen, dass Grammatik-Prompting LLMs in der Lage macht, auf einer vielfältigen Reihe von DSL-Erzeugungsaufgaben wettbewerbsfähig abzuschneiden, darunter semantisches Parsing (SMCalFlow, Overnight, GeoQuery), PDDL-Planung und sogar Molekülgenerierung (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).