Грамматическое управление для генерации предметно-ориентированного языка с использованием крупных языковых моделей

Grammar Prompting for Domain-Specific Language Generation with Large Language Models

May 30, 2023

Авторы: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim

cs.AI

Аннотация

Крупные языковые модели (LLM) способны обучаться выполнению широкого спектра задач обработки естественного языка, используя всего несколько примеров в контексте. Однако для генерации строк на основе высокоструктурированных языков (например, семантического анализа в сложных предметно-ориентированных языках) LLM сложно обобщать на основе небольшого числа примеров. Мы исследуем подход грамматического подсказывания как простой способ, позволяющий LLM использовать внешние знания и предметно-ориентированные ограничения, выраженные через грамматику в форме Бэкуса — Наура (BNF), в процессе обучения в контексте. Грамматическое подсказывание дополняет каждый демонстрационный пример специализированной грамматикой, минимально достаточной для генерации конкретного выходного примера, где специализированная грамматика является подмножеством полной грамматики предметно-ориентированного языка. На этапе вывода LLM сначала предсказывает грамматику BNF для тестового входного данных, а затем генерирует выходные данные в соответствии с правилами этой грамматики. Эксперименты показывают, что грамматическое подсказывание позволяет LLM достигать конкурентоспособных результатов на разнообразных задачах генерации предметно-ориентированных языков, включая семантический анализ (SMCalFlow, Overnight, GeoQuery), планирование в PDDL и даже генерацию молекул (SMILES).

English

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore grammar prompting as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus--Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).