Декомпозиция и интерпретация сложных высказываний на естественном языке

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Авторы: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Аннотация

Интерфейсы на естественном языке часто требуют размеченных данных для преобразования запросов пользователей в программы, запросы к базам данных или другие структурированные представления намерений. В процессе сбора данных бывает сложно предвидеть и формализовать весь спектр потребностей пользователей. Например, в системе, предназначенной для обработки простых запросов (например, "найди мои встречи на завтра" или "перенеси мою встречу с руководителем на полдень"), пользователи могут также выражать более сложные запросы (например, "поменяй местами все мои звонки в понедельник и вторник"). Мы представляем подход, позволяющий простой модели преобразования языка в код обрабатывать сложные высказывания с помощью иерархической декомпозиции естественного языка. Наш подход использует предобученную языковую модель для разложения сложного высказывания на последовательность более простых шагов на естественном языке, а затем интерпретирует каждый шаг с помощью модели преобразования языка в код. Для тестирования нашего подхода мы собираем и публикуем DeCU — новый бенчмарк для оценки декомпозиции сложных высказываний (NL-to-program). Эксперименты показывают, что предложенный подход позволяет интерпретировать сложные высказывания практически без сложных обучающих данных, превосходя стандартные подходы с использованием few-shot промптов.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.