Descomposición e Interpretación del Lenguaje Natural de Expresiones Complejas

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Autores: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Resumen

Las interfaces de lenguaje natural a menudo requieren datos supervisados para traducir las solicitudes de los usuarios en programas, consultas de bases de datos u otras representaciones estructuradas de intenciones. Durante la recopilación de datos, puede ser difícil anticipar y formalizar la gama completa de necesidades de los usuarios. Por ejemplo, en un sistema diseñado para manejar solicitudes simples (como encontrar mis reuniones de mañana o mover mi reunión con mi gerente al mediodía), los usuarios también pueden expresar solicitudes más elaboradas (como intercambiar todas mis llamadas del lunes y martes). Introducimos un enfoque para equipar un modelo simple de lenguaje a código para manejar expresiones complejas mediante un proceso de descomposición jerárquica del lenguaje natural. Nuestro enfoque utiliza un modelo de lenguaje preentrenado para descomponer una expresión compleja en una secuencia de pasos más pequeños en lenguaje natural, luego interpreta cada paso utilizando el modelo de lenguaje a código. Para probar nuestro enfoque, recopilamos y publicamos DeCU, un nuevo punto de referencia de lenguaje natural a programa para evaluar la Descomposición de Expresiones Complejas. Los experimentos muestran que el enfoque propuesto permite la interpretación de expresiones complejas con casi ningún dato de entrenamiento complejo, superando los enfoques estándar de indicación de pocos ejemplos.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.