Scomposizione e interpretazione del linguaggio naturale di enunciati complessi

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Autori: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Abstract

Le interfacce in linguaggio naturale spesso richiedono dati supervisionati per tradurre le richieste degli utenti in programmi, query di database o altre rappresentazioni strutturate dell'intento. Durante la raccolta dei dati, può essere difficile anticipare e formalizzare l'intera gamma di esigenze degli utenti -- ad esempio, in un sistema progettato per gestire richieste semplici (come trova i miei incontri di domani o sposta il mio incontro con il mio manager a mezzogiorno), gli utenti potrebbero esprimere anche richieste più elaborate (come scambia tutte le mie chiamate di lunedì e martedì). Introduciamo un approccio per dotare un semplice modello di linguaggio-a-codice di capacità di gestire espressioni complesse attraverso un processo di decomposizione gerarchica del linguaggio naturale. Il nostro approccio utilizza un modello di linguaggio pre-addestrato per scomporre un'espressione complessa in una sequenza di passaggi più piccoli in linguaggio naturale, per poi interpretare ciascun passaggio utilizzando il modello di linguaggio-a-codice. Per testare il nostro approccio, raccogliamo e rilasciamo DeCU -- un nuovo benchmark NL-to-program per valutare la Decomposizione di Espressioni Complesse (Decomposition of Complex Utterances). Gli esperimenti dimostrano che l'approccio proposto consente l'interpretazione di espressioni complesse con quasi nessun dato di addestramento complesso, superando al contempo gli approcci standard di prompting few-shot.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.