Décomposition et interprétation du langage naturel pour les énoncés complexes

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Auteurs: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Résumé

Les interfaces en langage naturel nécessitent souvent des données supervisées pour traduire les requêtes des utilisateurs en programmes, requêtes de base de données ou autres représentations structurées d'intention. Lors de la collecte de données, il peut être difficile d'anticiper et de formaliser l'ensemble des besoins des utilisateurs. Par exemple, dans un système conçu pour gérer des requêtes simples (comme trouver mes réunions demain ou déplacer ma réunion avec mon manager à midi), les utilisateurs peuvent également exprimer des requêtes plus élaborées (comme échanger tous mes appels de lundi et mardi). Nous introduisons une approche pour équiper un modèle simple de conversion du langage en code afin de gérer des énoncés complexes via un processus de décomposition hiérarchique du langage naturel. Notre approche utilise un modèle de langage pré-entraîné pour décomposer un énoncé complexe en une séquence d'étapes plus petites en langage naturel, puis interprète chaque étape à l'aide du modèle de conversion du langage en code. Pour tester notre approche, nous collectons et publions DeCU -- un nouveau benchmark NL-to-program pour évaluer la Décomposition des Énoncés Complexes. Les expériences montrent que l'approche proposée permet l'interprétation d'énoncés complexes avec presque aucune donnée d'entraînement complexe, tout en surpassant les approches standard de prompting en few-shot.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.