Natuurlijke Taalontleding en Interpretatie van Complexe Uitingen

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Auteurs: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Samenvatting

Natuurlijke taalinterfaces vereisen vaak begeleide gegevens om gebruikersverzoeken te vertalen naar programma's, databasequery's of andere gestructureerde intentieweergaven. Tijdens het verzamelen van gegevens kan het moeilijk zijn om het volledige scala aan gebruikersbehoeften te voorzien en te formaliseren -- bijvoorbeeld, in een systeem dat ontworpen is om eenvoudige verzoeken af te handelen (zoals 'vind mijn vergaderingen morgen' of 'verplaats mijn vergadering met mijn manager naar 12 uur'), kunnen gebruikers ook meer uitgebreide verzoeken uiten (zoals 'wissel al mijn gesprekken op maandag en dinsdag om'). Wij introduceren een aanpak om een eenvoudig taal-naar-code-model uit te rusten om complexe uitingen te verwerken via een proces van hiërarchische natuurlijke taalontleding. Onze aanpak gebruikt een vooraf getraind taalmodel om een complexe uiting te ontleden in een reeks kleinere natuurlijke taalstappen, waarna elke stap wordt geïnterpreteerd met behulp van het taal-naar-code-model. Om onze aanpak te testen, verzamelen en publiceren we DeCU -- een nieuwe NL-naar-programma-benchmark om de Ontleding van Complexe Uitingen te evalueren. Experimenten tonen aan dat de voorgestelde aanpak de interpretatie van complexe uitingen mogelijk maakt met bijna geen complexe trainingsgegevens, terwijl het standaard few-shot prompting-benaderingen overtreft.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.