Natürliche Sprachzerlegung und Interpretation komplexer Äußerungen

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Autoren: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Zusammenfassung

Natürliche Sprachschnittstellen benötigen oft überwachte Daten, um Benutzeranfragen in Programme, Datenbankabfragen oder andere strukturierte Intent-Darstellungen zu übersetzen. Während der Datenerfassung kann es schwierig sein, die gesamte Bandbreite der Benutzerbedürfnisse vorherzusehen und zu formalisieren – zum Beispiel könnte in einem System, das für einfache Anfragen entwickelt wurde (wie „finde meine Termine für morgen“ oder „verschiebe mein Meeting mit meinem Vorgesetzten auf 12 Uhr“), Benutzer auch komplexere Anfragen äußern (wie „tausche alle meine Anrufe am Montag und Dienstag“). Wir stellen einen Ansatz vor, um ein einfaches Sprach-zu-Code-Modell durch einen Prozess der hierarchischen Zerlegung natürlicher Sprache zu befähigen, komplexe Äußerungen zu verarbeiten. Unser Ansatz verwendet ein vortrainiertes Sprachmodell, um eine komplexe Äußerung in eine Sequenz kleinerer natürlicher Sprachschritte zu zerlegen, und interpretiert dann jeden Schritt mithilfe des Sprach-zu-Code-Modells. Um unseren Ansatz zu testen, sammeln und veröffentlichen wir DeCU – einen neuen NL-zu-Programm-Benchmark zur Bewertung der Zerlegung komplexer Äußerungen. Experimente zeigen, dass der vorgeschlagene Ansatz die Interpretation komplexer Äußerungen mit nahezu keinen komplexen Trainingsdaten ermöglicht und dabei Standard-Few-Shot-Prompting-Ansätze übertrifft.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.