Natürliche Sprachsteuerung durch Programmsynthese

Natural Language Commanding via Program Synthesis

June 6, 2023

Autoren: Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar

cs.AI

Zusammenfassung

Wir stellen Semantic Interpreter vor, ein KI-System für Produktivitätssoftware wie Microsoft Office, das benutzerfreundlich für natürliche Sprache ist und große Sprachmodelle (LLMs) nutzt, um Benutzerabsichten über Anwendungsfunktionen hinweg auszuführen. Während LLMs hervorragend darin sind, Benutzerabsichten zu verstehen, die in natürlicher Sprache ausgedrückt werden, reichen sie allein nicht aus, um anwendungsspezifische Benutzerabsichten zu erfüllen, die mehr als Text-zu-Text-Transformationen erfordern. Daher führen wir die Office Domain Specific Language (ODSL) ein, eine prägnante, hochrangige Sprache, die speziell für die Ausführung von Aktionen und die Interaktion mit Entitäten in Office-Anwendungen entwickelt wurde. Semantic Interpreter nutzt eine Analyse-Retrieval-Prompt-Konstruktionsmethode mit LLMs für die Programmsynthese, indem es Benutzeräußerungen in natürlicher Sprache in ODSL-Programme übersetzt, die dann in Anwendungs-APIs transpiliert und ausgeführt werden können. Unsere Diskussion konzentriert sich hauptsächlich auf eine Forschungsexploration für Microsoft PowerPoint.

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.