Commande en Langage Naturel via Synthèse de Programme

Natural Language Commanding via Program Synthesis

June 6, 2023

Auteurs: Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar

cs.AI

Résumé

Nous présentons Semantic Interpreter, un système d'IA convivial pour le langage naturel destiné aux logiciels de productivité tels que Microsoft Office, qui exploite les modèles de langage de grande taille (LLMs) pour exécuter l'intention de l'utilisateur à travers les fonctionnalités des applications. Bien que les LLMs soient excellents pour comprendre l'intention de l'utilisateur exprimée en langage naturel, ils ne suffisent pas à satisfaire les intentions spécifiques aux applications qui nécessitent plus que des transformations texte-à-texte. Nous introduisons donc l'Office Domain Specific Language (ODSL), un langage concis et de haut niveau spécialisé pour effectuer des actions et interagir avec les entités dans les applications Office. Semantic Interpreter utilise une méthode de construction d'invites d'analyse-récupération avec les LLMs pour la synthèse de programmes, traduisant les énoncés en langage naturel de l'utilisateur en programmes ODSL qui peuvent être transpilés en APIs d'applications puis exécutés. Nous concentrons notre discussion principalement sur une exploration de recherche pour Microsoft PowerPoint.

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.