Comando in Linguaggio Naturale tramite Sintesi di Programmi

Natural Language Commanding via Program Synthesis

June 6, 2023

Autori: Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar

cs.AI

Abstract

Presentiamo Semantic Interpreter, un sistema AI compatibile con il linguaggio naturale per software di produttività come Microsoft Office, che sfrutta i grandi modelli linguistici (LLM) per eseguire l'intento dell'utente attraverso le funzionalità delle applicazioni. Sebbene i LLM siano eccellenti nel comprendere l'intento dell'utente espresso in linguaggio naturale, non sono sufficienti per soddisfare l'intento specifico dell'applicazione che richiede più di semplici trasformazioni da testo a testo. Introduciamo quindi l'Office Domain Specific Language (ODSL), un linguaggio conciso e di alto livello specializzato per eseguire azioni e interagire con entità nelle applicazioni Office. Semantic Interpreter utilizza un metodo di costruzione di prompt di Analisi-Recupero con LLM per la sintesi di programmi, traducendo le espressioni in linguaggio naturale dell'utente in programmi ODSL che possono essere transpilati nelle API dell'applicazione e poi eseguiti. Concentriamo la nostra discussione principalmente su un'esplorazione di ricerca per Microsoft PowerPoint.

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.