Comandos em Linguagem Natural via Síntese de Programas

Natural Language Commanding via Program Synthesis

June 6, 2023

Autores: Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar

cs.AI

Resumo

Apresentamos o Semantic Interpreter, um sistema de IA amigável à linguagem natural para softwares de produtividade, como o Microsoft Office, que utiliza modelos de linguagem de grande escala (LLMs) para executar a intenção do usuário em diversos recursos do aplicativo. Embora os LLMs sejam excelentes em compreender a intenção do usuário expressa em linguagem natural, eles não são suficientes para atender a intenções específicas do aplicativo que exigem mais do que transformações de texto para texto. Portanto, introduzimos a Office Domain Specific Language (ODSL), uma linguagem concisa e de alto nível especializada para realizar ações e interagir com entidades nos aplicativos do Office. O Semantic Interpreter utiliza um método de construção de prompts de Análise-Recuperação com LLMs para síntese de programas, traduzindo expressões em linguagem natural do usuário para programas ODSL que podem ser transpilados para APIs do aplicativo e, em seguida, executados. Nossa discussão concentra-se principalmente em uma exploração de pesquisa para o Microsoft PowerPoint.

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.