Comandos en Lenguaje Natural mediante Síntesis de Programas

Natural Language Commanding via Program Synthesis

June 6, 2023

Autores: Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar

cs.AI

Resumen

Presentamos Semantic Interpreter, un sistema de IA compatible con lenguaje natural para software de productividad como Microsoft Office que aprovecha los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) para ejecutar la intención del usuario a través de las funciones de las aplicaciones. Si bien los LLMs son excelentes para comprender la intención del usuario expresada en lenguaje natural, no son suficientes para cumplir con la intención del usuario específica de la aplicación que requiere más que transformaciones de texto a texto. Por lo tanto, introducimos el Lenguaje Específico del Dominio de Office (ODSL, por sus siglas en inglés), un lenguaje conciso y de alto nivel especializado para realizar acciones e interactuar con entidades en las aplicaciones de Office. Semantic Interpreter utiliza un método de construcción de prompts de Análisis-Recuperación con LLMs para la síntesis de programas, traduciendo las expresiones en lenguaje natural del usuario a programas ODSL que pueden transpilarse a las APIs de las aplicaciones y luego ejecutarse. Centramos nuestra discusión principalmente en una exploración de investigación para Microsoft PowerPoint.

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.