Natuurlijke Taalcommando's via Programmasynthese

Natural Language Commanding via Program Synthesis

June 6, 2023

Auteurs: Apurva Gandhi, Thong Q. Nguyen, Huitian Jiao, Robert Steen, Ameya Bhatawdekar

cs.AI

Samenvatting

We presenteren Semantic Interpreter, een AI-systeem dat gebruiksvriendelijk is voor natuurlijke taal en is ontworpen voor productiviteitssoftware zoals Microsoft Office. Het systeem maakt gebruik van grote taalmodelen (LLM's) om gebruikersintenties uit te voeren via applicatiefuncties. Hoewel LLM's uitstekend zijn in het begrijpen van gebruikersintenties die in natuurlijke taal worden uitgedrukt, zijn ze niet voldoende om applicatiespecifieke gebruikersintenties te vervullen die meer vereisen dan tekst-naar-tekst transformaties. Daarom introduceren we de Office Domain Specific Language (ODSL), een beknopte, hoogwaardige taal die gespecialiseerd is voor het uitvoeren van acties en het interactie hebben met entiteiten in Office-applicaties. Semantic Interpreter maakt gebruik van een Analysis-Retrieval promptconstructiemethode met LLM's voor programma-synthese, waarbij natuurlijke taalgebruikersuitingen worden vertaald naar ODSL-programma's die kunnen worden omgezet naar applicatie-API's en vervolgens worden uitgevoerd. We richten onze discussie voornamelijk op een onderzoeksexploratie voor Microsoft PowerPoint.

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.