プログラム合成による自然言語コマンド実行

要旨

Semantic Interpreterを紹介します。これは、Microsoft Officeなどの生産性ソフトウェア向けの自然言語に親和性のあるAIシステムで、大規模言語モデル（LLM）を活用してアプリケーション機能全体でユーザーの意図を実行します。LLMは自然言語で表現されたユーザーの意図を理解するのに優れていますが、テキストからテキストへの変換以上のものを必要とするアプリケーション固有のユーザー意図を実現するには不十分です。そこで、Officeアプリケーション内でのアクション実行やエンティティとの相互作用に特化した簡潔で高水準の言語であるOfficeドメイン固有言語（ODSL）を導入します。Semantic Interpreterは、LLMを用いたAnalysis-Retrievalプロンプト構築手法を活用してプログラム合成を行い、自然言語のユーザー発話をODSLプログラムに変換します。このプログラムはアプリケーションAPIにトランスパイルされ、実行されます。本稿では主に、Microsoft PowerPointを対象とした研究探求に焦点を当てます。

English

We present Semantic Interpreter, a natural language-friendly AI system for productivity software such as Microsoft Office that leverages large language models (LLMs) to execute user intent across application features. While LLMs are excellent at understanding user intent expressed as natural language, they are not sufficient for fulfilling application-specific user intent that requires more than text-to-text transformations. We therefore introduce the Office Domain Specific Language (ODSL), a concise, high-level language specialized for performing actions in and interacting with entities in Office applications. Semantic Interpreter leverages an Analysis-Retrieval prompt construction method with LLMs for program synthesis, translating natural language user utterances to ODSL programs that can be transpiled to application APIs and then executed. We focus our discussion primarily on a research exploration for Microsoft PowerPoint.

プログラム合成による自然言語コマンド実行

Natural Language Commanding via Program Synthesis

要旨

Support