Decomposição e Interpretação de Linguagem Natural para Declarações Complexas

Natural Language Decomposition and Interpretation of Complex Utterances

May 15, 2023

Autores: Harsh Jhamtani, Hao Fang, Patrick Xia, Eran Levy, Jacob Andreas, Ben Van Durme

cs.AI

Resumo

Interfaces de linguagem natural frequentemente exigem dados supervisionados para traduzir solicitações dos usuários em programas, consultas de banco de dados ou outras representações estruturadas de intenção. Durante a coleta de dados, pode ser difícil antecipar e formalizar a gama completa de necessidades dos usuários -- por exemplo, em um sistema projetado para lidar com solicitações simples (como encontrar minhas reuniões amanhã ou mover minha reunião com meu gerente para o meio-dia), os usuários também podem expressar solicitações mais elaboradas (como trocar todas as minhas chamadas de segunda e terça-feira). Introduzimos uma abordagem para equipar um modelo simples de linguagem-para-código a lidar com enunciados complexos por meio de um processo de decomposição hierárquica de linguagem natural. Nossa abordagem utiliza um modelo de linguagem pré-treinado para decompor um enunciado complexo em uma sequência de etapas menores de linguagem natural, em seguida, interpreta cada etapa usando o modelo de linguagem-para-código. Para testar nossa abordagem, coletamos e lançamos o DeCU -- um novo benchmark de NL-para-programa para avaliar a Decomposição de Enunciados Complexos. Experimentos mostram que a abordagem proposta permite a interpretação de enunciados complexos com quase nenhum dado de treinamento complexo, superando abordagens padrão de prompting com poucos exemplos.

English

Natural language interfaces often require supervised data to translate user requests into programs, database queries, or other structured intent representations. During data collection, it can be difficult to anticipate and formalize the full range of user needs -- for example, in a system designed to handle simple requests (like find my meetings tomorrow or move my meeting with my manager to noon), users may also express more elaborate requests (like swap all my calls on Monday and Tuesday). We introduce an approach for equipping a simple language-to-code model to handle complex utterances via a process of hierarchical natural language decomposition. Our approach uses a pre-trained language model to decompose a complex utterance into a sequence of smaller natural language steps, then interprets each step using the language-to-code model. To test our approach, we collect and release DeCU -- a new NL-to-program benchmark to evaluate Decomposition of Complex Utterances. Experiments show that the proposed approach enables the interpretation of complex utterances with almost no complex training data, while outperforming standard few-shot prompting approaches.