FlowMind: Geração Automática de Fluxos de Trabalho com LLMs
FlowMind: Automatic Workflow Generation with LLMs
March 17, 2024
Autores: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso
cs.AI
Resumo
O campo em rápida evolução da Automação de Processos Robóticos (RPA) tem feito avanços significativos na automação de processos repetitivos, mas sua eficácia diminui em cenários que exigem tarefas espontâneas ou imprevisíveis demandadas pelos usuários. Este artigo apresenta uma nova abordagem, o FlowMind, que aproveita as capacidades dos Modelos de Linguagem de Grande Escala (LLMs), como o Generative Pretrained Transformer (GPT), para superar essa limitação e criar um sistema de geração automática de fluxos de trabalho. No FlowMind, propomos uma receita genérica de prompt para uma "aula" que ajuda a fundamentar o raciocínio dos LLMs com APIs (Interfaces de Programação de Aplicativos) confiáveis. Com isso, o FlowMind não apenas mitiga o problema comum de alucinações nos LLMs, mas também elimina a interação direta entre os LLMs e dados ou códigos proprietários, garantindo assim a integridade e confidencialidade das informações — um pilar fundamental nos serviços financeiros. O FlowMind simplifica ainda mais a interação do usuário ao apresentar descrições de alto nível dos fluxos de trabalho gerados automaticamente, permitindo que os usuários inspecionem e forneçam feedback de forma eficaz. Também introduzimos o NCEN-QA, um novo conjunto de dados no setor financeiro para avaliar tarefas de questionamento e resposta a partir de relatórios N-CEN sobre fundos. Utilizamos o NCEN-QA para avaliar o desempenho dos fluxos de trabalho gerados pelo FlowMind em comparação com variantes de linha de base e de ablação do FlowMind. Demonstramos o sucesso do FlowMind, a importância de cada componente na receita de aula proposta e a eficácia da interação e feedback do usuário no FlowMind.
English
The rapidly evolving field of Robotic Process Automation (RPA) has made
significant strides in automating repetitive processes, yet its effectiveness
diminishes in scenarios requiring spontaneous or unpredictable tasks demanded
by users. This paper introduces a novel approach, FlowMind, leveraging the
capabilities of Large Language Models (LLMs) such as Generative Pretrained
Transformer (GPT), to address this limitation and create an automatic workflow
generation system. In FlowMind, we propose a generic prompt recipe for a
lecture that helps ground LLM reasoning with reliable Application Programming
Interfaces (APIs). With this, FlowMind not only mitigates the common issue of
hallucinations in LLMs, but also eliminates direct interaction between LLMs and
proprietary data or code, thus ensuring the integrity and confidentiality of
information - a cornerstone in financial services. FlowMind further simplifies
user interaction by presenting high-level descriptions of auto-generated
workflows, enabling users to inspect and provide feedback effectively. We also
introduce NCEN-QA, a new dataset in finance for benchmarking question-answering
tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance
of workflows generated by FlowMind against baseline and ablation variants of
FlowMind. We demonstrate the success of FlowMind, the importance of each
component in the proposed lecture recipe, and the effectiveness of user
interaction and feedback in FlowMind.