FlowMind: Generazione Automatica di Workflow con LLM
FlowMind: Automatic Workflow Generation with LLMs
March 17, 2024
Autori: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso
cs.AI
Abstract
Il campo in rapida evoluzione dell'Automazione dei Processi Robotici (RPA) ha compiuto progressi significativi nell'automatizzazione di processi ripetitivi, ma la sua efficacia diminuisce negli scenari che richiedono compiti spontanei o imprevedibili richiesti dagli utenti. Questo articolo introduce un approccio innovativo, FlowMind, che sfrutta le capacità dei Modelli Linguistici di Grande Dimensione (LLM) come il Generative Pretrained Transformer (GPT), per affrontare questa limitazione e creare un sistema di generazione automatica di flussi di lavoro. In FlowMind, proponiamo una ricetta generica di prompt per una lezione che aiuta a fondare il ragionamento degli LLM con interfacce di programmazione applicativa (API) affidabili. Con questo, FlowMind non solo mitiga il comune problema delle allucinazioni negli LLM, ma elimina anche l'interazione diretta tra gli LLM e dati o codici proprietari, garantendo così l'integrità e la riservatezza delle informazioni - un pilastro fondamentale nei servizi finanziari. FlowMind semplifica ulteriormente l'interazione con l'utente presentando descrizioni di alto livello dei flussi di lavoro auto-generati, consentendo agli utenti di ispezionarli e fornire feedback in modo efficace. Introduciamo inoltre NCEN-QA, un nuovo dataset nel settore finanziario per il benchmarking di attività di risposta alle domande dai rapporti N-CEN sui fondi. Abbiamo utilizzato NCEN-QA per valutare le prestazioni dei flussi di lavoro generati da FlowMind rispetto a varianti di base e di ablazione di FlowMind. Dimostriamo il successo di FlowMind, l'importanza di ciascun componente nella ricetta di lezione proposta e l'efficacia dell'interazione e del feedback dell'utente in FlowMind.
English
The rapidly evolving field of Robotic Process Automation (RPA) has made
significant strides in automating repetitive processes, yet its effectiveness
diminishes in scenarios requiring spontaneous or unpredictable tasks demanded
by users. This paper introduces a novel approach, FlowMind, leveraging the
capabilities of Large Language Models (LLMs) such as Generative Pretrained
Transformer (GPT), to address this limitation and create an automatic workflow
generation system. In FlowMind, we propose a generic prompt recipe for a
lecture that helps ground LLM reasoning with reliable Application Programming
Interfaces (APIs). With this, FlowMind not only mitigates the common issue of
hallucinations in LLMs, but also eliminates direct interaction between LLMs and
proprietary data or code, thus ensuring the integrity and confidentiality of
information - a cornerstone in financial services. FlowMind further simplifies
user interaction by presenting high-level descriptions of auto-generated
workflows, enabling users to inspect and provide feedback effectively. We also
introduce NCEN-QA, a new dataset in finance for benchmarking question-answering
tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance
of workflows generated by FlowMind against baseline and ablation variants of
FlowMind. We demonstrate the success of FlowMind, the importance of each
component in the proposed lecture recipe, and the effectiveness of user
interaction and feedback in FlowMind.