FlowMind: Generación Automática de Flujos de Trabajo con Modelos de Lenguaje de Gran Escala

FlowMind: Automatic Workflow Generation with LLMs

March 17, 2024

Autores: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso

cs.AI

Resumen

El campo en rápida evolución de la Automatización Robótica de Procesos (RPA) ha logrado avances significativos en la automatización de procesos repetitivos, aunque su efectividad disminuye en escenarios que requieren tareas espontáneas o impredecibles demandadas por los usuarios. Este artículo presenta un enfoque novedoso, FlowMind, que aprovecha las capacidades de los Modelos de Lenguaje de Gran Escala (LLMs), como el Transformer Generativo Preentrenado (GPT), para abordar esta limitación y crear un sistema de generación automática de flujos de trabajo. En FlowMind, proponemos una receta de instrucciones genérica para una "lección" que ayuda a fundamentar el razonamiento de los LLMs con Interfaces de Programación de Aplicaciones (APIs) confiables. Con esto, FlowMind no solo mitiga el problema común de las alucinaciones en los LLMs, sino que también elimina la interacción directa entre los LLMs y datos o códigos propietarios, garantizando así la integridad y confidencialidad de la información, un aspecto fundamental en los servicios financieros. FlowMind simplifica aún más la interacción del usuario al presentar descripciones de alto nivel de los flujos de trabajo generados automáticamente, permitiendo a los usuarios inspeccionarlos y proporcionar retroalimentación de manera efectiva. También presentamos NCEN-QA, un nuevo conjunto de datos en el ámbito financiero para evaluar tareas de respuesta a preguntas basadas en informes N-CEN sobre fondos. Utilizamos NCEN-QA para evaluar el rendimiento de los flujos de trabajo generados por FlowMind en comparación con variantes de referencia y de ablación de FlowMind. Demostramos el éxito de FlowMind, la importancia de cada componente en la receta de lección propuesta y la efectividad de la interacción y retroalimentación del usuario en FlowMind.

English

The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.