FlowMind : Génération automatique de workflows avec des modèles de langage de grande taille

FlowMind: Automatic Workflow Generation with LLMs

March 17, 2024

Auteurs: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso

cs.AI

Résumé

Le domaine en pleine évolution de l'automatisation des processus robotiques (RPA) a réalisé des progrès significatifs dans l'automatisation des tâches répétitives, mais son efficacité diminue dans les scénarios nécessitant des tâches spontanées ou imprévisibles demandées par les utilisateurs. Cet article présente une nouvelle approche, FlowMind, qui exploite les capacités des modèles de langage à grande échelle (LLMs) tels que le Generative Pretrained Transformer (GPT), pour surmonter cette limitation et créer un système de génération automatique de workflows. Dans FlowMind, nous proposons une recette générique de prompt pour une "lecture" qui permet d'ancrer le raisonnement des LLMs avec des interfaces de programmation d'applications (APIs) fiables. Ainsi, FlowMind non seulement atténue le problème courant des hallucinations dans les LLMs, mais élimine également l'interaction directe entre les LLMs et les données ou codes propriétaires, garantissant ainsi l'intégrité et la confidentialité des informations - un pilier essentiel dans les services financiers. FlowMind simplifie en outre l'interaction utilisateur en présentant des descriptions de haut niveau des workflows générés automatiquement, permettant aux utilisateurs de les inspecter et de fournir des retours d'information de manière efficace. Nous introduisons également NCEN-QA, un nouveau jeu de données dans le domaine financier pour évaluer les tâches de question-réponse à partir des rapports N-CEN sur les fonds. Nous avons utilisé NCEN-QA pour évaluer la performance des workflows générés par FlowMind par rapport à des variantes de référence et d'ablation de FlowMind. Nous démontrons le succès de FlowMind, l'importance de chaque composant dans la recette de "lecture" proposée, ainsi que l'efficacité de l'interaction utilisateur et des retours d'information dans FlowMind.

English

The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.