FlowMind: Automatische Workflowgeneratie met LLM's
FlowMind: Automatic Workflow Generation with LLMs
March 17, 2024
Auteurs: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso
cs.AI
Samenvatting
Het snel evoluerende veld van Robotic Process Automation (RPA) heeft aanzienlijke vooruitgang geboekt in het automatiseren van repetitieve processen, maar de effectiviteit ervan neemt af in scenario's die spontane of onvoorspelbare taken vereisen die door gebruikers worden gevraagd. Dit artikel introduceert een nieuwe benadering, FlowMind, die gebruikmaakt van de mogelijkheden van Large Language Models (LLMs), zoals de Generative Pretrained Transformer (GPT), om deze beperking aan te pakken en een automatisch workflow-generatiesysteem te creëren. In FlowMind stellen we een generiek promptrecept voor een lezing voor dat helpt om de redenering van LLM te verankeren met betrouwbare Application Programming Interfaces (API's). Hiermee vermindert FlowMind niet alleen het veelvoorkomende probleem van hallucinaties in LLM's, maar elimineert het ook directe interactie tussen LLM's en propriëtaire data of code, waardoor de integriteit en vertrouwelijkheid van informatie gewaarborgd blijven - een hoeksteen in financiële diensten. FlowMind vereenvoudigt verder de gebruikersinteractie door hoogwaardige beschrijvingen van automatisch gegenereerde workflows te presenteren, waardoor gebruikers deze effectief kunnen inspecteren en feedback kunnen geven. We introduceren ook NCEN-QA, een nieuwe dataset in de financiële sector voor het benchmarken van vraag-antwoordtaken uit N-CEN-rapporten over fondsen. We hebben NCEN-QA gebruikt om de prestaties van workflows gegenereerd door FlowMind te evalueren tegen baseline- en ablatievarianten van FlowMind. We tonen het succes van FlowMind aan, het belang van elke component in het voorgestelde lezingrecept, en de effectiviteit van gebruikersinteractie en feedback in FlowMind.
English
The rapidly evolving field of Robotic Process Automation (RPA) has made
significant strides in automating repetitive processes, yet its effectiveness
diminishes in scenarios requiring spontaneous or unpredictable tasks demanded
by users. This paper introduces a novel approach, FlowMind, leveraging the
capabilities of Large Language Models (LLMs) such as Generative Pretrained
Transformer (GPT), to address this limitation and create an automatic workflow
generation system. In FlowMind, we propose a generic prompt recipe for a
lecture that helps ground LLM reasoning with reliable Application Programming
Interfaces (APIs). With this, FlowMind not only mitigates the common issue of
hallucinations in LLMs, but also eliminates direct interaction between LLMs and
proprietary data or code, thus ensuring the integrity and confidentiality of
information - a cornerstone in financial services. FlowMind further simplifies
user interaction by presenting high-level descriptions of auto-generated
workflows, enabling users to inspect and provide feedback effectively. We also
introduce NCEN-QA, a new dataset in finance for benchmarking question-answering
tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance
of workflows generated by FlowMind against baseline and ablation variants of
FlowMind. We demonstrate the success of FlowMind, the importance of each
component in the proposed lecture recipe, and the effectiveness of user
interaction and feedback in FlowMind.