FlowMind: Automatische Workflow-Erstellung mit LLMs

FlowMind: Automatic Workflow Generation with LLMs

March 17, 2024

Autoren: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso

cs.AI

Zusammenfassung

Das sich rasant entwickelnde Feld der Robotic Process Automation (RPA) hat bedeutende Fortschritte bei der Automatisierung wiederkehrender Prozesse erzielt, doch seine Wirksamkeit lässt in Szenarien nach, die spontane oder unvorhersehbare Aufgaben erfordern, die von Benutzern verlangt werden. Dieser Artikel stellt einen neuartigen Ansatz namens FlowMind vor, der die Fähigkeiten von Large Language Models (LLMs) wie dem Generative Pretrained Transformer (GPT) nutzt, um diese Einschränkung zu bewältigen und ein automatisches Workflow-Generierungssystem zu schaffen. In FlowMind schlagen wir ein generisches Eingaberezept für eine Vorlesung vor, das das Argumentieren von LLMs mit zuverlässigen Application Programming Interfaces (APIs) fundiert. Dadurch mildert FlowMind nicht nur das häufige Problem von Halluzinationen in LLMs, sondern beseitigt auch die direkte Interaktion zwischen LLMs und proprietären Daten oder Codes, wodurch die Integrität und Vertraulichkeit von Informationen sichergestellt werden - ein Eckpfeiler im Finanzdienstleistungssektor. FlowMind vereinfacht die Benutzerinteraktion weiter, indem es hochrangige Beschreibungen von automatisch generierten Workflows präsentiert, die es Benutzern ermöglichen, diese effektiv zu überprüfen und Feedback zu geben. Wir stellen auch NCEN-QA vor, ein neues Datenset im Finanzbereich zur Bewertung von Frage-Antwort-Aufgaben aus N-CEN-Berichten über Fonds. Wir haben NCEN-QA verwendet, um die Leistung der von FlowMind generierten Workflows im Vergleich zu Basislinien- und Ablationsvarianten von FlowMind zu bewerten. Wir zeigen den Erfolg von FlowMind, die Bedeutung jedes Bestandteils im vorgeschlagenen Vorlesungsrezept und die Wirksamkeit der Benutzerinteraktion und des Feedbacks in FlowMind auf.

English

The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.