FlowMind: Автоматическое создание рабочего процесса с помощью LLM.

FlowMind: Automatic Workflow Generation with LLMs

March 17, 2024

Авторы: Zhen Zeng, William Watson, Nicole Cho, Saba Rahimi, Shayleen Reynolds, Tucker Balch, Manuela Veloso

cs.AI

Аннотация

Быстро развивающаяся область роботизированной автоматизации процессов (RPA) сделала значительные шаги в автоматизации повторяющихся процессов, однако ее эффективность уменьшается в сценариях, требующих спонтанных или непредсказуемых задач, предъявляемых пользователями. В данной статье представлен новый подход, FlowMind, использующий возможности больших языковых моделей (LLM), таких как Генеративно-Предобученный Трансформер (GPT), для преодоления этого ограничения и создания системы автоматической генерации рабочего процесса. В рамках FlowMind мы предлагаем общий рецепт подсказки для лекции, который помогает укоренить рассуждения LLM с надежными интерфейсами прикладного программирования (API). С помощью этого FlowMind не только смягчает распространенную проблему галлюцинаций в LLM, но также устраняет прямое взаимодействие между LLM и собственными данными или кодом, обеспечивая тем самым целостность и конфиденциальность информации - основополагающий принцип в финансовых услугах. FlowMind дополнительно упрощает взаимодействие с пользователем, представляя высокоуровневые описания автоматически сгенерированных рабочих процессов, позволяя пользователям эффективно их проверять и давать обратную связь. Мы также представляем NCEN-QA, новый набор данных в финансах для оценки задач по ответам на вопросы из отчетов N-CEN о фондах. Мы использовали NCEN-QA для оценки производительности рабочих процессов, сгенерированных FlowMind, по сравнению с базовыми и вариантами абляции FlowMind. Мы демонстрируем успех FlowMind, важность каждого компонента в предложенном рецепте лекции и эффективность взаимодействия и обратной связи с пользователем в FlowMind.

English

The rapidly evolving field of Robotic Process Automation (RPA) has made significant strides in automating repetitive processes, yet its effectiveness diminishes in scenarios requiring spontaneous or unpredictable tasks demanded by users. This paper introduces a novel approach, FlowMind, leveraging the capabilities of Large Language Models (LLMs) such as Generative Pretrained Transformer (GPT), to address this limitation and create an automatic workflow generation system. In FlowMind, we propose a generic prompt recipe for a lecture that helps ground LLM reasoning with reliable Application Programming Interfaces (APIs). With this, FlowMind not only mitigates the common issue of hallucinations in LLMs, but also eliminates direct interaction between LLMs and proprietary data or code, thus ensuring the integrity and confidentiality of information - a cornerstone in financial services. FlowMind further simplifies user interaction by presenting high-level descriptions of auto-generated workflows, enabling users to inspect and provide feedback effectively. We also introduce NCEN-QA, a new dataset in finance for benchmarking question-answering tasks from N-CEN reports on funds. We used NCEN-QA to evaluate the performance of workflows generated by FlowMind against baseline and ablation variants of FlowMind. We demonstrate the success of FlowMind, the importance of each component in the proposed lecture recipe, and the effectiveness of user interaction and feedback in FlowMind.