タスク分解とRAGを用いて、Low-code完全なワークフローを生成する

Generating a Low-code Complete Workflow via Task Decomposition and RAG

November 29, 2024

著者: Orlando Marquez Ayala, Patrice Béchard

cs.AI

要旨

AI技術は、研究から実用段階へ急速に移行しています。テキスト、画像、動画を生成するFoundation Models（FMs）の普及により、AIベースのシステムは複雑さを増しています。従来のAIベースのソフトウェアと比較して、FMsを利用するシステムまたはGenAIベースのシステムは、その規模や汎用性のために設計がより難しいです。これにより、ソフトウェアエンジニアリングにおけるデザインパターンとして知られるベストプラクティスを文書化する必要があります。私たちの最初の貢献は、タスク分解とRetrieval-Augmented Generation（RAG）という2つの手法をGenAIベースのシステムのデザインパターンとして形式化することです。これらの手法をソフトウェア品質属性の観点でトレードオフを議論し、代替手法についてコメントします。AI実務者には、これらの手法を科学的視点だけでなく、柔軟性、保守性、安全性、セキュリティなどのエンジニアリング特性の観点から考慮することを推奨します。2つ目の貢献として、Task DecompositionとRAGを適用して複雑な実世界のGenAIアプリケーション「Workflow Generation」を企業ユーザー向けに構築する際の業界経験について説明します。ワークフローを生成するタスクは、システム環境からのデータを使用して特定の計画を生成し、ユーザー要件を入力とします。これら2つのパターンがAI開発サイクル全体に影響を与えるため、データセットの作成、モデルトレーニング、モデル評価、展開フェーズにどのように影響を与えたかを説明します。

English

AI technologies are moving rapidly from research to production. With the popularity of Foundation Models (FMs) that generate text, images, and video, AI-based systems are increasing their complexity. Compared to traditional AI-based software, systems employing FMs, or GenAI-based systems, are more difficult to design due to their scale and versatility. This makes it necessary to document best practices, known as design patterns in software engineering, that can be used across GenAI applications. Our first contribution is to formalize two techniques, Task Decomposition and Retrieval-Augmented Generation (RAG), as design patterns for GenAI-based systems. We discuss their trade-offs in terms of software quality attributes and comment on alternative approaches. We recommend to AI practitioners to consider these techniques not only from a scientific perspective but also from the standpoint of desired engineering properties such as flexibility, maintainability, safety, and security. As a second contribution, we describe our industry experience applying Task Decomposition and RAG to build a complex real-world GenAI application for enterprise users: Workflow Generation. The task of generating workflows entails generating a specific plan using data from the system environment, taking as input a user requirement. As these two patterns affect the entire AI development cycle, we explain how they impacted the dataset creation, model training, model evaluation, and deployment phases.