Het genereren van een Low-code Compleet Werkstroom via Taakdecompositie en RAG.

Generating a Low-code Complete Workflow via Task Decomposition and RAG

November 29, 2024

Auteurs: Orlando Marquez Ayala, Patrice Béchard

cs.AI

Samenvatting

AI-technologieën bewegen zich snel van onderzoek naar productie. Met de populariteit van Foundation Modellen (FMs) die tekst, afbeeldingen en video genereren, nemen AI-gebaseerde systemen in complexiteit toe. Vergeleken met traditionele op AI gebaseerde software zijn systemen die FMs gebruiken, of GenAI-gebaseerde systemen, moeilijker te ontwerpen vanwege hun omvang en veelzijdigheid. Dit maakt het noodzakelijk om best practices te documenteren, bekend als ontwerppatronen in software-engineering, die kunnen worden toegepast in GenAI-toepassingen. Onze eerste bijdrage is het formaliseren van twee technieken, Taakdecompositie en Retrieval-Augmented Generation (RAG), als ontwerppatronen voor GenAI-gebaseerde systemen. We bespreken hun afwegingen op het gebied van softwarekwaliteitskenmerken en geven commentaar op alternatieve benaderingen. We raden AI-praktijkmensen aan om deze technieken niet alleen vanuit een wetenschappelijk perspectief te overwegen, maar ook vanuit het oogpunt van gewenste technische eigenschappen zoals flexibiliteit, onderhoudbaarheid, veiligheid en beveiliging. Als tweede bijdrage beschrijven we onze industriële ervaring met het toepassen van Taakdecompositie en RAG om een complexe GenAI-toepassing voor zakelijke gebruikers te bouwen: Workflowgeneratie. De taak van het genereren van workflows omvat het maken van een specifiek plan met behulp van gegevens uit de systeemomgeving, waarbij een gebruikersvereiste als invoer wordt genomen. Aangezien deze twee patronen de gehele AI-ontwikkelingscyclus beïnvloeden, leggen we uit hoe ze van invloed waren op de datasetcreatie, modeltraining, modelevaluatie en implementatiefasen.

English

AI technologies are moving rapidly from research to production. With the popularity of Foundation Models (FMs) that generate text, images, and video, AI-based systems are increasing their complexity. Compared to traditional AI-based software, systems employing FMs, or GenAI-based systems, are more difficult to design due to their scale and versatility. This makes it necessary to document best practices, known as design patterns in software engineering, that can be used across GenAI applications. Our first contribution is to formalize two techniques, Task Decomposition and Retrieval-Augmented Generation (RAG), as design patterns for GenAI-based systems. We discuss their trade-offs in terms of software quality attributes and comment on alternative approaches. We recommend to AI practitioners to consider these techniques not only from a scientific perspective but also from the standpoint of desired engineering properties such as flexibility, maintainability, safety, and security. As a second contribution, we describe our industry experience applying Task Decomposition and RAG to build a complex real-world GenAI application for enterprise users: Workflow Generation. The task of generating workflows entails generating a specific plan using data from the system environment, taking as input a user requirement. As these two patterns affect the entire AI development cycle, we explain how they impacted the dataset creation, model training, model evaluation, and deployment phases.