Generierung eines Low-Code-Voll-Workflow durch Aufgabendekomposition und RAG

Generating a Low-code Complete Workflow via Task Decomposition and RAG

November 29, 2024

Autoren: Orlando Marquez Ayala, Patrice Béchard

cs.AI

Zusammenfassung

KI-Technologien bewegen sich schnell von der Forschung in die Produktion. Mit der Beliebtheit von Grundlagenmodellen (FMs), die Texte, Bilder und Videos generieren, erhöhen KI-basierte Systeme ihre Komplexität. Im Vergleich zu traditioneller KI-Software sind Systeme, die FMs verwenden oder auf GenAI basieren, aufgrund ihrer Größe und Vielseitigkeit schwieriger zu gestalten. Dies macht es notwendig, bewährte Verfahren zu dokumentieren, die als Entwurfsmuster in der Softwaretechnik bekannt sind und in GenAI-Anwendungen verwendet werden können. Unser erster Beitrag besteht darin, zwei Techniken, Aufgabenaufteilung und abrufgestützte Generierung (RAG), als Entwurfsmuster für GenAI-basierte Systeme zu formalisieren. Wir diskutieren ihre Kompromisse in Bezug auf Softwarequalitätsattribute und kommentieren alternative Ansätze. Wir empfehlen KI-Praktikern, diese Techniken nicht nur aus wissenschaftlicher Sicht, sondern auch hinsichtlich gewünschter technischer Eigenschaften wie Flexibilität, Wartbarkeit, Sicherheit und Schutz zu betrachten. Als zweiten Beitrag beschreiben wir unsere Branchenerfahrung bei der Anwendung von Aufgabenaufteilung und RAG zum Aufbau einer komplexen GenAI-Anwendung für Unternehmensbenutzer: Workflow-Generierung. Die Aufgabe der Workflow-Generierung besteht darin, einen spezifischen Plan unter Verwendung von Daten aus der Systemumgebung zu generieren, wobei eine Benutzeranforderung als Eingabe dient. Da diese beiden Muster den gesamten KI-Entwicklungszyklus beeinflussen, erklären wir, wie sie die Datensatzerstellung, das Modelltraining, die Modellbewertung und die Bereitstellungsphasen beeinflusst haben.

English

AI technologies are moving rapidly from research to production. With the popularity of Foundation Models (FMs) that generate text, images, and video, AI-based systems are increasing their complexity. Compared to traditional AI-based software, systems employing FMs, or GenAI-based systems, are more difficult to design due to their scale and versatility. This makes it necessary to document best practices, known as design patterns in software engineering, that can be used across GenAI applications. Our first contribution is to formalize two techniques, Task Decomposition and Retrieval-Augmented Generation (RAG), as design patterns for GenAI-based systems. We discuss their trade-offs in terms of software quality attributes and comment on alternative approaches. We recommend to AI practitioners to consider these techniques not only from a scientific perspective but also from the standpoint of desired engineering properties such as flexibility, maintainability, safety, and security. As a second contribution, we describe our industry experience applying Task Decomposition and RAG to build a complex real-world GenAI application for enterprise users: Workflow Generation. The task of generating workflows entails generating a specific plan using data from the system environment, taking as input a user requirement. As these two patterns affect the entire AI development cycle, we explain how they impacted the dataset creation, model training, model evaluation, and deployment phases.