Generación de un Flujo de Trabajo Completo de Bajo Código mediante la Descomposición de Tareas y RAG

Generating a Low-code Complete Workflow via Task Decomposition and RAG

November 29, 2024

Autores: Orlando Marquez Ayala, Patrice Béchard

cs.AI

Resumen

Las tecnologías de IA están avanzando rápidamente de la investigación a la producción. Con la popularidad de los Modelos Fundamentales (MF) que generan texto, imágenes y video, los sistemas basados en IA están aumentando su complejidad. En comparación con el software basado en IA tradicional, los sistemas que emplean MF, o sistemas basados en GenAI, son más difíciles de diseñar debido a su escala y versatilidad. Esto hace necesario documentar las mejores prácticas, conocidas como patrones de diseño en ingeniería de software, que se pueden utilizar en aplicaciones GenAI. Nuestra primera contribución es formalizar dos técnicas, la Descomposición de Tareas y la Generación con Recuperación Aumentada (RAG), como patrones de diseño para sistemas basados en GenAI. Discutimos sus compensaciones en términos de atributos de calidad del software y comentamos sobre enfoques alternativos. Recomendamos a los profesionales de IA considerar estas técnicas no solo desde una perspectiva científica, sino también desde el punto de vista de las propiedades de ingeniería deseadas como flexibilidad, mantenibilidad, seguridad y protección. Como segunda contribución, describimos nuestra experiencia en la industria aplicando la Descomposición de Tareas y RAG para construir una aplicación GenAI del mundo real compleja para usuarios empresariales: Generación de Flujos de Trabajo. La tarea de generar flujos de trabajo implica crear un plan específico utilizando datos del entorno del sistema, tomando como entrada un requisito del usuario. Dado que estos dos patrones afectan a todo el ciclo de desarrollo de IA, explicamos cómo impactaron en la creación del conjunto de datos, el entrenamiento del modelo, la evaluación del modelo y las fases de implementación.

English

AI technologies are moving rapidly from research to production. With the popularity of Foundation Models (FMs) that generate text, images, and video, AI-based systems are increasing their complexity. Compared to traditional AI-based software, systems employing FMs, or GenAI-based systems, are more difficult to design due to their scale and versatility. This makes it necessary to document best practices, known as design patterns in software engineering, that can be used across GenAI applications. Our first contribution is to formalize two techniques, Task Decomposition and Retrieval-Augmented Generation (RAG), as design patterns for GenAI-based systems. We discuss their trade-offs in terms of software quality attributes and comment on alternative approaches. We recommend to AI practitioners to consider these techniques not only from a scientific perspective but also from the standpoint of desired engineering properties such as flexibility, maintainability, safety, and security. As a second contribution, we describe our industry experience applying Task Decomposition and RAG to build a complex real-world GenAI application for enterprise users: Workflow Generation. The task of generating workflows entails generating a specific plan using data from the system environment, taking as input a user requirement. As these two patterns affect the entire AI development cycle, we explain how they impacted the dataset creation, model training, model evaluation, and deployment phases.