Генерация полного рабочего процесса с низким уровнем кода с помощью декомпозиции задач и RAG.

Generating a Low-code Complete Workflow via Task Decomposition and RAG

November 29, 2024

Авторы: Orlando Marquez Ayala, Patrice Béchard

cs.AI

Аннотация

Технологии искусственного интеллекта быстро переходят от исследований к производству. С увеличением популярности Фундаментальных Моделей (Foundation Models, FMs), которые генерируют текст, изображения и видео, системы на основе ИИ становятся все более сложными. По сравнению с традиционным программным обеспечением на основе ИИ, системы, использующие FMs или системы на основе GenAI, сложнее в проектировании из-за их масштаба и универсальности. Это делает необходимым документирование bewt практик, известных как паттерны проектирования в инженерии программного обеспечения, которые могут использоваться в различных приложениях GenAI. Наш первый вклад заключается в формализации двух техник, Декомпозиции Задач и Генерации с Поисково-Обогащенным Восстановлением (Retrieval-Augmented Generation, RAG), как паттернов проектирования для систем на основе GenAI. Мы обсуждаем их компромиссы в терминах атрибутов качества программного обеспечения и комментируем альтернативные подходы. Мы рекомендуем практикующим в области ИИ рассматривать эти техники не только с научной точки зрения, но и с точки зрения желаемых инженерных свойств, таких как гибкость, поддерживаемость, безопасность и надежность. В качестве второго вклада мы описываем наш опыт в индустрии применения Декомпозиции Задач и RAG для создания сложного прикладного приложения на основе GenAI для корпоративных пользователей: Генерация Рабочего Процесса. Задача генерации рабочих процессов заключается в создании конкретного плана с использованием данных из окружения системы, принимая на вход требование пользователя. Поскольку эти два паттерна влияют на весь цикл разработки ИИ, мы объясняем, как они повлияли на создание набора данных, обучение модели, оценку модели и этап развертывания.

English

AI technologies are moving rapidly from research to production. With the popularity of Foundation Models (FMs) that generate text, images, and video, AI-based systems are increasing their complexity. Compared to traditional AI-based software, systems employing FMs, or GenAI-based systems, are more difficult to design due to their scale and versatility. This makes it necessary to document best practices, known as design patterns in software engineering, that can be used across GenAI applications. Our first contribution is to formalize two techniques, Task Decomposition and Retrieval-Augmented Generation (RAG), as design patterns for GenAI-based systems. We discuss their trade-offs in terms of software quality attributes and comment on alternative approaches. We recommend to AI practitioners to consider these techniques not only from a scientific perspective but also from the standpoint of desired engineering properties such as flexibility, maintainability, safety, and security. As a second contribution, we describe our industry experience applying Task Decomposition and RAG to build a complex real-world GenAI application for enterprise users: Workflow Generation. The task of generating workflows entails generating a specific plan using data from the system environment, taking as input a user requirement. As these two patterns affect the entire AI development cycle, we explain how they impacted the dataset creation, model training, model evaluation, and deployment phases.