Loop Copilot: Оркестрация ансамблей ИИ для генерации музыки и итеративного редактирования

Loop Copilot: Conducting AI Ensembles for Music Generation and Iterative Editing

October 19, 2023

Авторы: Yixiao Zhang, Akira Maezawa, Gus Xia, Kazuhiko Yamamoto, Simon Dixon

cs.AI

Аннотация

Создание музыки — это итеративный процесс, требующий различных методов на каждом этапе. Однако существующие системы ИИ для создания музыки не справляются с координацией нескольких подсистем для удовлетворения разнообразных потребностей. Чтобы устранить этот пробел, мы представляем Loop Copilot — новую систему, которая позволяет пользователям генерировать и итеративно улучшать музыку через интерактивный интерфейс многораундового диалога. Система использует большую языковую модель для интерпретации намерений пользователя и выбора подходящих моделей ИИ для выполнения задач. Каждая из моделей бэкенда специализируется на конкретной задаче, а их результаты объединяются для удовлетворения требований пользователя. Для обеспечения музыкальной согласованности ключевые атрибуты сохраняются в централизованной таблице. Мы оцениваем эффективность предложенной системы с помощью полуструктурированных интервью и анкет, подчеркивая её полезность не только в облегчении создания музыки, но и её потенциал для более широкого применения.

English

Creating music is iterative, requiring varied methods at each stage. However, existing AI music systems fall short in orchestrating multiple subsystems for diverse needs. To address this gap, we introduce Loop Copilot, a novel system that enables users to generate and iteratively refine music through an interactive, multi-round dialogue interface. The system uses a large language model to interpret user intentions and select appropriate AI models for task execution. Each backend model is specialized for a specific task, and their outputs are aggregated to meet the user's requirements. To ensure musical coherence, essential attributes are maintained in a centralized table. We evaluate the effectiveness of the proposed system through semi-structured interviews and questionnaires, highlighting its utility not only in facilitating music creation but also its potential for broader applications.