Бутстреп вашего генератора: непарное визуальное редактирование с помощью согласования потоков

Аннотация

Современные генеративные модели обладают глубоким пониманием визуального контента, однако их обучение для редактирования изображений обычно требует огромных наборов парных примеров. Это ограничивает масштабируемость, особенно в случае редактирования видео, где сбор парных данных оказывается непомерно дорогим. Мы предлагаем Bootstrap Your Generator (ByG) — общий фреймворк для обучения моделей редактирования на основе согласования потоков без использования парных примеров. Он использует знания базовой модели без каких-либо внешних сигналов. Наш подход объединяет извлекаемые из замороженной модели управляющие подсказки на основе инструкций с циклической согласованностью для сохранения структуры. Чтобы сделать этот процесс вычислительно эффективным, мы предлагаем маршрутизировать градиенты от вспомогательных потерь по чистым предсказаниям к зашумленным состояниям обучения. Мы демонстрируем результаты, превосходящие существующие на сложных сценариях редактирования изображений и видео с ограниченными данными. Обширные оценки и исследования с участием пользователей показывают, что наш метод эффективно обобщается на невидимые домены и превосходит контролируемые базовые модели, обученные на миллионах образцов. Анализ показывает, что наша маршрутизация градиентов устраняет разрыв между обучением и выводом, а извлечение семантических подсказок из базовой модели обеспечивает надежный обучающий сигнал, устраняющий необходимость во внешних моделях вознаграждения.

English

Modern generative models possess a deep understanding of visual content, yet training them for image editing typically requires massive datasets of paired examples. This limits scalability, especially for video editing where collecting paired data is prohibitively expensive. We propose Bootstrap Your Generator (ByG), a general framework for unpaired training of flow matching editing models. It leverages the base model's knowledge without any external signal. Our approach pairs instruction-following cues extracted from the frozen model with cycle-consistency for structure preservation. To make this tractable, we propose to route gradients from downstream losses over clean predictions to noisy training states. We demonstrate state-of-the-art results on challenging data-scarce image and video editing scenarios. Extensive evaluations and user studies show that our method effectively generalizes to unseen domains and outperforms supervised baselines trained on millions of samples. Analysis reveals that our gradient routing bridges the train-inference gap, and extracting semantic cues from a base model provides a robust training signal that obviates the need for external reward models.