Скрытая зонирующая сеть: унифицированный принцип для генеративного моделирования, обучения представлений и классификации

Latent Zoning Network: A Unified Principle for Generative Modeling, Representation Learning, and Classification

September 19, 2025

Авторы: Zinan Lin, Enshu Liu, Xuefei Ning, Junyi Zhu, Wenyu Wang, Sergey Yekhanin

cs.AI

Аннотация

Генеративное моделирование, обучение представлений и классификация являются тремя ключевыми задачами в машинном обучении (ML), однако их современные (SoTA) решения остаются в значительной степени разрозненными. В данной статье мы задаемся вопросом: может ли единый принцип охватить все три задачи? Такая унификация могла бы упростить ML-пайплайны и способствовать большей синергии между задачами. Мы представляем Latent Zoning Network (LZN) как шаг к этой цели. В основе LZN лежит создание общего гауссовского латентного пространства, которое кодирует информацию для всех задач. Каждый тип данных (например, изображения, текст, метки) оснащен кодировщиком, который отображает выборки в непересекающиеся латентные зоны, и декодировщиком, который отображает латентные переменные обратно в данные. Задачи ML выражаются как композиции этих кодировщиков и декодировщиков: например, генерация изображений с условием на метки использует кодировщик меток и декодировщик изображений; встраивание изображений использует кодировщик изображений; классификация использует кодировщик изображений и декодировщик меток. Мы демонстрируем потенциал LZN в трех постепенно усложняющихся сценариях: (1) LZN может улучшать существующие модели (генерация изображений): при объединении с SoTA-моделью Rectified Flow, LZN улучшает FID на CIFAR10 с 2.76 до 2.59 — без изменения целевой функции обучения. (2) LZN может решать задачи независимо (обучение представлений): LZN может реализовать обучение представлений без вспомогательных функций потерь, превосходя ключевые методы MoCo и SimCLR на 9.3% и 0.2% соответственно в задаче линейной классификации на ImageNet. (3) LZN может решать несколько задач одновременно (совместная генерация и классификация): с использованием кодировщиков и декодировщиков изображений и меток, LZN выполняет обе задачи совместно по замыслу, улучшая FID и достигая SoTA точности классификации на CIFAR10. Код и обученные модели доступны по адресу https://github.com/microsoft/latent-zoning-networks. Сайт проекта находится по адресу https://zinanlin.me/blogs/latent_zoning_networks.html.

English

Generative modeling, representation learning, and classification are three core problems in machine learning (ML), yet their state-of-the-art (SoTA) solutions remain largely disjoint. In this paper, we ask: Can a unified principle address all three? Such unification could simplify ML pipelines and foster greater synergy across tasks. We introduce Latent Zoning Network (LZN) as a step toward this goal. At its core, LZN creates a shared Gaussian latent space that encodes information across all tasks. Each data type (e.g., images, text, labels) is equipped with an encoder that maps samples to disjoint latent zones, and a decoder that maps latents back to data. ML tasks are expressed as compositions of these encoders and decoders: for example, label-conditional image generation uses a label encoder and image decoder; image embedding uses an image encoder; classification uses an image encoder and label decoder. We demonstrate the promise of LZN in three increasingly complex scenarios: (1) LZN can enhance existing models (image generation): When combined with the SoTA Rectified Flow model, LZN improves FID on CIFAR10 from 2.76 to 2.59-without modifying the training objective. (2) LZN can solve tasks independently (representation learning): LZN can implement unsupervised representation learning without auxiliary loss functions, outperforming the seminal MoCo and SimCLR methods by 9.3% and 0.2%, respectively, on downstream linear classification on ImageNet. (3) LZN can solve multiple tasks simultaneously (joint generation and classification): With image and label encoders/decoders, LZN performs both tasks jointly by design, improving FID and achieving SoTA classification accuracy on CIFAR10. The code and trained models are available at https://github.com/microsoft/latent-zoning-networks. The project website is at https://zinanlin.me/blogs/latent_zoning_networks.html.