GenCtrl — формальный инструментарий управляемости для генеративных моделей

GenCtrl -- A Formal Controllability Toolkit for Generative Models

January 9, 2026

Авторы: Emily Cheng, Carmen Amo Alonso, Federico Danieli, Arno Blaas, Luca Zappella, Pau Rodriguez, Xavier Suau

cs.AI

Аннотация

По мере того как генеративные модели становятся повсеместными, возникает острая необходимость в тонком контроле над процессом генерации. Однако, несмотря на распространение методов контролируемой генерации — от промптинга до тонкой настройки, — фундаментальный вопрос остается без ответа: поддаются ли эти модели контролю в принципе? В данной работе мы предлагаем теоретическую основу для формального ответа на этот вопрос. Рассматривая взаимодействие человека и модели как процесс управления, мы предлагаем новый алгоритм для оценки управляемых множеств моделей в диалоговом контексте. Важно отметить, что мы предоставляем строгие гарантии на ошибку оценки как функцию сложности выборки: мы выводим вероятностно-приближенно корректные границы для оценок управляемого множества, которые свободны от распределения, не используют никаких предположений, за исключением ограниченности выхода, и работают для любой нелинейной системы управления типа «черного ящика» (то есть для любой генеративной модели). Мы эмпирически демонстрируем теоретическую основу на различных задачах управления диалоговыми процессами, как для языковых моделей, так и для генерации текст-в-изображение. Наши результаты показывают, что управляемость моделей удивительно хрупка и сильно зависит от экспериментальных условий. Это подчеркивает необходимость строгого анализа управляемости, смещая фокус с простых попыток управления к первоначальному пониманию его фундаментальных пределов.

English

As generative models become ubiquitous, there is a critical need for fine-grained control over the generation process. Yet, while controlled generation methods from prompting to fine-tuning proliferate, a fundamental question remains unanswered: are these models truly controllable in the first place? In this work, we provide a theoretical framework to formally answer this question. Framing human-model interaction as a control process, we propose a novel algorithm to estimate the controllable sets of models in a dialogue setting. Notably, we provide formal guarantees on the estimation error as a function of sample complexity: we derive probably-approximately correct bounds for controllable set estimates that are distribution-free, employ no assumptions except for output boundedness, and work for any black-box nonlinear control system (i.e., any generative model). We empirically demonstrate the theoretical framework on different tasks in controlling dialogue processes, for both language models and text-to-image generation. Our results show that model controllability is surprisingly fragile and highly dependent on the experimental setting. This highlights the need for rigorous controllability analysis, shifting the focus from simply attempting control to first understanding its fundamental limits.