GenCtrl: 생성 모델을 위한 정형 제어성 도구 키트

GenCtrl -- A Formal Controllability Toolkit for Generative Models

January 9, 2026

저자: Emily Cheng, Carmen Amo Alonso, Federico Danieli, Arno Blaas, Luca Zappella, Pau Rodriguez, Xavier Suau

cs.AI

초록

생성 모델이 보편화됨에 따라 생성 과정에 대한 세밀한 제어의 필요성이 절실해지고 있습니다. 그러나 프롬프팅에서 미세 조정에 이르기까지 제어 생성 방법이 확산되고 있음에도 근본적인 질문은 여전히 답변되지 않은 채 남아 있습니다. 이러한 모델들이 과연 원천적으로 제어 가능한 것인가? 본 연구에서는 이 질문에 공식적으로 답하기 위한 이론적 프레임워크를 제시합니다. 인간-모델 상호작용을 제어 과정으로 설정하고, 대화 설정에서 모델의 제어 가능 집합을 추정하기 위한 새로운 알고리즘을 제안합니다. 특히 표본 복잡도의 함수로서 추정 오차에 대한 공식적 보장을 제공합니다. 즉, 분포에 독립적이며 출력 유계성 외에는 어떠한 가정도 사용하지 않고, 모든 블랙박스 비선형 제어 시스템(즉, 모든 생성 모델)에 적용 가능한 제어 가능 집합 추정치에 대한 확률적 근사 정확 보장을 유도합니다. 우리는 언어 모델과 텍스트-이미지 생성 모두에 대해 대화 과정 제어의 다양한 과제에서 이 이론적 프레임워크를 실증적으로 입증합니다. 우리의 결과는 모델 제어 가능성이 놀라울 정도로 취약하며 실험 설정에 크게 의존함을 보여줍니다. 이는 단순히 제어를 시도하는 것에서 벗어나 그 근본적 한계를 먼저 이해해야 할 필요성을 강조하며, 엄격한 제어 가능성 분석의 필요성을 부각시킵니다.

English

As generative models become ubiquitous, there is a critical need for fine-grained control over the generation process. Yet, while controlled generation methods from prompting to fine-tuning proliferate, a fundamental question remains unanswered: are these models truly controllable in the first place? In this work, we provide a theoretical framework to formally answer this question. Framing human-model interaction as a control process, we propose a novel algorithm to estimate the controllable sets of models in a dialogue setting. Notably, we provide formal guarantees on the estimation error as a function of sample complexity: we derive probably-approximately correct bounds for controllable set estimates that are distribution-free, employ no assumptions except for output boundedness, and work for any black-box nonlinear control system (i.e., any generative model). We empirically demonstrate the theoretical framework on different tasks in controlling dialogue processes, for both language models and text-to-image generation. Our results show that model controllability is surprisingly fragile and highly dependent on the experimental setting. This highlights the need for rigorous controllability analysis, shifting the focus from simply attempting control to first understanding its fundamental limits.