GenCtrl -- 生成モデルのための形式的制御可能性ツールキット

要旨

生成的モデルが普及するにつれ、生成プロセスに対するきめ細かな制御が不可欠となっている。しかし、プロンプティングからファインチューニングに至る制御生成手法が急増する中、根本的な疑問が未解決のまま残されている：そもそもこれらのモデルは真に制御可能なのだろうか？本研究では、この疑問に形式的に答える理論的枠組みを提案する。人間とモデルの相互作用を制御プロセスとして捉え、対話設定におけるモデルの制御可能集合を推定する新規アルゴリズムを開発する。特に、サンプル複雑性の関数として推定誤差に対する形式的保証を提供する：出力の有界性以外の仮定を置かず、任意のブラックボックス非線形制御系（すなわちあらゆる生成モデル）に適用可能な、分布に依存しない確率的近似正確（PAC）境界を制御可能集合推定に対して導出する。言語モデルとテキストから画像への生成の双方について、対話プロセス制御における異なるタスクで理論枠組みを実証的に検証する。結果は、モデルの制御可能性が驚くほど脆弱であり、実験設定に強く依存することを示唆する。これは、単に制御を試みるだけでなく、その根本的限界をまず理解することの必要性を強調し、厳密な制御可能性分析の重要性を浮き彫りにする。

English

As generative models become ubiquitous, there is a critical need for fine-grained control over the generation process. Yet, while controlled generation methods from prompting to fine-tuning proliferate, a fundamental question remains unanswered: are these models truly controllable in the first place? In this work, we provide a theoretical framework to formally answer this question. Framing human-model interaction as a control process, we propose a novel algorithm to estimate the controllable sets of models in a dialogue setting. Notably, we provide formal guarantees on the estimation error as a function of sample complexity: we derive probably-approximately correct bounds for controllable set estimates that are distribution-free, employ no assumptions except for output boundedness, and work for any black-box nonlinear control system (i.e., any generative model). We empirically demonstrate the theoretical framework on different tasks in controlling dialogue processes, for both language models and text-to-image generation. Our results show that model controllability is surprisingly fragile and highly dependent on the experimental setting. This highlights the need for rigorous controllability analysis, shifting the focus from simply attempting control to first understanding its fundamental limits.

GenCtrl -- 生成モデルのための形式的制御可能性ツールキット

GenCtrl -- A Formal Controllability Toolkit for Generative Models

要旨

Support