教示を超えた探求：エージェント的視覚生成における知識境界の進化

要旨

視覚生成モデルは描画に優れているが、知らないことについては確信を持って捏造する。ユーザーの要求は無限で、進化し続け、非常にロングテールである：新しいキャラクター、トレンドのエンティティ、カットオフ後のイベント、その他多数。この世界知識のボトルネックは構造的なものである：生成モデルは固定コーパスで訓練されるが、視覚世界は開かれている。我々はSearchGen-20KとSearchGen-Benchを構築した。20,839件のプロンプトが12の失敗カテゴリと22のドメインにわたって含まれ、事前実行済みのマルチモーダルSearchGen-Corpus-1Mと組み合わせることで、オフラインで再現可能な研究を支援する。SearchGen-Benchにおいて、最先端のオープン生成モデルは100点中21～28点しか得られず、既存のベンチマークでは見えない40ポイントの低下が見られる。自然な解決策は検索ツールを活用し、エージェント的な視覚生成を可能にすることである。しかし、単純な検索は失敗することがわかった：無差別に検索し、生成モデルが既に処理できるプロンプトにノイズを注入してしまう。その根本原因を、生成モデル固有で進化する知識境界、すなわち生成モデルが訓練を通じて内面化できるものと外部コンテキストに残さなければならないものとの間の境界に求める。この境界は事前に特定することが困難であるが、teach-then-search共訓練フレームワークを通じて発見可能であることを示す。この共訓練レシピの最小限のバージョンでも単調な改善が得られ、世界知識に基づく要求に応える視覚生成における再帰的自己改善の基盤を築く。我々は完全なデータセット、共訓練コーパス、検索コーパスを、ツール拡張型・世界知識基盤型視覚生成のための再現可能なハーネスとして公開する。

English

Visual generators excel at rendering, but they confidently fabricate what they do not know. User requests are unbounded, evolving, and deeply long-tailed: new characters, trending entities, post-cutoff events, and more. This world-knowledge bottleneck is structural: generators are trained on fixed corpora, but the visual world is open-ended. We construct SearchGen-20K and SearchGen-Bench, with 20,839 prompts spanning twelve failure categories and twenty-two domains, paired with a pre-executed multimodal SearchGen-Corpus-1M to support offline, reproducible research. On SearchGen-Bench, frontier open generators score only 21 to 28 out of 100, a 40-point collapse invisible to existing benchmarks. The natural remedy is to employ search tools, enabling agentic visual generation. However, we find that naive search fails: it retrieves indiscriminately, injecting noise into prompts the generator already handles. We trace the root cause to a generator-specific, evolving knowledge boundary: the divide between what a generator can internalize through training and what must remain in external context. Although this boundary is hard to specify in advance, we show that it is discoverable through a teach-then-search co-training framework. Even a minimal version of this co-training recipe produces monotonic improvement, laying the foundation for recursive self-improvement in visual generation that can meet world-knowledge-grounded requests. We release the full dataset, co-training corpus, and search corpus as a replayable harness for tool-augmented, world-knowledge-grounded visual generation.