Vision als einheitliche multimodale Generierung

Zusammenfassung

Wir formulieren Computer Vision als einheitliche multimodale Generierung, bei der heterogene visuelle Aufgaben in den nativen Text- und Bildgenerierungsräumen eines einheitlichen multimodalen Modells ausgedrückt werden, ohne aufgabenspezifische Architekturen. Unter dieser Formulierung verwendet SenseNova-Vision natürlichsprachliche Anweisungen und optionale visuelle Prompts, um Aufgaben, Zielregionen oder -ansichten sowie Dekodierungskonventionen festzulegen, und generiert Antworten als Text für symbolische Ausgaben, Bilder für dichte räumliche Vorhersagen oder gemischte Text-und-Bild-Ausgaben für kompositionelle Aufgaben. Um großflächiges Training zu unterstützen, wandeln wir verschiedene Computer-Vision-Annotationen in Instruktions-Antwort-Beispiele um, die mit diesen Generierungsräumen kompatibel sind, was zum SenseNova-Vision-Korpus führt, einem Computer-Vision-Instruktions-Antwort-Korpus, der Text-, Bild- und gemischte Ziele umfasst. Ausgehend von einem vorgegebenen vortrainierten einheitlichen multimodalen Modell wird SenseNova-Vision hauptsächlich auf diesem Korpus trainiert, wobei zusätzliche multimodale Daten als fähigkeitserhaltende Mischung verwendet werden; es sind keine aufgabenspezifischen Vorhersageköpfe oder architektonischen Modifikationen erforderlich. Das resultierende Modell deckt eine breite Palette von Sehaufgaben ab, darunter Detektion, OCR, Keypoint-Schätzung, Segmentierung, Tiefenschätzung, Oberflächennormalenvorhersage, Punktkarten und Kameraposenschätzung, während es sprachdefinierte Varianten unterstützt, die Kategorie, Farbe, Region und andere visuelle Hinweise kombinieren. Experimente zeigen, dass ein einziges einheitliches Modell führenden aufgabenspezialisierten Systemen in den Bereichen strukturiertes visuelles Verständnis, dichte geometrische Vorhersage, Segmentierung und Multiview-Visualgeometrie ebenbürtig sein kann. Diese Ergebnisse legen nahe, dass die einheitliche multimodale Generierung ein skalierbarer Weg zur Integration von Computer-Vision-Fähigkeiten in universelle Grundlagenmodelle ist. Das Modell und der Korpus sind öffentlich verfügbar.

English

We formulate computer vision as unified multimodal generation, where heterogeneous visual tasks are expressed in the native text and image generation spaces of a unified multimodal model, without task-specific architectures. Under this formulation, SenseNova-Vision uses natural-language instructions and optional visual prompts to specify tasks, target regions or views, and decoding conventions, and generates responses as text for symbolic outputs, images for dense spatial predictions, or mixed text-and-image outputs for compositional tasks. To support large-scale training, we convert diverse computer vision annotations into instruction-response examples compatible with these generation spaces, resulting in the SenseNova-Vision Corpus, a computer-vision instruction-response corpus spanning text, image, and mixed targets. Starting from an off-the-shelf pretrained unified multimodal model, SenseNova-Vision is trained primarily on this corpus, with auxiliary multimodal data used as a capability-preserving mixture, and requires no task-specific prediction heads or architectural modifications. The resulting model covers a broad range of vision tasks, including detection, OCR, keypoint estimation, segmentation, depth estimation, surface normal prediction, point maps, and camera pose estimation, while supporting language-defined variants that combine category, color, region, and other visual cues. Experiments show that a single unified model can match leading task-specialized systems across structured visual understanding, dense geometric prediction, segmentation, and multi-view visual geometry. These results suggest unified multimodal generation as a scalable route for integrating computer vision capabilities into general-purpose foundation models. The model and corpus are publicly available.