Skalierung von Mixture-of-Experts-Videovortraining für Embodied Intelligence

Zusammenfassung

Trotz der jüngsten Fortschritte in der Robotersteuerung leiden Video-Generierungsmodelle unter einer Domänenfehlanpassung, da ihr Schwerpunkt hauptsächlich auf der Inhaltserstellung liegt. Beispielsweise priorisiert ihr Design von Natur aus visuelle Wiedergabetreue und Kreativität gegenüber Recheneffizienz und physikalischer Realitätsnähe. In dieser Arbeit stellen wir LingBot-Video vor, ein auf DiT basierendes Video-Pretraining-Paradigma, das speziell auf verkörperte Intelligenz zugeschnitten ist. Aus architektonischer Perspektive übernehmen wir das Mixture-of-Experts-Framework (MoE) anstelle eines dichten Frameworks, um einen besseren Ausgleich zwischen Modellierungskapazität und Inferenzeffizienz zu erreichen, und es gelingt uns, dieses von Grund auf zu skalieren. Aus der Datenperspektive konstruieren wir eine Datenprofilierungs-Engine, die Standard-Internetvideos mit umfangreichem robotikorientiertem Filmmaterial erweitert, das Manipulation, Navigation und egozentrische Perspektiven umfasst, um dem Basismodell ein intrinsisches Verständnis von Aktionen und Weltdynamik zu verleihen. Aus der Trainingsperspektive entwickeln wir ein mehrdimensionales Belohnungssystem, um die Ausrichtung hinsichtlich physikalischer Rationalität und Aufgabenerfüllung zu erzwingen, das über Standardkriterien wie Ästhetik, Prompt-Befolgung und Bewegungskonsistenz hinausgeht. Umfassende Evaluierungen bestätigen seine Leistung und Effizienz als Video-Grundlagenmodell. Wir tragen LingBot-Video als erstmaliges groß angelegtes, Open-Source-MoE-Video-Grundlagenmodell zur Community bei, als wegweisenden Versuch, digitale Kreativität und physische Aktuation zu verbinden.

English

Despite the recent promise in robot control, video generative models suffer from a domain mismatch due to their primary focus on content creation. For example, their design inherently prioritizes visual fidelity and creativity over computational efficiency and physical realism. In this work, we present LingBot-Video, a DiT-based video pretraining paradigm specifically tailored for embodied intelligence. From the architecture perspective, we adopt the Mixture-of-Experts (MoE), instead of dense, framework to achieve a better trade-off between modeling capacity and inference efficiency, and manage to scale it up from scratch. From the data perspective, we construct a data profiling engine that augments standard internet videos with extensive robot-oriented footage, encompassing manipulation, navigation, and egocentric perspectives, to equip the base model with an intrinsic understanding of actions and world dynamics. From the training perspective, we develop a multi-dimensional reward system to enforce the alignment regarding physical rationality and task completion, going beyond standard criteria such as aesthetics, prompt-following, and motion consistency. Comprehensive evaluations validate its performance and efficiency as a video foundation model. We contribute LingBot-Video as the inaugural large-scale, open-source MoE video foundation model to the community, in a pioneering effort to bridge digital creativity and physical actuation.