Von der Grundlage zur Anwendung: Verbesserung von VLA-Modellen in der Praxis

Zusammenfassung

Trotz jüngster Fortschritte bei VLA-Foundation-Modellen behindert die Diskrepanz zwischen Laborbedingungen und realen Anwendungen weiterhin deren praktische Umsetzung. Um diese Lücke zu schließen, stellen wir LingBot-VLA 2.0 vor, das LingBot-VLA durch Verbesserungen in drei Funktionsbereichen weiterentwickelt. (1) Generalisierung über Aufgaben und Embodiments hinweg. Im Vergleich zur Vorgängerversion überarbeiten wir die Datenverarbeitungspipeline und bereiten etwa 60.000 Stunden Daten für das Pretraining auf, darunter 50.000 Stunden Robotertrajektorien über 20 Roboter-Konfigurationen und 10.000 Stunden egozentrische menschliche Videos. (2) Erweiterter Aktionsraum zusätzlich zu den Hardware-Plattformen mit zwei Armen. Unser System berücksichtigt insbesondere Freiheitsgrade für Köpfe, Taillen, mobile Basen und geschickte Hände, wodurch die Roboter in praxisnahen Szenarien komplexere Aufgaben bewältigen können. (3) Prädiktive Dynamikmodellierung zur verbesserten zeitlichen Argumentation. Konkret formulieren wir die Vorhersage zukünftiger Ereignisse als eine Ersatzaufgabe, unterstützt durch ein Videorepräsentationsmodell für semantische Prioris und ein Tiefenschätzmodell für geometrische Hinweise. Evaluationen auf dem GM-100-Benchmark, durchgeführt in einem generalistischen Setting, bestätigen den positiven Einfluss dieser vorgeschlagenen Modifikationen. Darüber hinaus demonstriert LingBot-VLA-2.0, begünstigt durch die erweiterten Pretraining-Daten, die die Ganzkörper-Freiheitsgrade abdecken, eine starke verkörperungsübergreifende langhorizontige mobile Manipulationsfähigkeit auf beiden Roboterplattformen.

English

Despite recent progress of VLA foundation models, the disparity between laboratory conditions and real-world applications continues to impede their practical implementation. To bridge this gap, we present LingBot-VLA 2.0, which advances LingBot-VLA through improvements in three functional domains. (1) Generalization across tasks and embodiments. Compared to the previous version, we revamp the data processing pipeline and curate around 60,000 hours of data for pretraining, including 50,000 hours of robot trajectories spanning 20 robot configurations and 10,000 hours of egocentric human videos. (2) Expanded action space in addition to dual-arm hardware platforms. In particular, our system accommodates degrees of freedom for the heads, waists, mobile bases, and dexterous hands, thereby empowering the robots to tackle more complex tasks in practical scenarios. (3) Predictive dynamics modeling for improved temporal reasoning. Specifically, we formulate future prediction as a proxy task, facilitated by a video representation model for semantic priors and a depth estimation model for geometric cues. Evaluations on the GM-100 benchmark, conducted in a generalist setting, validate the beneficial impact of these proposed modifications. Furthermore, benefiting from the expanded pretraining data that covers whole-body degrees of freedom, LingBot-VLA-2.0 demonstrates strong cross-embodiment long-horizon mobile manipulation capability across the two robotic platforms.