PROGRESSLM: Auf dem Weg zu Fortschrittsreasoning in visuell-sprachlichen Modellen
PROGRESSLM: Towards Progress Reasoning in Vision-Language Models
January 21, 2026
papers.authors: Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu
cs.AI
papers.abstract
Die Schätzung des Aufgabenfortschritts erfordert ein Schlussfolgern über langfristige Dynamiken und nicht lediglich das Erkennen statischer visueller Inhalte. Während moderne Vision-Language-Modelle (VLMs) hervorragend darin sind, zu beschreiben, was sichtbar ist, bleibt unklar, ob sie aus Teilbeobachtungen ableiten können, wie weit eine Aufgabe fortgeschritten ist. Zu diesem Zweck führen wir Progress-Bench ein, einen Benchmark zur systematischen Bewertung von Fortschrittsbeurteilungen in VLMs. Über das Benchmarking hinaus untersuchen wir weiterhin ein menscheninspiriertes zweistufiges Paradigma zur Fortschrittsbeurteilung, sowohl durch trainingsfreie Prompting-Ansätze als auch durch einen trainingsbasierten Ansatz auf Basis des kuratierten Datensatzes ProgressLM-45K. Experimente mit 14 VLMs zeigen, dass die meisten Modelle noch nicht für die Schätzung des Aufgabenfortschritts bereit sind und eine Empfindlichkeit gegenüber Demonstrationsmodalitäten und Blickwinkeländerungen sowie einen schlechten Umgang mit unbeantwortbaren Fällen aufweisen. Während trainingsfreies Prompting, das strukturierte Fortschrittsbeurteilung erzwingt, nur begrenzte und modellabhängige Verbesserungen bringt, erzielt das trainingsbasierte ProgressLM-3B konsistente Verbesserungen selbst bei einer kleinen Modellgröße, obwohl es auf einem Aufgabensatz trainiert wurde, der vollständig disjunkt zu den Evaluierungsaufgaben ist. Weitere Analysen zeigen charakteristische Fehlermuster auf und klären, wann und warum die Fortschrittsbeurteilung erfolgreich ist oder scheitert.
English
Estimating task progress requires reasoning over long-horizon dynamics rather than recognizing static visual content. While modern Vision-Language Models (VLMs) excel at describing what is visible, it remains unclear whether they can infer how far a task has progressed from partial observations. To this end, we introduce Progress-Bench, a benchmark for systematically evaluating progress reasoning in VLMs. Beyond benchmarking, we further explore a human-inspired two-stage progress reasoning paradigm through both training-free prompting and training-based approach based on curated dataset ProgressLM-45K. Experiments on 14 VLMs show that most models are not yet ready for task progress estimation, exhibiting sensitivity to demonstration modality and viewpoint changes, as well as poor handling of unanswerable cases. While training-free prompting that enforces structured progress reasoning yields limited and model-dependent gains, the training-based ProgressLM-3B achieves consistent improvements even at a small model scale, despite being trained on a task set fully disjoint from the evaluation tasks. Further analyses reveal characteristic error patterns and clarify when and why progress reasoning succeeds or fails.