PROGRESSLM: Op weg naar voortgangsredenering in visueel-taalkundige modellen
PROGRESSLM: Towards Progress Reasoning in Vision-Language Models
January 21, 2026
Auteurs: Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu
cs.AI
Samenvatting
Het schatten van taakvoortgang vereist redeneren over langetermijndynamiek in plaats van het herkennen van statische visuele inhoud. Hoewel moderne Vision-Language Models (VLM's) uitblinken in het beschrijven van wat zichtbaar is, is het onduidelijk of ze kunnen afleiden hoe ver een taak gevorderd is op basis van gedeeltelijke observaties. Daartoe introduceren we Progress-Bench, een benchmark voor het systematisch evalueren van voortgangsredenering in VLM's. Naast benchmarking onderzoeken we verder een menselijk geïnspireerd tweefasen paradigma voor voortgangsredenering via zowel training-vrije prompting als een training-gebaseerde aanpak op basis van de gecureerde dataset ProgressLM-45K. Experimenten met 14 VLM's tonen aan dat de meeste modellen nog niet klaar zijn voor taakvoortgangsschatting, waarbij ze gevoeligheid vertonen voor demonstratiemodaliteit en viewpointveranderingen, evenals een slechte afhandeling van onbeantwoordbare gevallen. Hoewel training-vrije prompting die gestructureerde voortgangsredenering afdwingt beperkte en modelafhankelijke verbeteringen oplevert, behaalt de training-gebaseerde ProgressLM-3B consistente verbeteringen, zelfs bij een kleine modelschaal, ondanks training op een taakset die volledig disjunct is van de evaluatietaken. Verdere analyses onthullen karakteristieke foutpatronen en verduidelijken wanneer en waarom voortgangsredenering slaagt of faalt.
English
Estimating task progress requires reasoning over long-horizon dynamics rather than recognizing static visual content. While modern Vision-Language Models (VLMs) excel at describing what is visible, it remains unclear whether they can infer how far a task has progressed from partial observations. To this end, we introduce Progress-Bench, a benchmark for systematically evaluating progress reasoning in VLMs. Beyond benchmarking, we further explore a human-inspired two-stage progress reasoning paradigm through both training-free prompting and training-based approach based on curated dataset ProgressLM-45K. Experiments on 14 VLMs show that most models are not yet ready for task progress estimation, exhibiting sensitivity to demonstration modality and viewpoint changes, as well as poor handling of unanswerable cases. While training-free prompting that enforces structured progress reasoning yields limited and model-dependent gains, the training-based ProgressLM-3B achieves consistent improvements even at a small model scale, despite being trained on a task set fully disjoint from the evaluation tasks. Further analyses reveal characteristic error patterns and clarify when and why progress reasoning succeeds or fails.