PROGRESSLM : Vers un raisonnement progressif dans les modèles vision-langage

PROGRESSLM: Towards Progress Reasoning in Vision-Language Models

January 21, 2026

papers.authors: Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu

cs.AI

papers.abstract

L'estimation de la progression d'une tâche nécessite un raisonnement sur des dynamiques à long terme plutôt que la reconnaissance de contenu visuel statique. Si les modèles vision-langage (VLM) modernes excellent à décrire ce qui est visible, leur capacité à déduire le degré d'avancement d'une tâche à partir d'observations partielles reste incertaine. Pour cela, nous présentons Progress-Bench, un benchmark pour évaluer systématiquement le raisonnement de progression dans les VLM. Au-delà de l'évaluation comparative, nous explorons également un paradigme de raisonnement de progression en deux étapes inspiré de l'humain, via à la fois l'utilisation d'invites sans entraînement et une approche avec entraînement basée sur l'ensemble de données ProgressLM-45K. Les expériences sur 14 VLM montrent que la plupart des modèles ne sont pas encore prêts pour l'estimation de la progression des tâches, présentant une sensibilité à la modalité de démonstration et aux changements de point de vue, ainsi qu'une mauvaise gestion des cas sans réponse. Alors que l'utilisation d'invites sans entraînement imposant un raisonnement structuré de la progression donne des gains limités et dépendants du modèle, ProgressLM-3B avec entraînement obtient des améliorations constantes même à petite échelle, malgré un entraînement sur un ensemble de tâches totalement disjoint de celles d'évaluation. Des analyses plus poussées révèlent des schémas d'erreur caractéristiques et précisent quand et pourquoi le raisonnement de progression réussit ou échoue.

English

Estimating task progress requires reasoning over long-horizon dynamics rather than recognizing static visual content. While modern Vision-Language Models (VLMs) excel at describing what is visible, it remains unclear whether they can infer how far a task has progressed from partial observations. To this end, we introduce Progress-Bench, a benchmark for systematically evaluating progress reasoning in VLMs. Beyond benchmarking, we further explore a human-inspired two-stage progress reasoning paradigm through both training-free prompting and training-based approach based on curated dataset ProgressLM-45K. Experiments on 14 VLMs show that most models are not yet ready for task progress estimation, exhibiting sensitivity to demonstration modality and viewpoint changes, as well as poor handling of unanswerable cases. While training-free prompting that enforces structured progress reasoning yields limited and model-dependent gains, the training-based ProgressLM-3B achieves consistent improvements even at a small model scale, despite being trained on a task set fully disjoint from the evaluation tasks. Further analyses reveal characteristic error patterns and clarify when and why progress reasoning succeeds or fails.