PROGRESSLM: К моделированию прогресса в визуально-языковых моделях

PROGRESSLM: Towards Progress Reasoning in Vision-Language Models

January 21, 2026

Авторы: Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu

cs.AI

Аннотация

Оценка прогресса выполнения задачи требует анализа долгосрочной динамики, а не просто распознавания статического визуального содержания. Хотя современные визуально-языковые модели (VLM) превосходно описывают видимое содержимое, остается неясным, способны ли они определить, насколько далеко продвинулось выполнение задачи, на основе частичных наблюдений. Для решения этой задачи мы представляем Progress-Bench — эталонный набор для систематической оценки способности VLM к анализу прогресса. Помимо тестирования, мы также исследуем вдохновленную человеком двухэтапную парадигму анализа прогресса с помощью как беспараметрического промптинга, так и параметрического подхода на основе специально созданного набора данных ProgressLM-45K. Эксперименты с 14 VLM показывают, что большинство моделей еще не готовы к оценке прогресса задач, демонстрируя чувствительность к модальности демонстраций и изменениям точки зрения, а также слабую обработку случаев, не подлежащих ответу. В то время как беспараметрический промптинг, обеспечивающий структурированный анализ прогресса, дает ограниченный и зависимый от модели прирост, параметрическая модель ProgressLM-3B демонстрирует стабильное улучшение даже при небольшом масштабе модели, несмотря на обучение на наборе задач, полностью не пересекающемся с оценочными задачами. Дальнейший анализ выявляет характерные паттерны ошибок и проясняет, когда и почему анализ прогресса оказывается успешным или терпит неудачу.

English

Estimating task progress requires reasoning over long-horizon dynamics rather than recognizing static visual content. While modern Vision-Language Models (VLMs) excel at describing what is visible, it remains unclear whether they can infer how far a task has progressed from partial observations. To this end, we introduce Progress-Bench, a benchmark for systematically evaluating progress reasoning in VLMs. Beyond benchmarking, we further explore a human-inspired two-stage progress reasoning paradigm through both training-free prompting and training-based approach based on curated dataset ProgressLM-45K. Experiments on 14 VLMs show that most models are not yet ready for task progress estimation, exhibiting sensitivity to demonstration modality and viewpoint changes, as well as poor handling of unanswerable cases. While training-free prompting that enforces structured progress reasoning yields limited and model-dependent gains, the training-based ProgressLM-3B achieves consistent improvements even at a small model scale, despite being trained on a task set fully disjoint from the evaluation tasks. Further analyses reveal characteristic error patterns and clarify when and why progress reasoning succeeds or fails.