PROGRESSLM：視覚言語モデルにおける進捗推論に向けて

要旨

タスクの進捗推定は、静的な視覚的コンテンツを認識するのではなく、長期的なダイナミクスに対する推論を必要とします。現代の視覚言語モデル（VLM）は目に見えるものを記述することに優れていますが、部分的な観察からタスクがどの程度進行したかを推論できるかどうかは不明なままです。この目的のために、我々はVLMにおける進捗推論を体系的に評価するベンチマーク「Progress-Bench」を提案します。ベンチマーク評価を超えて、人間にヒントを得た2段階の進捗推論パラダイムを、トレーニング不要なプロンプティング手法と、精選されたデータセットProgressLM-45Kに基づくトレーニングベースの手法の両方を通じて探求します。14のVLMを用いた実験により、ほとんどのモデルはタスク進捗推定の準備がまだ整っておらず、デモンストレーションのモダリティや視点の変化に対する敏感性、および回答不能なケースへの不適切な対応が明らかになりました。構造化された進捗推論を強制するトレーニング不要なプロンプティングは限定的かつモデル依存の改善しかもたらさない一方で、トレーニングベースのProgressLM-3Bは、評価タスクと完全に異なるタスクセットで学習されたにもかかわらず、小規模なモデルサイズでも一貫した改善を達成します。さらなる分析により、特徴的なエラーパターンが明らかになり、進捗推論がいつ、なぜ成功または失敗するのかが明確になります。

English

Estimating task progress requires reasoning over long-horizon dynamics rather than recognizing static visual content. While modern Vision-Language Models (VLMs) excel at describing what is visible, it remains unclear whether they can infer how far a task has progressed from partial observations. To this end, we introduce Progress-Bench, a benchmark for systematically evaluating progress reasoning in VLMs. Beyond benchmarking, we further explore a human-inspired two-stage progress reasoning paradigm through both training-free prompting and training-based approach based on curated dataset ProgressLM-45K. Experiments on 14 VLMs show that most models are not yet ready for task progress estimation, exhibiting sensitivity to demonstration modality and viewpoint changes, as well as poor handling of unanswerable cases. While training-free prompting that enforces structured progress reasoning yields limited and model-dependent gains, the training-based ProgressLM-3B achieves consistent improvements even at a small model scale, despite being trained on a task set fully disjoint from the evaluation tasks. Further analyses reveal characteristic error patterns and clarify when and why progress reasoning succeeds or fails.

PROGRESSLM：視覚言語モデルにおける進捗推論に向けて

PROGRESSLM: Towards Progress Reasoning in Vision-Language Models

要旨

Support