OpenGVL - 데이터 큐레이션을 위한 시각적 시간적 진행 상황 벤치마킹

OpenGVL - Benchmarking Visual Temporal Progress for Data Curation

September 22, 2025

저자: Paweł Budzianowski, Emilia Wiśnios, Gracjan Góral, Igor Kulakov, Viktor Petrenko, Krzysztof Walas

cs.AI

초록

데이터 부족은 로보틱스 분야의 발전을 가로막는 가장 큰 제약 요인 중 하나로 남아 있습니다. 그러나 실제 환경에서 이용 가능한 로보틱스 데이터의 양은 기하급수적으로 증가하며, 대규모 데이터 활용을 위한 새로운 기회를 창출하고 있습니다. 신뢰할 수 있는 시간적 작업 완료 예측은 이러한 데이터를 대규모로 자동 주석 처리하고 관리하는 데 도움을 줄 수 있습니다. 최근 제안된 생성적 가치 학습(Generative Value Learning, GVL) 접근법은 시각-언어 모델(Vision-Language Models, VLMs)에 내재된 지식을 활용하여 시각적 관찰로부터 작업 진행 상황을 예측합니다. GVL을 기반으로, 우리는 로봇과 인간 구현체를 모두 포함한 다양한 도전적인 조작 작업에서 작업 진행 상황을 추정하기 위한 포괄적인 벤치마크인 OpenGVL을 제안합니다. 우리는 공개적으로 이용 가능한 오픈소스 기반 모델의 성능을 평가하며, 오픈소스 모델 계열이 시간적 진행 예측 작업에서 폐쇄형 모델 대비 약 70%의 성능만 달성함을 보여줍니다. 또한, OpenGVL이 대규모 로보틱스 데이터셋의 효율적인 품질 평가를 가능하게 하는 자동화된 데이터 관리 및 필터링을 위한 실용적인 도구로 활용될 수 있음을 입증합니다. 우리는 이 벤치마크와 완전한 코드베이스를 github.com/budzianowski/opengvl{OpenGVL}에서 공개합니다.

English

Data scarcity remains one of the most limiting factors in driving progress in robotics. However, the amount of available robotics data in the wild is growing exponentially, creating new opportunities for large-scale data utilization. Reliable temporal task completion prediction could help automatically annotate and curate this data at scale. The Generative Value Learning (GVL) approach was recently proposed, leveraging the knowledge embedded in vision-language models (VLMs) to predict task progress from visual observations. Building upon GVL, we propose OpenGVL, a comprehensive benchmark for estimating task progress across diverse challenging manipulation tasks involving both robotic and human embodiments. We evaluate the capabilities of publicly available open-source foundation models, showing that open-source model families significantly underperform closed-source counterparts, achieving only approximately 70% of their performance on temporal progress prediction tasks. Furthermore, we demonstrate how OpenGVL can serve as a practical tool for automated data curation and filtering, enabling efficient quality assessment of large-scale robotics datasets. We release the benchmark along with the complete codebase at github.com/budzianowski/opengvl{OpenGVL}.