Action100M: Un Conjunto de Datos a Gran Escala para Acciones en Video
Action100M: A Large-scale Video Action Dataset
January 15, 2026
Autores: Delong Chen, Tejaswi Kasarla, Yejin Bang, Mustafa Shukor, Willy Chung, Jade Yu, Allen Bolourchi, Theo Moutakanni, Pascale Fung
cs.AI
Resumen
Inferir acciones físicas a partir de observaciones visuales es una capacidad fundamental para avanzar en la inteligencia artificial aplicada al mundo físico. Lograr esto requiere conjuntos de datos de video a gran escala y de vocabulario abierto que abarquen dominios amplios. Presentamos Action100M, un conjunto de datos a gran escala construido a partir de 1.2 millones de videos instructivos de Internet (equivalente a 14.6 años de duración), que produce aproximadamente 100 millones de segmentos localizados temporalmente con supervisión de acciones de vocabulario abierto y descripciones ricas. Action100M se genera mediante un pipeline completamente automatizado que (i) realiza una segmentación temporal jerárquica utilizando *embeddings* de V-JEPA 2, (ii) produce descripciones de fotogramas y segmentos a múltiples niveles organizadas como un Árbol-de-Descripciones, y (iii) agrega evidencia con un modelo de razonamiento (GPT-OSS-120B) bajo un procedimiento de Auto-Refinamiento en múltiples rondas para generar anotaciones estructuradas (acción breve/detallada, actor, descripción breve/detallada). El entrenamiento de VL-JEPA en Action100M demuestra mejoras consistentes con el escalado de datos y un fuerte rendimiento *zero-shot* en diversos puntos de referencia de reconocimiento de acciones, estableciendo a Action100M como una nueva base para la investigación escalable en comprensión de video y modelado del mundo.
English
Inferring physical actions from visual observations is a fundamental capability for advancing machine intelligence in the physical world. Achieving this requires large-scale, open-vocabulary video action datasets that span broad domains. We introduce Action100M, a large-scale dataset constructed from 1.2M Internet instructional videos (14.6 years of duration), yielding O(100 million) temporally localized segments with open-vocabulary action supervision and rich captions. Action100M is generated by a fully automated pipeline that (i) performs hierarchical temporal segmentation using V-JEPA 2 embeddings, (ii) produces multi-level frame and segment captions organized as a Tree-of-Captions, and (iii) aggregates evidence with a reasoning model (GPT-OSS-120B) under a multi-round Self-Refine procedure to output structured annotations (brief/detailed action, actor, brief/detailed caption). Training VL-JEPA on Action100M demonstrates consistent data-scaling improvements and strong zero-shot performance across diverse action recognition benchmarks, establishing Action100M as a new foundation for scalable research in video understanding and world modeling.