Action100M: un dataset di azioni video su larga scala
Action100M: A Large-scale Video Action Dataset
January 15, 2026
Autori: Delong Chen, Tejaswi Kasarla, Yejin Bang, Mustafa Shukor, Willy Chung, Jade Yu, Allen Bolourchi, Theo Moutakanni, Pascale Fung
cs.AI
Abstract
L'inferenza di azioni fisiche da osservazioni visive è una capacità fondamentale per far progredire l'intelligenza artificiale nel mondo fisico. Raggiungere questo obiettivo richiede dataset video di azioni su larga scala e a vocabolario aperto che coprano domini ampi. Presentiamo Action100M, un dataset su larga scala costruito a partire da 1,2 milioni di video didattici di Internet (per una durata totale di 14,6 anni), che produce O(100 milioni) di segmenti temporalmente localizzati con supervisione di azioni a vocabolario aperto e descrizioni ricche. Action100M è generato da una pipeline completamente automatizzata che (i) esegue una segmentazione temporale gerarchica utilizzando gli embedding di V-JEPA 2, (ii) produce descrizioni multilivello per frame e segmenti organizzate come un "Albero delle Descrizioni" (Tree-of-Captions), e (iii) aggrega le evidenze con un modello di ragionamento (GPT-OSS-120B) attraverso una procedura di Auto-Affina
English
Inferring physical actions from visual observations is a fundamental capability for advancing machine intelligence in the physical world. Achieving this requires large-scale, open-vocabulary video action datasets that span broad domains. We introduce Action100M, a large-scale dataset constructed from 1.2M Internet instructional videos (14.6 years of duration), yielding O(100 million) temporally localized segments with open-vocabulary action supervision and rich captions. Action100M is generated by a fully automated pipeline that (i) performs hierarchical temporal segmentation using V-JEPA 2 embeddings, (ii) produces multi-level frame and segment captions organized as a Tree-of-Captions, and (iii) aggregates evidence with a reasoning model (GPT-OSS-120B) under a multi-round Self-Refine procedure to output structured annotations (brief/detailed action, actor, brief/detailed caption). Training VL-JEPA on Action100M demonstrates consistent data-scaling improvements and strong zero-shot performance across diverse action recognition benchmarks, establishing Action100M as a new foundation for scalable research in video understanding and world modeling.