Omni-RGPT: Vereniging van Beeld- en Videoregioniveau Begrip via Tokenmarkeringen

Omni-RGPT: Unifying Image and Video Region-level Understanding via Token Marks

January 14, 2025

Auteurs: Miran Heo, Min-Hung Chen, De-An Huang, Sifei Liu, Subhashree Radhakrishnan, Seon Joo Kim, Yu-Chiang Frank Wang, Ryo Hachiuma

cs.AI

Samenvatting

Wij presenteren Omni-RGPT, een multimodaal groot taalmodel ontworpen om regio-niveau begrip te vergemakkelijken voor zowel afbeeldingen als video's. Om consistente regio representatie over ruimtelijke en temporele dimensies te bereiken, introduceren we Token Mark, een set tokens die de doelregio's binnen de visuele kenmerkruimte benadrukken. Deze tokens worden rechtstreeks ingebed in ruimtelijke regio's met behulp van regio prompts (bijv. vakken of maskers) en tegelijkertijd opgenomen in de tekst prompt om het doelwit te specificeren, waardoor een directe verbinding tussen visuele en tekstuele tokens tot stand wordt gebracht. Om verdere ondersteuning te bieden voor robuust begrip van video's zonder dat daarvoor tracklets nodig zijn, introduceren we een hulptaak die Token Mark begeleidt door gebruik te maken van de consistentie van de tokens, waardoor stabiele regio interpretatie over de video mogelijk wordt. Daarnaast introduceren we een grootschalige regio-niveau video instructiedataset (RegVID-300k). Omni-RGPT behaalt state-of-the-art resultaten op beeld- en video-gebaseerde gezond verstand redeneer-benchmarks, terwijl het sterke prestaties laat zien bij bijschriften en verwijzende expressie begrips-taken.

English

We present Omni-RGPT, a multimodal large language model designed to facilitate region-level comprehension for both images and videos. To achieve consistent region representation across spatio-temporal dimensions, we introduce Token Mark, a set of tokens highlighting the target regions within the visual feature space. These tokens are directly embedded into spatial regions using region prompts (e.g., boxes or masks) and simultaneously incorporated into the text prompt to specify the target, establishing a direct connection between visual and text tokens. To further support robust video understanding without requiring tracklets, we introduce an auxiliary task that guides Token Mark by leveraging the consistency of the tokens, enabling stable region interpretation across the video. Additionally, we introduce a large-scale region-level video instruction dataset (RegVID-300k). Omni-RGPT achieves state-of-the-art results on image and video-based commonsense reasoning benchmarks while showing strong performance in captioning and referring expression comprehension tasks.