GazeGen: Blikgestuurde gebruikersinteractie voor visuele contentgeneratie

GazeGen: Gaze-Driven User Interaction for Visual Content Generation

November 7, 2024

Auteurs: He-Yen Hsieh, Ziyun Li, Sai Qian Zhang, Wei-Te Mark Ting, Kao-Den Chang, Barbara De Salvo, Chiao Liu, H. T. Kung

cs.AI

Samenvatting

Wij presenteren GazeGen, een gebruikersinteractiesysteem dat visuele inhoud (afbeeldingen en video's) genereert voor locaties die worden aangegeven door de oogbewegingen van de gebruiker. GazeGen maakt intuïtieve manipulatie van visuele inhoud mogelijk door interessegebieden met de blik te selecteren. Met behulp van geavanceerde technieken in objectdetectie en generatieve AI voert GazeGen door de blik gestuurde handelingen uit, zoals het toevoegen/verwijderen van afbeeldingen, het herpositioneren van beeldobjecten, het wijzigen van oppervlaktematerialen, en zet het statische afbeeldingen om in video's. Centraal in GazeGen staat de DFT Gaze (Distilled and Fine-Tuned Gaze) agent, een ultralichtgewicht model met slechts 281K parameters, dat nauwkeurige realtime blikvoorspellingen uitvoert, afgestemd op de individuele ogen van gebruikers op kleine edge-apparaten. GazeGen is het eerste systeem dat visuele inhoudsgeneratie combineert met realtime blikschatting, wat uitsluitend mogelijk wordt gemaakt door DFT Gaze. Deze realtime blikschatting maakt diverse taken voor het genereren van visuele inhoud mogelijk, allemaal bestuurd door de blik van de gebruiker. De invoer voor DFT Gaze zijn de oogbeelden van de gebruiker, terwijl de invoer voor de visuele inhoudsgeneratie het gebruikersbeeld en het voorspelde blikpunt van DFT Gaze zijn. Om efficiënte blikvoorspellingen te bereiken, leiden we het kleine model af van een groot model (10x groter) via nieuwe kennisdistillatie- en persoonlijke aanpassingstechnieken. We integreren kennisdistillatie met een gemaskeerde auto-encoder, waardoor een compact maar krachtig blikschattingsmodel wordt ontwikkeld. Dit model wordt verder verfijnd met Adapters, waardoor zeer nauwkeurige en gepersonaliseerde blikvoorspellingen mogelijk zijn met minimale gebruikersinvoer. DFT Gaze zorgt voor lage latentie en precieze bliktracking, ondersteund door een breed scala aan door de blik gestuurde taken. We valideren de prestaties van DFT Gaze op AEA- en OpenEDS2020-benchmarks, waarbij een lage hoekfout in de blikschatting en lage latentie op het edge-apparaat (Raspberry Pi 4) worden aangetoond. Verder beschrijven we toepassingen van GazeGen, die de veelzijdigheid en effectiviteit ervan in verschillende gebruiksscenario's illustreren.

English

We present GazeGen, a user interaction system that generates visual content (images and videos) for locations indicated by the user's eye gaze. GazeGen allows intuitive manipulation of visual content by targeting regions of interest with gaze. Using advanced techniques in object detection and generative AI, GazeGen performs gaze-controlled image adding/deleting, repositioning, and surface material changes of image objects, and converts static images into videos. Central to GazeGen is the DFT Gaze (Distilled and Fine-Tuned Gaze) agent, an ultra-lightweight model with only 281K parameters, performing accurate real-time gaze predictions tailored to individual users' eyes on small edge devices. GazeGen is the first system to combine visual content generation with real-time gaze estimation, made possible exclusively by DFT Gaze. This real-time gaze estimation enables various visual content generation tasks, all controlled by the user's gaze. The input for DFT Gaze is the user's eye images, while the inputs for visual content generation are the user's view and the predicted gaze point from DFT Gaze. To achieve efficient gaze predictions, we derive the small model from a large model (10x larger) via novel knowledge distillation and personal adaptation techniques. We integrate knowledge distillation with a masked autoencoder, developing a compact yet powerful gaze estimation model. This model is further fine-tuned with Adapters, enabling highly accurate and personalized gaze predictions with minimal user input. DFT Gaze ensures low-latency and precise gaze tracking, supporting a wide range of gaze-driven tasks. We validate the performance of DFT Gaze on AEA and OpenEDS2020 benchmarks, demonstrating low angular gaze error and low latency on the edge device (Raspberry Pi 4). Furthermore, we describe applications of GazeGen, illustrating its versatility and effectiveness in various usage scenarios.