GazeGen: Interazione Utente Guidata dallo Sguardo per la Generazione di Contenuti Visivi

GazeGen: Gaze-Driven User Interaction for Visual Content Generation

November 7, 2024

Autori: He-Yen Hsieh, Ziyun Li, Sai Qian Zhang, Wei-Te Mark Ting, Kao-Den Chang, Barbara De Salvo, Chiao Liu, H. T. Kung

cs.AI

Abstract

Presentiamo GazeGen, un sistema di interazione utente che genera contenuti visivi (immagini e video) per le posizioni indicate dallo sguardo dell'utente. GazeGen consente una manipolazione intuitiva dei contenuti visivi prendendo di mira le regioni di interesse con lo sguardo. Utilizzando tecniche avanzate di rilevamento di oggetti e intelligenza artificiale generativa, GazeGen esegue operazioni di aggiunta/rimozione, riposizionamento e modifica del materiale superficiale degli oggetti immagine controllate dallo sguardo, e converte immagini statiche in video. Cuore di GazeGen è l'agente DFT Gaze (Distilled and Fine-Tuned Gaze), un modello ultra-leggero con soli 281K parametri, che esegue previsioni accurate dello sguardo in tempo reale personalizzate per gli occhi dei singoli utenti su piccoli dispositivi edge. GazeGen è il primo sistema a combinare la generazione di contenuti visivi con la stima dello sguardo in tempo reale, reso possibile esclusivamente da DFT Gaze. Questa stima in tempo reale dello sguardo abilita varie attività di generazione di contenuti visivi, tutte controllate dallo sguardo dell'utente. L'input per DFT Gaze sono le immagini dell'occhio dell'utente, mentre gli input per la generazione di contenuti visivi sono la vista dell'utente e il punto di sguardo predetto da DFT Gaze. Per ottenere previsioni dello sguardo efficienti, deriviamo il modello piccolo da un modello grande (10 volte più grande) tramite innovative tecniche di distillazione della conoscenza e adattamento personale. Integriamo la distillazione della conoscenza con un autoencoder mascherato, sviluppando un modello di stima dello sguardo compatto ma potente. Questo modello viene ulteriormente perfezionato con Adapter, consentendo previsioni dello sguardo altamente accurate e personalizzate con un input utente minimo. DFT Gaze garantisce un tracciamento dello sguardo a bassa latenza e preciso, supportando un'ampia gamma di attività guidate dallo sguardo. Convalidiamo le prestazioni di DFT Gaze sui benchmark AEA e OpenEDS2020, dimostrando un basso errore angolare dello sguardo e una bassa latenza sul dispositivo edge (Raspberry Pi 4). Inoltre, descriviamo le applicazioni di GazeGen, illustrandone la versatilità e l'efficacia in vari scenari d'uso.

English

We present GazeGen, a user interaction system that generates visual content (images and videos) for locations indicated by the user's eye gaze. GazeGen allows intuitive manipulation of visual content by targeting regions of interest with gaze. Using advanced techniques in object detection and generative AI, GazeGen performs gaze-controlled image adding/deleting, repositioning, and surface material changes of image objects, and converts static images into videos. Central to GazeGen is the DFT Gaze (Distilled and Fine-Tuned Gaze) agent, an ultra-lightweight model with only 281K parameters, performing accurate real-time gaze predictions tailored to individual users' eyes on small edge devices. GazeGen is the first system to combine visual content generation with real-time gaze estimation, made possible exclusively by DFT Gaze. This real-time gaze estimation enables various visual content generation tasks, all controlled by the user's gaze. The input for DFT Gaze is the user's eye images, while the inputs for visual content generation are the user's view and the predicted gaze point from DFT Gaze. To achieve efficient gaze predictions, we derive the small model from a large model (10x larger) via novel knowledge distillation and personal adaptation techniques. We integrate knowledge distillation with a masked autoencoder, developing a compact yet powerful gaze estimation model. This model is further fine-tuned with Adapters, enabling highly accurate and personalized gaze predictions with minimal user input. DFT Gaze ensures low-latency and precise gaze tracking, supporting a wide range of gaze-driven tasks. We validate the performance of DFT Gaze on AEA and OpenEDS2020 benchmarks, demonstrating low angular gaze error and low latency on the edge device (Raspberry Pi 4). Furthermore, we describe applications of GazeGen, illustrating its versatility and effectiveness in various usage scenarios.