GazeGen: Blickgesteuerte Benutzerinteraktion zur Erzeugung visueller Inhalte

GazeGen: Gaze-Driven User Interaction for Visual Content Generation

November 7, 2024

papers.authors: He-Yen Hsieh, Ziyun Li, Sai Qian Zhang, Wei-Te Mark Ting, Kao-Den Chang, Barbara De Salvo, Chiao Liu, H. T. Kung

cs.AI

papers.abstract

Wir präsentieren GazeGen, ein Benutzerinteraktionssystem, das visuelle Inhalte (Bilder und Videos) für durch den Blick des Benutzers angezeigte Positionen generiert. GazeGen ermöglicht die intuitive Manipulation von visuellen Inhalten durch die Zielung von interessierenden Regionen mit dem Blick. Unter Verwendung fortschrittlicher Techniken in der Objekterkennung und generativen KI führt GazeGen blickgesteuertes Hinzufügen/Löschen, Neuplatzierung und Oberflächenmaterialänderungen von Bildobjekten durch und wandelt statische Bilder in Videos um. Kernstück von GazeGen ist der DFT Gaze (Distilled and Fine-Tuned Gaze) Agent, ein ultraleichtes Modell mit nur 281K Parametern, das präzise Echtzeit-Blickvorhersagen, angepasst an die Augen individueller Benutzer, auf kleinen Edge-Geräten durchführt. GazeGen ist das erste System, das die Erzeugung visueller Inhalte mit Echtzeit-Blickschätzung kombiniert, was ausschließlich durch DFT Gaze ermöglicht wird. Diese Echtzeit-Blickschätzung ermöglicht verschiedene Aufgaben zur Erzeugung visueller Inhalte, die alle durch den Blick des Benutzers gesteuert werden. Die Eingabe für DFT Gaze sind die Augenbilder des Benutzers, während die Eingaben für die Erzeugung visueller Inhalte die Ansicht des Benutzers und der vorhergesagte Blickpunkt von DFT Gaze sind. Um effiziente Blickvorhersagen zu erreichen, leiten wir das kleine Modell von einem großen Modell (10x größer) durch neuartige Wissensdestillations- und persönliche Anpassungstechniken ab. Wir integrieren Wissensdestillation mit einem maskierten Autoencoder und entwickeln ein kompaktes, aber leistungsstarkes Blickschätzungsmodell. Dieses Modell wird weiter mit Adaptern feinabgestimmt, wodurch hochpräzise und personalisierte Blickvorhersagen mit minimaler Benutzereingabe ermöglicht werden. DFT Gaze gewährleistet eine niedrige Latenz und präzise Blickverfolgung, die eine Vielzahl von blickgesteuerten Aufgaben unterstützt. Wir validieren die Leistung von DFT Gaze anhand der AEA- und OpenEDS2020-Benchmarks und demonstrieren einen geringen Winkelfehler bei der Blickschätzung und eine niedrige Latenz auf dem Edge-Gerät (Raspberry Pi 4). Darüber hinaus beschreiben wir Anwendungen von GazeGen, die seine Vielseitigkeit und Effektivität in verschiedenen Nutzungsszenarien verdeutlichen.

English

We present GazeGen, a user interaction system that generates visual content (images and videos) for locations indicated by the user's eye gaze. GazeGen allows intuitive manipulation of visual content by targeting regions of interest with gaze. Using advanced techniques in object detection and generative AI, GazeGen performs gaze-controlled image adding/deleting, repositioning, and surface material changes of image objects, and converts static images into videos. Central to GazeGen is the DFT Gaze (Distilled and Fine-Tuned Gaze) agent, an ultra-lightweight model with only 281K parameters, performing accurate real-time gaze predictions tailored to individual users' eyes on small edge devices. GazeGen is the first system to combine visual content generation with real-time gaze estimation, made possible exclusively by DFT Gaze. This real-time gaze estimation enables various visual content generation tasks, all controlled by the user's gaze. The input for DFT Gaze is the user's eye images, while the inputs for visual content generation are the user's view and the predicted gaze point from DFT Gaze. To achieve efficient gaze predictions, we derive the small model from a large model (10x larger) via novel knowledge distillation and personal adaptation techniques. We integrate knowledge distillation with a masked autoencoder, developing a compact yet powerful gaze estimation model. This model is further fine-tuned with Adapters, enabling highly accurate and personalized gaze predictions with minimal user input. DFT Gaze ensures low-latency and precise gaze tracking, supporting a wide range of gaze-driven tasks. We validate the performance of DFT Gaze on AEA and OpenEDS2020 benchmarks, demonstrating low angular gaze error and low latency on the edge device (Raspberry Pi 4). Furthermore, we describe applications of GazeGen, illustrating its versatility and effectiveness in various usage scenarios.