GazeGen: Interação do Usuário Baseada no Olhar para Geração de Conteúdo Visual

GazeGen: Gaze-Driven User Interaction for Visual Content Generation

November 7, 2024

Autores: He-Yen Hsieh, Ziyun Li, Sai Qian Zhang, Wei-Te Mark Ting, Kao-Den Chang, Barbara De Salvo, Chiao Liu, H. T. Kung

cs.AI

Resumo

Apresentamos o GazeGen, um sistema de interação do usuário que gera conteúdo visual (imagens e vídeos) para locais indicados pelo olhar do usuário. O GazeGen permite a manipulação intuitiva de conteúdo visual ao direcionar regiões de interesse com o olhar. Utilizando técnicas avançadas de detecção de objetos e IA generativa, o GazeGen realiza adição/remoção, reposicionamento e alterações de material de superfície de objetos de imagem controlados pelo olhar, e converte imagens estáticas em vídeos. O núcleo do GazeGen é o agente DFT Gaze (Gaze Destilado e Ajustado), um modelo ultraleve com apenas 281K parâmetros, que realiza previsões de olhar precisas em tempo real, personalizadas para os olhos de usuários individuais em pequenos dispositivos de borda. O GazeGen é o primeiro sistema a combinar geração de conteúdo visual com estimativa de olhar em tempo real, possibilitado exclusivamente pelo DFT Gaze. Esta estimativa de olhar em tempo real permite várias tarefas de geração de conteúdo visual, todas controladas pelo olhar do usuário. A entrada para o DFT Gaze são as imagens dos olhos do usuário, enquanto as entradas para a geração de conteúdo visual são a visão do usuário e o ponto de olhar previsto pelo DFT Gaze. Para alcançar previsões de olhar eficientes, derivamos o modelo pequeno de um modelo grande (10 vezes maior) por meio de novas técnicas de destilação de conhecimento e adaptação pessoal. Integramos a destilação de conhecimento com um autoencoder mascarado, desenvolvendo um modelo de estimativa de olhar compacto, porém poderoso. Este modelo é ainda mais ajustado com Adapters, permitindo previsões de olhar altamente precisas e personalizadas com entrada mínima do usuário. O DFT Gaze garante rastreamento de olhar de baixa latência e preciso, suportando uma ampla gama de tarefas acionadas pelo olhar. Validamos o desempenho do DFT Gaze nos benchmarks AEA e OpenEDS2020, demonstrando baixo erro angular de olhar e baixa latência no dispositivo de borda (Raspberry Pi 4). Além disso, descrevemos aplicações do GazeGen, ilustrando sua versatilidade e eficácia em vários cenários de uso.

English

We present GazeGen, a user interaction system that generates visual content (images and videos) for locations indicated by the user's eye gaze. GazeGen allows intuitive manipulation of visual content by targeting regions of interest with gaze. Using advanced techniques in object detection and generative AI, GazeGen performs gaze-controlled image adding/deleting, repositioning, and surface material changes of image objects, and converts static images into videos. Central to GazeGen is the DFT Gaze (Distilled and Fine-Tuned Gaze) agent, an ultra-lightweight model with only 281K parameters, performing accurate real-time gaze predictions tailored to individual users' eyes on small edge devices. GazeGen is the first system to combine visual content generation with real-time gaze estimation, made possible exclusively by DFT Gaze. This real-time gaze estimation enables various visual content generation tasks, all controlled by the user's gaze. The input for DFT Gaze is the user's eye images, while the inputs for visual content generation are the user's view and the predicted gaze point from DFT Gaze. To achieve efficient gaze predictions, we derive the small model from a large model (10x larger) via novel knowledge distillation and personal adaptation techniques. We integrate knowledge distillation with a masked autoencoder, developing a compact yet powerful gaze estimation model. This model is further fine-tuned with Adapters, enabling highly accurate and personalized gaze predictions with minimal user input. DFT Gaze ensures low-latency and precise gaze tracking, supporting a wide range of gaze-driven tasks. We validate the performance of DFT Gaze on AEA and OpenEDS2020 benchmarks, demonstrating low angular gaze error and low latency on the edge device (Raspberry Pi 4). Furthermore, we describe applications of GazeGen, illustrating its versatility and effectiveness in various usage scenarios.