GazeGen: 시각 콘텐츠 생성을 위한 시선 기반 사용자 상호작용

초록

우리는 사용자의 시선이 가리키는 위치에 대한 시각적 콘텐츠(이미지 및 비디오)를 생성하는 사용자 상호작용 시스템인 GazeGen을 소개한다. GazeGen은 시선을 통해 관심 영역을 타겟팅함으로써 직관적인 시각적 콘텐츠 조작을 가능하게 한다. 객체 탐지 및 생성형 AI 기술을 활용하여, GazeGen은 시선으로 제어되는 이미지 추가/삭제, 재배치, 이미지 객체의 표면 재질 변경, 그리고 정적 이미지를 동영상으로 변환하는 작업을 수행한다. GazeGen의 핵심은 DFT Gaze(Distilled and Fine-Tuned Gaze) 에이전트로, 단 281K 파라미터를 가진 초경량 모델로서, 소형 엣지 디바이스에서 개별 사용자의 눈에 맞춰 정확한 실시간 시선 예측을 수행한다. GazeGen은 실시간 시선 추정과 시각적 콘텐츠 생성을 결합한 최초의 시스템으로, 이는 DFT Gaze에 의해 독점적으로 가능해졌다. 이 실시간 시선 추정은 사용자의 시선으로 제어되는 다양한 시각적 콘텐츠 생성 작업을 가능하게 한다. DFT Gaze의 입력은 사용자의 눈 이미지이며, 시각적 콘텐츠 생성을 위한 입력은 사용자의 시야와 DFT Gaze에서 예측된 시선 지점이다. 효율적인 시선 예측을 달성하기 위해, 우리는 대형 모델(10배 더 큰)로부터 소형 모델을 도출하기 위해 새로운 지식 증류 및 개인 맞춤 기술을 적용했다. 우리는 지식 증류를 마스크된 오토인코더와 통합하여, 컴팩트하면서도 강력한 시선 추정 모델을 개발했다. 이 모델은 Adapters를 통해 추가로 미세 조정되어, 최소한의 사용자 입력으로도 높은 정확도와 개인화된 시선 예측을 가능하게 한다. DFT Gaze는 낮은 지연 시간과 정밀한 시선 추적을 보장하며, 다양한 시선 기반 작업을 지원한다. 우리는 DFT Gaze의 성능을 AEA 및 OpenEDS2020 벤치마크에서 검증하여, 엣지 디바이스(Raspberry Pi 4)에서 낮은 각도 시선 오류와 낮은 지연 시간을 입증했다. 또한, GazeGen의 다양한 활용 시나리오에서의 다용도성과 효과를 설명한다.

English

We present GazeGen, a user interaction system that generates visual content (images and videos) for locations indicated by the user's eye gaze. GazeGen allows intuitive manipulation of visual content by targeting regions of interest with gaze. Using advanced techniques in object detection and generative AI, GazeGen performs gaze-controlled image adding/deleting, repositioning, and surface material changes of image objects, and converts static images into videos. Central to GazeGen is the DFT Gaze (Distilled and Fine-Tuned Gaze) agent, an ultra-lightweight model with only 281K parameters, performing accurate real-time gaze predictions tailored to individual users' eyes on small edge devices. GazeGen is the first system to combine visual content generation with real-time gaze estimation, made possible exclusively by DFT Gaze. This real-time gaze estimation enables various visual content generation tasks, all controlled by the user's gaze. The input for DFT Gaze is the user's eye images, while the inputs for visual content generation are the user's view and the predicted gaze point from DFT Gaze. To achieve efficient gaze predictions, we derive the small model from a large model (10x larger) via novel knowledge distillation and personal adaptation techniques. We integrate knowledge distillation with a masked autoencoder, developing a compact yet powerful gaze estimation model. This model is further fine-tuned with Adapters, enabling highly accurate and personalized gaze predictions with minimal user input. DFT Gaze ensures low-latency and precise gaze tracking, supporting a wide range of gaze-driven tasks. We validate the performance of DFT Gaze on AEA and OpenEDS2020 benchmarks, demonstrating low angular gaze error and low latency on the edge device (Raspberry Pi 4). Furthermore, we describe applications of GazeGen, illustrating its versatility and effectiveness in various usage scenarios.

GazeGen: 시각 콘텐츠 생성을 위한 시선 기반 사용자 상호작용

GazeGen: Gaze-Driven User Interaction for Visual Content Generation

초록

Support