GazeGen: Взаимодействие с пользователем на основе направления взгляда для генерации визуального контента
GazeGen: Gaze-Driven User Interaction for Visual Content Generation
November 7, 2024
Авторы: He-Yen Hsieh, Ziyun Li, Sai Qian Zhang, Wei-Te Mark Ting, Kao-Den Chang, Barbara De Salvo, Chiao Liu, H. T. Kung
cs.AI
Аннотация
Мы представляем GazeGen — систему взаимодействия с пользователем, которая генерирует визуальный контент (изображения и видео) для областей, указанных направлением взгляда пользователя. GazeGen позволяет интуитивно управлять визуальным контентом путем наведения взгляда на интересующие области. Используя передовые методы обнаружения объектов и генеративного ИИ, система выполняет управляемое взглядом добавление/удаление изображений, изменение их позиционирования и текстуры поверхностей объектов, а также преобразует статические изображения в видео. Ключевым компонентом GazeGen является агент DFT Gaze (Distilled and Fine-Tuned Gaze) — сверхлегкая модель всего с 281 тыс. параметров, которая выполняет точное прогнозирование направления взгляда в реальном времени с учетом индивидуальных особенностей глаз пользователя на маломощных периферийных устройствах. GazeGen является первой системой, объединяющей генерацию визуального контента с оценкой направления взгляда в реальном времени, что стало возможным исключительно благодаря DFT Gaze. Эта возможность оценки взгляда в реальном времени обеспечивает выполнение различных задач по генерации визуального контента, полностью управляемых взглядом пользователя. Входными данными для DFT Gaze служат изображения глаз пользователя, тогда как для генерации визуального контента используются обзор пользователя и прогнозируемая точка взгляда от DFT Gaze. Для обеспечения эффективного прогнозирования направления взгляда мы получаем компактную модель из крупной модели (в 10 раз больше) с помощью новых методов дистилляции знаний и персональной адаптации. Мы интегрируем дистилляцию знаний с маскированным автоэнкодером, создавая компактную, но мощную модель оценки взгляда. Эта модель дополнительно дорабатывается с помощью адаптеров (Adapters), что позволяет достигать высокоточных персонализированных прогнозов направления взгляда при минимальном участии пользователя. DFT Gaze обеспечивает отслеживание взгляда с низкой задержкой и высокой точностью, поддерживая широкий спектр задач, управляемых взглядом. Мы проверяем производительность DFT Gaze на бенчмарках AEA и OpenEDS2020, демонстрируя низкую угловую погрешность оценки взгляда и малую задержку на периферийном устройстве (Raspberry Pi 4). Кроме того, мы описываем применения GazeGen, иллюстрируя его универсальность и эффективность в различных сценариях использования.
English
We present GazeGen, a user interaction system that generates visual content
(images and videos) for locations indicated by the user's eye gaze. GazeGen
allows intuitive manipulation of visual content by targeting regions of
interest with gaze. Using advanced techniques in object detection and
generative AI, GazeGen performs gaze-controlled image adding/deleting,
repositioning, and surface material changes of image objects, and converts
static images into videos. Central to GazeGen is the DFT Gaze (Distilled and
Fine-Tuned Gaze) agent, an ultra-lightweight model with only 281K parameters,
performing accurate real-time gaze predictions tailored to individual users'
eyes on small edge devices. GazeGen is the first system to combine visual
content generation with real-time gaze estimation, made possible exclusively by
DFT Gaze. This real-time gaze estimation enables various visual content
generation tasks, all controlled by the user's gaze. The input for DFT Gaze is
the user's eye images, while the inputs for visual content generation are the
user's view and the predicted gaze point from DFT Gaze. To achieve efficient
gaze predictions, we derive the small model from a large model (10x larger) via
novel knowledge distillation and personal adaptation techniques. We integrate
knowledge distillation with a masked autoencoder, developing a compact yet
powerful gaze estimation model. This model is further fine-tuned with Adapters,
enabling highly accurate and personalized gaze predictions with minimal user
input. DFT Gaze ensures low-latency and precise gaze tracking, supporting a
wide range of gaze-driven tasks. We validate the performance of DFT Gaze on AEA
and OpenEDS2020 benchmarks, demonstrating low angular gaze error and low
latency on the edge device (Raspberry Pi 4). Furthermore, we describe
applications of GazeGen, illustrating its versatility and effectiveness in
various usage scenarios.