DreamDiffusion: Генерация высококачественных изображений на основе сигналов ЭЭГ мозга
DreamDiffusion: Generating High-Quality Images from Brain EEG Signals
June 29, 2023
Авторы: Yunpeng Bai, Xintao Wang, Yanpei Cao, Yixiao Ge, Chun Yuan, Ying Shan
cs.AI
Аннотация
В данной статье представлен DreamDiffusion — новый метод генерации высококачественных изображений непосредственно из сигналов электроэнцефалограммы (ЭЭГ) мозга, без необходимости перевода мыслей в текст. DreamDiffusion использует предобученные модели для преобразования текста в изображения и применяет временное маскированное моделирование сигналов для предварительного обучения кодировщика ЭЭГ, что позволяет получать эффективные и устойчивые представления ЭЭГ. Кроме того, метод дополнительно задействует кодировщик изображений CLIP для обеспечения дополнительного контроля, что способствует лучшему согласованию встраиваний ЭЭГ, текста и изображений при ограниченном количестве пар ЭЭГ-изображение. В целом, предложенный метод преодолевает трудности, связанные с использованием сигналов ЭЭГ для генерации изображений, такие как шум, ограниченная информация и индивидуальные различия, и демонстрирует впечатляющие результаты. Количественные и качественные результаты подтверждают эффективность предложенного метода как значительного шага на пути к портативной и недорогой технологии «мысли-в-изображение», с потенциальными приложениями в нейронауках и компьютерном зрении.
English
This paper introduces DreamDiffusion, a novel method for generating
high-quality images directly from brain electroencephalogram (EEG) signals,
without the need to translate thoughts into text. DreamDiffusion leverages
pre-trained text-to-image models and employs temporal masked signal modeling to
pre-train the EEG encoder for effective and robust EEG representations.
Additionally, the method further leverages the CLIP image encoder to provide
extra supervision to better align EEG, text, and image embeddings with limited
EEG-image pairs. Overall, the proposed method overcomes the challenges of using
EEG signals for image generation, such as noise, limited information, and
individual differences, and achieves promising results. Quantitative and
qualitative results demonstrate the effectiveness of the proposed method as a
significant step towards portable and low-cost ``thoughts-to-image'', with
potential applications in neuroscience and computer vision.