Door de hersenen heen kijken: Beeldreconstructie van visuele waarneming uit menselijke hersensignalen

Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals

July 27, 2023

Auteurs: Yu-Ting Lan, Kan Ren, Yansen Wang, Wei-Long Zheng, Dongsheng Li, Bao-Liang Lu, Lili Qiu

cs.AI

Samenvatting

Zien is geloven, maar het onderliggende mechanisme van hoe menselijke visuele waarnemingen verweven zijn met onze cognitie blijft een mysterie. Dankzij de recente vooruitgang in zowel neurowetenschappen als kunstmatige intelligentie zijn we in staat geweest om visueel opgewekte hersenactiviteiten vast te leggen en het visuele waarnemingsvermogen na te bootsen via computationele benaderingen. In dit artikel richten we ons op de reconstructie van visuele stimuli door waargenomen beelden te reconstrueren op basis van draagbaar toegankelijke hersensignalen, namelijk elektro-encefalografie (EEG)-data. Omdat EEG-signalen dynamisch zijn in tijdreeksformaat en berucht zijn om hun ruis, vereist het verwerken en extraheren van nuttige informatie meer toegewijde inspanningen. In dit artikel stellen we een uitgebreide pipeline voor, genaamd NeuroImagen, voor het reconstrueren van visuele stimuli-beelden uit EEG-signalen. Specifiek integreren we een nieuwe multi-level perceptuele informatie-decodering om meerdere niveaus van uitvoer te verkrijgen uit de gegeven EEG-data. Een latent diffusiemodel zal vervolgens de geëxtraheerde informatie benutten om hoogwaardige visuele stimuli-beelden te reconstrueren. De experimentele resultaten hebben de effectiviteit van beeldreconstructie en de superieure kwantitatieve prestaties van onze voorgestelde methode geïllustreerd.

English

Seeing is believing, however, the underlying mechanism of how human visual perceptions are intertwined with our cognitions is still a mystery. Thanks to the recent advances in both neuroscience and artificial intelligence, we have been able to record the visually evoked brain activities and mimic the visual perception ability through computational approaches. In this paper, we pay attention to visual stimuli reconstruction by reconstructing the observed images based on portably accessible brain signals, i.e., electroencephalography (EEG) data. Since EEG signals are dynamic in the time-series format and are notorious to be noisy, processing and extracting useful information requires more dedicated efforts; In this paper, we propose a comprehensive pipeline, named NeuroImagen, for reconstructing visual stimuli images from EEG signals. Specifically, we incorporate a novel multi-level perceptual information decoding to draw multi-grained outputs from the given EEG data. A latent diffusion model will then leverage the extracted information to reconstruct the high-resolution visual stimuli images. The experimental results have illustrated the effectiveness of image reconstruction and superior quantitative performance of our proposed method.