뇌를 통해 보기: 인간 뇌 신호로부터 시각 인식의 이미지 재구성

초록

보는 것이 믿는 것이지만, 인간의 시각적 인식이 어떻게 우리의 인지와 얽혀 있는지에 대한 근본적인 메커니즘은 여전히 미스터리로 남아 있습니다. 최근 신경과학과 인공지능 분야의 발전 덕분에, 우리는 시각적으로 유발된 뇌 활동을 기록하고 계산적 접근을 통해 시각적 인식 능력을 모방할 수 있게 되었습니다. 본 논문에서는 휴대 가능한 뇌 신호, 즉 뇌전도(EEG) 데이터를 기반으로 관찰된 이미지를 재구성함으로써 시각적 자극 재구성에 주목합니다. EEG 신호는 시계열 형식으로 동적이며 노이즈가 많기 때문에, 유용한 정보를 처리하고 추출하기 위해서는 더 많은 노력이 필요합니다. 본 논문에서는 EEG 신호로부터 시각적 자극 이미지를 재구성하기 위한 포괄적인 파이프라인인 NeuroImagen을 제안합니다. 구체적으로, 우리는 새로운 다중 수준의 지각 정보 디코딩을 도입하여 주어진 EEG 데이터로부터 다양한 세분화된 출력을 도출합니다. 이후 잠재 확산 모델이 추출된 정보를 활용하여 고해상도 시각적 자극 이미지를 재구성합니다. 실험 결과는 이미지 재구성의 효과성과 제안된 방법의 우수한 정량적 성능을 입증하였습니다.

English

Seeing is believing, however, the underlying mechanism of how human visual perceptions are intertwined with our cognitions is still a mystery. Thanks to the recent advances in both neuroscience and artificial intelligence, we have been able to record the visually evoked brain activities and mimic the visual perception ability through computational approaches. In this paper, we pay attention to visual stimuli reconstruction by reconstructing the observed images based on portably accessible brain signals, i.e., electroencephalography (EEG) data. Since EEG signals are dynamic in the time-series format and are notorious to be noisy, processing and extracting useful information requires more dedicated efforts; In this paper, we propose a comprehensive pipeline, named NeuroImagen, for reconstructing visual stimuli images from EEG signals. Specifically, we incorporate a novel multi-level perceptual information decoding to draw multi-grained outputs from the given EEG data. A latent diffusion model will then leverage the extracted information to reconstruct the high-resolution visual stimuli images. The experimental results have illustrated the effectiveness of image reconstruction and superior quantitative performance of our proposed method.

뇌를 통해 보기: 인간 뇌 신호로부터 시각 인식의 이미지 재구성

Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals

초록

Support