SoundCam: Набор данных для обнаружения людей с использованием акустики помещений

SoundCam: A Dataset for Finding Humans Using Room Acoustics

November 6, 2023

Авторы: Mason Wang, Samuel Clarke, Jui-Hsien Wang, Ruohan Gao, Jiajun Wu

cs.AI

Аннотация

Акустические свойства помещения являются результатом его геометрии, объектов внутри помещения и их конкретного расположения. Акустические свойства помещения могут быть охарактеризованы его импульсной характеристикой (RIR) между источником и точкой прослушивания или приблизительно выведены из записей естественных сигналов, присутствующих в помещении. Изменения в расположении объектов в помещении могут вызывать измеримые изменения в акустических свойствах помещения, что характеризуется RIR. Существующие наборы данных RIR либо не систематически изменяют положения объектов в среде, либо состоят только из смоделированных RIR. Мы представляем SoundCam — крупнейший на сегодняшний день публично доступный набор данных уникальных RIR из реальных помещений. Он включает 5000 10-канальных измерений импульсных характеристик помещений в реальных условиях и 2000 10-канальных записей музыки в трех различных помещениях, включая контролируемую акустическую лабораторию, жилую комнату в реальных условиях и конференц-зал, с разными людьми, находящимися в различных позициях в каждом помещении. Мы показываем, что эти измерения могут быть использованы для решения интересных задач, таких как обнаружение и идентификация людей, а также отслеживание их позиций.

English

A room's acoustic properties are a product of the room's geometry, the objects within the room, and their specific positions. A room's acoustic properties can be characterized by its impulse response (RIR) between a source and listener location, or roughly inferred from recordings of natural signals present in the room. Variations in the positions of objects in a room can effect measurable changes in the room's acoustic properties, as characterized by the RIR. Existing datasets of RIRs either do not systematically vary positions of objects in an environment, or they consist of only simulated RIRs. We present SoundCam, the largest dataset of unique RIRs from in-the-wild rooms publicly released to date. It includes 5,000 10-channel real-world measurements of room impulse responses and 2,000 10-channel recordings of music in three different rooms, including a controlled acoustic lab, an in-the-wild living room, and a conference room, with different humans in positions throughout each room. We show that these measurements can be used for interesting tasks, such as detecting and identifying humans, and tracking their positions.