SoundCam: Um Conjunto de Dados para Localização de Humanos Usando Acústica Ambiental

SoundCam: A Dataset for Finding Humans Using Room Acoustics

November 6, 2023

Autores: Mason Wang, Samuel Clarke, Jui-Hsien Wang, Ruohan Gao, Jiajun Wu

cs.AI

Resumo

As propriedades acústicas de uma sala são resultado da geometria da sala, dos objetos presentes nela e de suas posições específicas. As propriedades acústicas de uma sala podem ser caracterizadas por sua resposta ao impulso (RIR, do inglês Room Impulse Response) entre uma fonte e um ponto de escuta, ou inferidas aproximadamente a partir de gravações de sinais naturais presentes na sala. Variações nas posições dos objetos em uma sala podem causar mudanças mensuráveis nas propriedades acústicas da sala, conforme caracterizado pela RIR. Os conjuntos de dados existentes de RIRs ou não variam sistematicamente as posições dos objetos em um ambiente, ou consistem apenas em RIRs simulados. Apresentamos o SoundCam, o maior conjunto de dados de RIRs únicas de salas do mundo real já disponibilizado publicamente. Ele inclui 5.000 medições de 10 canais de respostas ao impulso de salas do mundo real e 2.000 gravações de 10 canais de música em três salas diferentes, incluindo um laboratório acústico controlado, uma sala de estar do mundo real e uma sala de reuniões, com diferentes humanos posicionados em vários pontos de cada sala. Mostramos que essas medições podem ser usadas para tarefas interessantes, como detectar e identificar humanos, e rastrear suas posições.

English

A room's acoustic properties are a product of the room's geometry, the objects within the room, and their specific positions. A room's acoustic properties can be characterized by its impulse response (RIR) between a source and listener location, or roughly inferred from recordings of natural signals present in the room. Variations in the positions of objects in a room can effect measurable changes in the room's acoustic properties, as characterized by the RIR. Existing datasets of RIRs either do not systematically vary positions of objects in an environment, or they consist of only simulated RIRs. We present SoundCam, the largest dataset of unique RIRs from in-the-wild rooms publicly released to date. It includes 5,000 10-channel real-world measurements of room impulse responses and 2,000 10-channel recordings of music in three different rooms, including a controlled acoustic lab, an in-the-wild living room, and a conference room, with different humans in positions throughout each room. We show that these measurements can be used for interesting tasks, such as detecting and identifying humans, and tracking their positions.