SoundCam: Un conjunto de datos para localizar humanos mediante acústica ambiental

SoundCam: A Dataset for Finding Humans Using Room Acoustics

November 6, 2023

Autores: Mason Wang, Samuel Clarke, Jui-Hsien Wang, Ruohan Gao, Jiajun Wu

cs.AI

Resumen

Las propiedades acústicas de una habitación son el resultado de la geometría de la misma, los objetos dentro de la habitación y sus posiciones específicas. Estas propiedades acústicas pueden caracterizarse mediante la respuesta al impulso (RIR, por sus siglas en inglés) entre una fuente y un punto de escucha, o inferirse aproximadamente a partir de grabaciones de señales naturales presentes en la habitación. Las variaciones en las posiciones de los objetos dentro de una habitación pueden provocar cambios medibles en sus propiedades acústicas, tal como se caracteriza mediante la RIR. Los conjuntos de datos existentes de RIRs no varían sistemáticamente las posiciones de los objetos en un entorno, o consisten únicamente en RIRs simuladas. Presentamos SoundCam, el conjunto de datos más grande de RIRs únicas provenientes de habitaciones en entornos reales, publicado hasta la fecha. Incluye 5,000 mediciones de respuestas al impulso de habitaciones en el mundo real con 10 canales, y 2,000 grabaciones de música con 10 canales en tres habitaciones diferentes: un laboratorio acústico controlado, una sala de estar en un entorno real y una sala de conferencias, con diferentes personas ubicadas en distintas posiciones dentro de cada habitación. Demostramos que estas mediciones pueden utilizarse para tareas interesantes, como la detección e identificación de personas, y el seguimiento de sus posiciones.

English

A room's acoustic properties are a product of the room's geometry, the objects within the room, and their specific positions. A room's acoustic properties can be characterized by its impulse response (RIR) between a source and listener location, or roughly inferred from recordings of natural signals present in the room. Variations in the positions of objects in a room can effect measurable changes in the room's acoustic properties, as characterized by the RIR. Existing datasets of RIRs either do not systematically vary positions of objects in an environment, or they consist of only simulated RIRs. We present SoundCam, the largest dataset of unique RIRs from in-the-wild rooms publicly released to date. It includes 5,000 10-channel real-world measurements of room impulse responses and 2,000 10-channel recordings of music in three different rooms, including a controlled acoustic lab, an in-the-wild living room, and a conference room, with different humans in positions throughout each room. We show that these measurements can be used for interesting tasks, such as detecting and identifying humans, and tracking their positions.