SoundCam: Een dataset voor het lokaliseren van mensen met behulp van ruimteakoestiek

SoundCam: A Dataset for Finding Humans Using Room Acoustics

November 6, 2023

Auteurs: Mason Wang, Samuel Clarke, Jui-Hsien Wang, Ruohan Gao, Jiajun Wu

cs.AI

Samenvatting

De akoestische eigenschappen van een ruimte zijn een resultaat van de geometrie van de ruimte, de objecten in de ruimte en hun specifieke posities. De akoestische eigenschappen van een ruimte kunnen worden gekarakteriseerd door de impulsrespons (RIR) tussen een bron en een luisterlocatie, of ruwweg worden afgeleid uit opnames van natuurlijke signalen in de ruimte. Variaties in de posities van objecten in een ruimte kunnen meetbare veranderingen in de akoestische eigenschappen van de ruimte veroorzaken, zoals gekarakteriseerd door de RIR. Bestaande datasets van RIR's variëren de posities van objecten in een omgeving niet systematisch, of bestaan alleen uit gesimuleerde RIR's. Wij presenteren SoundCam, de grootste dataset van unieke RIR's uit realistische ruimtes die tot nu toe openbaar is vrijgegeven. Deze omvat 5.000 10-kanaals metingen van impulsresponsen in de echte wereld en 2.000 10-kanaals opnames van muziek in drie verschillende ruimtes, waaronder een gecontroleerd akoestisch lab, een realistische woonkamer en een vergaderzaal, met verschillende mensen in posities verspreid door elke ruimte. We laten zien dat deze metingen kunnen worden gebruikt voor interessante taken, zoals het detecteren en identificeren van mensen, en het volgen van hun posities.

English

A room's acoustic properties are a product of the room's geometry, the objects within the room, and their specific positions. A room's acoustic properties can be characterized by its impulse response (RIR) between a source and listener location, or roughly inferred from recordings of natural signals present in the room. Variations in the positions of objects in a room can effect measurable changes in the room's acoustic properties, as characterized by the RIR. Existing datasets of RIRs either do not systematically vary positions of objects in an environment, or they consist of only simulated RIRs. We present SoundCam, the largest dataset of unique RIRs from in-the-wild rooms publicly released to date. It includes 5,000 10-channel real-world measurements of room impulse responses and 2,000 10-channel recordings of music in three different rooms, including a controlled acoustic lab, an in-the-wild living room, and a conference room, with different humans in positions throughout each room. We show that these measurements can be used for interesting tasks, such as detecting and identifying humans, and tracking their positions.