Adaptieve Weging van Bewijs voor Audio-Spatiotemporele Fusie

Adaptive Evidence Weighting for Audio-Spatiotemporal Fusion

February 3, 2026

Auteurs: Oscar Ovanger, Levi Harris, Timothy H. Keitt

cs.AI

Samenvatting

Veel machineleersystemen hebben toegang tot meerdere informatiebronnen voor hetzelfde voorspellingsdoel, maar deze bronnen verschillen vaak in betrouwbaarheid en informatiewaarde per invoer. Bij bio-akoestische classificatie kan soortidentiteit worden afgeleid zowel uit het akoestische signaal als uit spatiotemporele context zoals locatie en seizoen; hoewel Bayesiaanse inferentie multiplicatieve combinatie van bewijsmateriaal motiveert, hebben we in de praktijk typisch alleen toegang tot discriminerende voorspellers in plaats van gekalibreerde generatieve modellen. Wij introduceren Fusion under INdependent Conditional Hypotheses (FINCH), een adaptief log-lineair kader voor evidence-fusie dat een vooraf getrainde audioclassificeerder integreert met een gestructureerde spatiotemporele voorspeller. FINCH leert een per-sample gatingfunctie die de betrouwbaarheid van contextuele informatie schat uit onzekerheids- en informatiewaardestatistieken. De resulterende fusiefamilie bevat de uitsluitend op audio gebaseerde classificeerder als speciaal geval en begrenst expliciet de invloed van contextueel bewijsmateriaal, wat resulteert in een risicobeheerde hypotheseklasse met een interpreteerbare audio-only fallback. In benchmarks presteert FINCH consistent beter dan fusie met vaste gewichten en uitsluitend op audio gebaseerde systemen, waarbij robuustheid en foutafwegingen verbeteren zelfs wanneer contextuele informatie op zichzelf zwak is. Wij bereiken state-of-the-art prestaties op CBI en competitieve of verbeterde prestaties op verschillende subsets van BirdSet met een lichtgewicht, interpreteerbare, op bewijsmateriaal gebaseerde aanpak. Code is beschikbaar: \href{https://anonymous.4open.science/r/birdnoise-85CD/README.md}{anonieme repository}.

English

Many machine learning systems have access to multiple sources of evidence for the same prediction target, yet these sources often differ in reliability and informativeness across inputs. In bioacoustic classification, species identity may be inferred both from the acoustic signal and from spatiotemporal context such as location and season; while Bayesian inference motivates multiplicative evidence combination, in practice we typically only have access to discriminative predictors rather than calibrated generative models. We introduce Fusion under INdependent Conditional Hypotheses (FINCH), an adaptive log-linear evidence fusion framework that integrates a pre-trained audio classifier with a structured spatiotemporal predictor. FINCH learns a per-sample gating function that estimates the reliability of contextual information from uncertainty and informativeness statistics. The resulting fusion family contains the audio-only classifier as a special case and explicitly bounds the influence of contextual evidence, yielding a risk-contained hypothesis class with an interpretable audio-only fallback. Across benchmarks, FINCH consistently outperforms fixed-weight fusion and audio-only baselines, improving robustness and error trade-offs even when contextual information is weak in isolation. We achieve state-of-the-art performance on CBI and competitive or improved performance on several subsets of BirdSet using a lightweight, interpretable, evidence-based approach. Code is available: \href{https://anonymous.4open.science/r/birdnoise-85CD/README.md{anonymous-repository}}