MultAttnAttrib: Training-vrije multimodale attributie bij het beantwoorden van vragen over lange documenten

Samenvatting

Nu gegronde QA-systemen steeds vaker worden ingezet in AI-assistenten, is het nauwkeurig toeschrijven van gegenereerde antwoorden aan bewijs van cruciaal belang voor gebruikersvertrouwen en modelveiligheid. Hoewel unimodale attributies grondig zijn onderzocht, blijft de multimodale setting relatief onderbelicht. Daarom introduceren we MultAttnAttrib, een training-vrije attributiegeneratiemethode die gebruikmaakt van de prefill-passage van een model, geselecteerde aandachtskoppen en gekalibreerde drempels om bronbewijs in een document te lokaliseren. Om basisresultaten voor de methode vast te stellen, introduceren we MultAttrEval, een complementaire benchmarkdataset geannoteerd met fijnmazige, grondwaarheid-attributies voor antwoordcomponenten die zijn gebaseerd op multimodale brondocumenten. Naar ons weten is dit de eerste evaluatiedataset die specifiek is ontworpen voor multimodale attributie in lange documenten. Experimentele resultaten tonen aan dat MultAttnAttrib consequent beter presteert dan een verscheidenheid aan attributiegeneratiemethoden, waaronder verschillende sterke prompt-gebaseerde benaderingen, en overeenkomt met de nieuwste grensverleggende modellen zoals GPT 5.4. Onze methode verbetert niet alleen de attributienauwkeurigheid aanzienlijk voor zowel unimodale als multimodale attributietypen, maar produceert ook attributies met een inferentielatentie tot een zevende van die van prompting op hetzelfde basismodel.

English

As grounded QA systems are increasingly deployed in AI assistants, accurately attributing generated answers to evidence is critical for user trust and model safety. While unimodal attributions have been explored in depth, the multimodal setting remains relatively under-researched. As a result, we introduce MultAttnAttrib, a training-free attribution-generation method that leverages a model's prefill pass, selected attention heads, and calibrated thresholds to locate source evidence within a document. To establish baseline results for the method, we introduce MultAttrEval, a complementary benchmark dataset annotated with fine-grained, ground-truth attributions for answer components grounded in multimodal source documents. To our knowledge, this is the first evaluation dataset designed specifically for multimodal attribution in long-form documents. Experimental results show that MultAttnAttrib consistently outperforms a variety of attribution-generation methods, including several strong prompting-based approaches and matches the latest frontier models such as GPT 5.4. Our method not only substantially improves attribution accuracy for both unimodal and multimodal attribution types, but also produces attributions at up to one-seventh of the direct inference latency compared to prompting on the same base model.