Token-basierte Dual-View-Fusion und Adaption großer Bildverarbeitungsmodelle zur Brustkrebsklassifikation

Zusammenfassung

Eine präzise Brustkrebsklassifikation mittels Mammographie erfordert die effektive Integration komplementärer Informationen aus craniocaudalen (CC) und mediolateral-obliguen (MLO) Aufnahmen, die eine vollständigere Charakterisierung von Brustanomalien ermöglichen. Bestehende Ansätze des Multi-View-Lernens basieren jedoch typischerweise auf einer Merkmalsebenenaggregation oder einer einstufigen Queraufmerksamkeit, was zu einer Vermischung von aufnahmespezifischen und gemeinsamen Repräsentationen führen und die Interaktion auf begrenzte Netzwerktiefen beschränken kann. Um diese Einschränkungen zu überwinden, schlagen wir ein token-zentrisches Dual-View-Lernframework vor, das eine promptbasierte Adaption und eine aufnahmeübergreifende Fusion innerhalb eines eingefrorenen Vision-Transformer-Backbones vereinheitlicht. Das Framework formuliert die Interaktion zwischen den Aufnahmen als strukturierte token-basierte Kommunikation um, bei der dedizierte Fusionstokens über Queraufmerksamkeit eine explizite bidirektionale Informationsübertragung zwischen CC- und MLO-Aufnahmen kodieren und als intermediate Träger der aufnahmeübergreifenden Abhängigkeiten fungieren, anstatt auf eine direkte Merkmalsfusion zurückzugreifen. Im Gegensatz zu herkömmlichen Methoden, die eine Fusion nur auf einer einzelnen Schicht anwenden, werden Fusionsmodule auf mehreren Transformer-Tiefen eingefügt, was eine progressive und wiederholte Interaktion über die Encoder-Hierarchie hinweg ermöglicht. Die Fusionstokens werden wieder in die Token-Sequenz integriert und durch nachfolgende Transformerschichten verfeinert, was eine hierarchische Propagation komplementärer Informationen fördert, während die aufnahmespezifische Struktur erhalten bleibt. Experimente auf den Datensätzen VinDr-Mammo und CMMD zeigen konsistente Verbesserungen gegenüber linearem Probing, reiner Prompt-Adaption und herkömmlichen Fusions-Baselines. In der BI-RADS-Klassifikationsaufgabe auf VinDr-Mammo erreicht das Framework einen F1-Score von 50,40 % und einen AUC von 0,8090, darunter eine AUC-Verbesserung um 0,10 gegenüber einer Dual-View-Fusions-Baseline im binären Setting. Ablationsstudien bestätigen zudem die Wirksamkeit der token-basierten Fusion und des Multi-Tiefen-Interaktionsdesigns.

English

Accurate breast cancer classification from mammography requires effective integration of complementary information from craniocaudal (CC) and mediolateral oblique (MLO) views, which provide a more complete characterization of breast abnormalities. However, existing multi-view learning approaches typically rely on feature-level aggregation or single-stage cross-attention, which can entangle view-specific and shared representations and restrict interaction to limited network depths. To address these limitations, we propose a token-centric dual-view learning framework that unifies prompt-based adaptation and cross-view fusion within a frozen vision transformer backbone. The framework reformulates inter-view interaction as structured token-level communication, where dedicated fusion tokens explicitly encode bidirectional information exchange between CC and MLO views via cross-attention, serving as intermediate carriers of cross-view dependencies rather than relying on direct feature fusion. Unlike conventional methods that apply fusion at a single layer, fusion modules are inserted at multiple transformer depths, enabling progressive and repeated interaction across the encoder hierarchy. Fusion tokens are reintegrated into the token sequence and refined by subsequent transformer layers, facilitating hierarchical propagation of complementary information while preserving view-specific structure. Experiments on VinDr-Mammo and CMMD datasets demonstrate consistent improvements over linear probing, prompt-only adaptation, and conventional fusion baselines. On the VinDr-Mammo BI-RADS classification task, the framework achieves 50.40% F1-score and 0.8090 AUC, including a 0.10 AUC improvement over a dual-view fusion baseline in the binary setting. Ablation studies further validate the effectiveness of token-based fusion and multi-depth interaction design.