CogniRoute: Lernen des Routings sozialer Evidenz in omni-modalen Modellen

Zusammenfassung

Omni-modale Modelle können Video, Audio und Text verarbeiten, doch allein der einheitliche Zugriff auf mehrere Modalitäten garantiert nicht, dass ein Modell die richtigen Beweise heranzieht. Diese Lücke zeigt sich besonders beim sozialen Video-Fragebeantworten, bei dem die Antwort von einer Geste, einem Stimmton, einem zeitlichen Hinweis oder einer Diskrepanz zwischen Gesagtem und visuell Ausgedrücktem abhängen kann. Wir führen CogniRoute ein, ein schema-gesteuertes Mixture-of-Experts-Framework für omni-modales soziales Schließen. CogniRoute nutzt ein nur während des Trainings verwendetes kognitives Schema, das jedes Beispiel nach cross-modaler Beziehung, Schlussfolgerungsanforderung und zeitlichem Umfang faktorisiert und während des überwachten Feintunings globale Routing-Signaturen an diese Struktur anpasst. Darüber hinaus führen wir routenbewusstes bestärkendes Lernen ein, das die Token-Generierung und Expertenzuweisung mittels Belohnungen für Antwortkorrektheit, modalitätskonsistentes Schließen und kognitive zeitliche Verankerung gemeinsam optimiert. Zur Unterstützung von Training und Evaluation erstellen wir OmniSocialBench, eine diagnostische Social-Video-QA-Ressource mit 118.000 strukturierten Trainingsbeispielen, grundierten Schlussfolgerungsspuren, Schema-Labels, zeitlichen Beweisspannen und einem manuell verifizierten Evaluationssplit. CogniRoute erzielt auf OmniSocialBench eine durchschnittliche Genauigkeit von 59,38 %, was einer Verbesserung von 15,33 Prozentpunkten gegenüber der stärksten proprietären Baseline und von 26,77 Punkten gegenüber der stärksten Open-Source-Omni-Baseline entspricht, wobei die größten Zugewinne bei Fragen erzielt werden, die audiovisuelle Koordination, Konfliktlösung und zeitlich verankerte soziale Inferenz erfordern.

English

Omni-modal models can ingest video, audio, and text, but unified access to multiple modalities does not guarantee that a model uses the right evidence. This gap is especially pronounced in social video question answering, where the answer may hinge on a gesture, vocal tone, temporal cue, or mismatch between what is said and what is visually expressed. We introduce CogniRoute, a schema-guided Mixture-of-Experts framework for social omni reasoning. CogniRoute uses a training-only cognitive schema that factorizes each example by cross-modal relation, reasoning demand, and temporal scope, and aligns global routing signatures with this structure during supervised fine-tuning. We further introduce route-aware reinforcement learning, which jointly optimizes token generation and expert allocation using rewards for answer correctness, modality-consistent reasoning, and cognitive temporal grounding. To support training and evaluation, we construct OmniSocialBench, a diagnostic social video QA resource with 118K structured training examples, grounded reasoning traces, schema labels, temporal evidence spans, and a manually verified evaluation split. CogniRoute achieves 59.38\% average accuracy on OmniSocialBench, improving over the strongest proprietary baseline by 15.33 percentage points and the strongest open-source omni baseline by 26.77 points, with the largest gains on questions requiring audio-visual coordination, conflict resolution, and temporally grounded social inference.