CogniRoute : Apprendre à router les preuves sociales dans les modèles omni-modaux

Résumé

Les modèles omni-modaux peuvent ingérer de la vidéo, de l'audio et du texte, mais un accès unifié à plusieurs modalités ne garantit pas qu'un modèle utilise les preuves pertinentes. Ce fossé est particulièrement prononcé dans le cadre du question-réponse vidéo social, où la réponse peut dépendre d'un geste, d'un ton vocal, d'un indice temporel ou d'une contradiction entre ce qui est dit et ce qui est exprimé visuellement. Nous présentons CogniRoute, un cadre de mixture d'experts guidé par un schéma pour le raisonnement omni-social. CogniRoute utilise un schéma cognitif réservé à l'entraînement qui factorise chaque exemple selon la relation intermodale, la demande de raisonnement et la portée temporelle, et aligne les signatures de routage globales avec cette structure lors du fine-tuning supervisé. Nous introduisons également un apprentissage par renforcement sensible au routage, qui optimise conjointement la génération de tokens et l'allocation des experts en utilisant des récompenses pour la correction des réponses, le raisonnement cohérent avec les modalités et l'ancrage temporel cognitif. Pour soutenir l'entraînement et l'évaluation, nous construisons OmniSocialBench, une ressource diagnostique de QA vidéo sociale avec 118 000 exemples d'entraînement structurés, des traces de raisonnement ancrées, des étiquettes de schéma, des étendues temporelles de preuves et une partition d'évaluation vérifiée manuellement. CogniRoute atteint une précision moyenne de 59,38 % sur OmniSocialBench, améliorant la baseline propriétaire la plus forte de 15,33 points de pourcentage et la baseline omni open-source la plus forte de 26,77 points, avec les plus grands gains sur les questions nécessitant une coordination audiovisuelle, une résolution de conflits et une inference sociale ancrée temporellement.

English

Omni-modal models can ingest video, audio, and text, but unified access to multiple modalities does not guarantee that a model uses the right evidence. This gap is especially pronounced in social video question answering, where the answer may hinge on a gesture, vocal tone, temporal cue, or mismatch between what is said and what is visually expressed. We introduce CogniRoute, a schema-guided Mixture-of-Experts framework for social omni reasoning. CogniRoute uses a training-only cognitive schema that factorizes each example by cross-modal relation, reasoning demand, and temporal scope, and aligns global routing signatures with this structure during supervised fine-tuning. We further introduce route-aware reinforcement learning, which jointly optimizes token generation and expert allocation using rewards for answer correctness, modality-consistent reasoning, and cognitive temporal grounding. To support training and evaluation, we construct OmniSocialBench, a diagnostic social video QA resource with 118K structured training examples, grounded reasoning traces, schema labels, temporal evidence spans, and a manually verified evaluation split. CogniRoute achieves 59.38\% average accuracy on OmniSocialBench, improving over the strongest proprietary baseline by 15.33 percentage points and the strongest open-source omni baseline by 26.77 points, with the largest gains on questions requiring audio-visual coordination, conflict resolution, and temporally grounded social inference.