CogniRoute: Aprendiendo a Enrutar Evidencia Social en Modelos Omni-Modales

Resumen

Los modelos omni-modales pueden procesar video, audio y texto, pero el acceso unificado a múltiples modalidades no garantiza que el modelo utilice la evidencia correcta. Esta brecha es especialmente pronunciada en la respuesta a preguntas sobre videos sociales, donde la respuesta puede depender de un gesto, un tono vocal, una señal temporal o una discrepancia entre lo que se dice y lo que se expresa visualmente. Presentamos CogniRoute, un marco de Mixture-of-Experts guiado por esquemas para el razonamiento omni social. CogniRoute utiliza un esquema cognitivo exclusivo del entrenamiento que factoriza cada ejemplo según la relación intermodal, la demanda de razonamiento y el alcance temporal, y alinea las firmas de enrutamiento global con esta estructura durante el ajuste fino supervisado. Además, introducimos el aprendizaje por refuerzo consciente de la ruta, que optimiza conjuntamente la generación de tokens y la asignación de expertos mediante recompensas por corrección de la respuesta, razonamiento coherente con la modalidad y anclaje temporal cognitivo. Para respaldar el entrenamiento y la evaluación, construimos OmniSocialBench, un recurso diagnóstico de preguntas y respuestas sobre videos sociales con 118 000 ejemplos estructurados de entrenamiento, trazas de razonamiento fundamentadas, etiquetas de esquema, intervalos de evidencia temporal y una división de evaluación verificada manualmente. CogniRoute alcanza una precisión promedio del 59,38% en OmniSocialBench, mejorando en 15,33 puntos porcentuales respecto al mejor punto de referencia propietario y en 26,77 puntos respecto al mejor punto de referencia omni de código abierto, con las mayores mejoras en preguntas que requieren coordinación audiovisual, resolución de conflictos e inferencia social anclada temporalmente.

English

Omni-modal models can ingest video, audio, and text, but unified access to multiple modalities does not guarantee that a model uses the right evidence. This gap is especially pronounced in social video question answering, where the answer may hinge on a gesture, vocal tone, temporal cue, or mismatch between what is said and what is visually expressed. We introduce CogniRoute, a schema-guided Mixture-of-Experts framework for social omni reasoning. CogniRoute uses a training-only cognitive schema that factorizes each example by cross-modal relation, reasoning demand, and temporal scope, and aligns global routing signatures with this structure during supervised fine-tuning. We further introduce route-aware reinforcement learning, which jointly optimizes token generation and expert allocation using rewards for answer correctness, modality-consistent reasoning, and cognitive temporal grounding. To support training and evaluation, we construct OmniSocialBench, a diagnostic social video QA resource with 118K structured training examples, grounded reasoning traces, schema labels, temporal evidence spans, and a manually verified evaluation split. CogniRoute achieves 59.38\% average accuracy on OmniSocialBench, improving over the strongest proprietary baseline by 15.33 percentage points and the strongest open-source omni baseline by 26.77 points, with the largest gains on questions requiring audio-visual coordination, conflict resolution, and temporally grounded social inference.