CogniRoute: Обучение маршрутизации социальных свидетельств в омнимодальных моделях

Аннотация

Омни-модальные модели могут обрабатывать видео, аудио и текст, однако унифицированный доступ к нескольким модальностям не гарантирует, что модель использует правильные свидетельства. Этот разрыв особенно заметен в задаче ответов на вопросы по социальным видео, где ответ может зависеть от жеста, тона голоса, временной подсказки или несоответствия между тем, что говорится, и тем, что выражается визуально. Мы представляем CogniRoute — фреймворк на основе смеси экспертов с направляющей схемой для социального омни-рассуждения. CogniRoute использует когнитивную схему, применяемую только во время обучения, которая факторизует каждый пример по кросс-модальным отношениям, требованиям к рассуждению и временному охвату, и выравнивает глобальные сигнатуры маршрутизации с этой структурой в процессе контролируемой тонкой настройки. Кроме того, мы вводим метод обучения с подкреплением, учитывающий маршруты, который совместно оптимизирует генерацию токенов и распределение экспертов, используя вознаграждения за правильность ответа, модально-согласованное рассуждение и когнитивную временную привязку. Для поддержки обучения и оценки мы создали OmniSocialBench — диагностический ресурс для ответов на вопросы по социальным видео, содержащий 118 тысяч структурированных обучающих примеров, обоснованные цепочки рассуждений, метки схем, временные отрезки доказательств и вручную проверенный оценочный раздел. CogniRoute достигает средней точности 59,38% на OmniSocialBench, улучшая показатели по сравнению с сильнейшим проприетарным базовым методом на 15,33 процентных пункта и с сильнейшим открытым омни-базовым методом на 26,77 пункта, причем наибольший прирост наблюдается на вопросах, требующих аудиовизуальной координации, разрешения конфликтов и темпорально обоснованного социального вывода.

English

Omni-modal models can ingest video, audio, and text, but unified access to multiple modalities does not guarantee that a model uses the right evidence. This gap is especially pronounced in social video question answering, where the answer may hinge on a gesture, vocal tone, temporal cue, or mismatch between what is said and what is visually expressed. We introduce CogniRoute, a schema-guided Mixture-of-Experts framework for social omni reasoning. CogniRoute uses a training-only cognitive schema that factorizes each example by cross-modal relation, reasoning demand, and temporal scope, and aligns global routing signatures with this structure during supervised fine-tuning. We further introduce route-aware reinforcement learning, which jointly optimizes token generation and expert allocation using rewards for answer correctness, modality-consistent reasoning, and cognitive temporal grounding. To support training and evaluation, we construct OmniSocialBench, a diagnostic social video QA resource with 118K structured training examples, grounded reasoning traces, schema labels, temporal evidence spans, and a manually verified evaluation split. CogniRoute achieves 59.38\% average accuracy on OmniSocialBench, improving over the strongest proprietary baseline by 15.33 percentage points and the strongest open-source omni baseline by 26.77 points, with the largest gains on questions requiring audio-visual coordination, conflict resolution, and temporally grounded social inference.