CogniRoute: 옴니모달 모델에서의 사회적 증거 라우팅 학습

초록

옴니모달 모델은 비디오, 오디오 및 텍스트를 입력받을 수 있지만, 여러 양식에 대한 통합적 접근이 모델이 올바른 증거를 사용한다는 것을 보장하지는 않는다. 이러한 격차는 특히 소셜 비디오 질의응답에서 두드러지는데, 여기서 답변은 제스처, 음성 톤, 시간적 단서, 또는 말해진 내용과 시각적으로 표현된 내용 간의 불일치에 달려 있을 수 있다. 우리는 사회적 옴니 추론을 위한 스키마 유도 전문가 혼합 프레임워크인 CogniRoute를 소개한다. CogniRoute는 훈련 전용 인지 스키마를 사용하여 각 예제를 교차 양식 관계, 추론 요구 사항, 시간적 범위로 분해하고, 지도 미세 조정 중에 전역 라우팅 시그니처를 이 구조와 정렬한다. 또한 경로 인식 강화 학습을 도입하여 답변 정확성, 양식 일관 추론, 인지적 시간적 근거에 대한 보상을 사용하여 토큰 생성과 전문가 할당을 공동으로 최적화한다. 훈련과 평가를 지원하기 위해, 우리는 118K개의 구조화된 훈련 예제, 근거 기반 추론 추적, 스키마 레이블, 시간적 증거 범위, 수동으로 검증된 평가 분할을 포함한 진단적 소셜 비디오 QA 자원인 OmniSocialBench를 구축한다. CogniRoute는 OmniSocialBench에서 59.38%의 평균 정확도를 달성하여, 가장 강력한 독점 기준선 대비 15.33% 포인트, 가장 강력한 오픈소스 옴니 기준선 대비 26.77% 포인트 향상되었으며, 청각-시각 협응, 갈등 해소, 시간적 근거 기반 사회적 추론이 필요한 질문에서 가장 큰 개선을 보였다.

English

Omni-modal models can ingest video, audio, and text, but unified access to multiple modalities does not guarantee that a model uses the right evidence. This gap is especially pronounced in social video question answering, where the answer may hinge on a gesture, vocal tone, temporal cue, or mismatch between what is said and what is visually expressed. We introduce CogniRoute, a schema-guided Mixture-of-Experts framework for social omni reasoning. CogniRoute uses a training-only cognitive schema that factorizes each example by cross-modal relation, reasoning demand, and temporal scope, and aligns global routing signatures with this structure during supervised fine-tuning. We further introduce route-aware reinforcement learning, which jointly optimizes token generation and expert allocation using rewards for answer correctness, modality-consistent reasoning, and cognitive temporal grounding. To support training and evaluation, we construct OmniSocialBench, a diagnostic social video QA resource with 118K structured training examples, grounded reasoning traces, schema labels, temporal evidence spans, and a manually verified evaluation split. CogniRoute achieves 59.38\% average accuracy on OmniSocialBench, improving over the strongest proprietary baseline by 15.33 percentage points and the strongest open-source omni baseline by 26.77 points, with the largest gains on questions requiring audio-visual coordination, conflict resolution, and temporally grounded social inference.