일간 논문

본 논문에서는 대규모 언어 모델(LLM)의 잠재적 사고 표현을 위한 공리적 평가 프레임워크를 소개한다. 이 프레임워크는 하위 벤치마크 점수와 독립적인 지표들로 구성되며, 벤치마크 정확도가 가리는 표현 실패를 드러낸다. 기존 평가는 표현 품질과 모델 용량을 혼동하므로, 실패 원인을 표현이 아닌 이를 처리하는 모델에 귀속시킬 수 없다. 본 연구는 네 가지 기능적 공리(인과성, 최소성, 분리성, 안정성)를 정형화하고, 각 공리에 대한 정량적 측정값을 정의한다. 이 측정값은 하위 정확도와 독립적으로 표현 자체에서 직접 계산된다. 본 연구는 23가지 추론 과제(예: 공간 추론, 사실적 질의응답)에 걸쳐 오픈웨이트 대규모 언어 모델을 평가한다. 그 결과, 어떤 후보도 네 가지 공리를 동시에 충족하지 못하며, 표현은 과제 유형을 신뢰성 있게 구분하지만 동일 과제 내 두 질문은 구분하지 못하며, 입력 임베딩에 이미 존재하는 정보 이상으로 거의 정보를 인코딩하지 않는다는 점을 발견했다. 이러한 실패는 밀집 모델, 추론 증류 모델, 강화학습 훈련 모델군에서 일관되게 나타나며, 이는 격차가 모델 크기나 훈련 절차의 속성이 아니라 구조적임을 시사한다.

비디오 생성 모델은 체화된 세계 시뮬레이션을 위한 유망한 패러다임으로 부상했다. 그러나 일반 도메인 비디오 생성기와 로봇 특화 데이터로 미세 조정된 모델 모두 여전히 불연속 운동 궤적 및 불일치하는 로봇-객체 상호작용을 포함하여 물리적으로 타당하지 않은 조작을 생성할 수 있으며, 이는 세계 시뮬레이터로서의 신뢰성을 제한한다. 광범위한 실험을 통해 우리는 이러한 물리적 불안정성이 주로 두 가지 요인, 즉 움직이는 객체의 변형과 상호작용 객체 간의 타당하지 않은 시공간적 상관관계(특히 접촉 시)에서 비롯됨을 발견했다. 이러한 관찰을 바탕으로, 우리는 픽셀 수준 및 의미 수준 특징의 공동 최적화를 통해 물리적 정보가 있는 영역에 감독을 집중함으로써 물리적 일관성을 강화하는 확장 가능한 훈련 프레임워크인 PhysisForcing을 제안한다. 이 프레임워크는 기준점 궤적을 이용하여 DiT 특징을 감독하는 픽셀 수준 궤적 정렬 손실과, 고정된 비디오 이해 인코더에서 추출된 영역 간 관계와 DiT 특징을 정렬하는 의미 수준 관계 정렬 손실로 구성된다. R-Bench, PAI-Bench 및 EZS-Bench에 대한 광범위한 실험은 PhysisForcing이 강력한 기준선들에 비해 체화된 비디오 생성을 일관되게 개선함을 보여준다. 구체적으로, R-Bench에서 Wan2.2-I2V-A14B 및 Cosmos3-Nano 기본 모델을 각각 22.3% 및 9.2% 개선하며(일반 미세 조정 대비 7.1% 및 3.7% 개선), Cosmos3-Nano 변형이 최고 종합 점수를 달성했다. 생성 외에도, WorldArena 행동 계획 프로토콜 하에서 세계 모델로서 폐루프 성공률을 16.0%에서 24.0%로 높이고 하위 정책 성공을 추가로 개선하는데, 이는 물리적으로 정렬된 비디오 모델이 로봇 조작을 위한 더 강력한 표현을 산출함을 나타낸다.

우리는 Qwen-Image-2.0-RL을 제시합니다. 이는 인간 피드백으로부터의 강화 학습(RLHF)과 온-정책 증류(OPD)를 적용하여 Qwen-Image-2.0 확산 모델의 시각적 품질과 지시 수행 능력을 모두 향상시키는 사후 훈련 파이프라인입니다. 신뢰할 수 있는 보상 신호를 제공하기 위해, 우리는 점별 점수 매기기 패러다임과 사고 사슬 추론을 사용하여 시각-언어 모델을 미세 조정함으로써 작업별 복합 보상 모델을 구축합니다. 텍스트-이미지 생성의 경우, 보상 모델은 정렬, 미적 품질 및 초상화 충실도 차원을 포함합니다. 이미지 편집 작업의 경우, 보상 시스템은 지시 수행 정확성과 얼굴 동일성 보존을 다룹니다. 이 보상 시스템을 기반으로, 우리는 확장 가능한 GRPO 기반 RL 훈련 프레임워크를 개발합니다. 이 프레임워크는 사전 훈련된 지식을 보존하기 위한 하이브리드 분류기 없는 안내(CFG) 전략, 그룹 내 보상 범위 필터링을 통한 프롬프트 큐레이션, 및 범주별 보상 가중치 보정을 포함합니다. T2I와 편집을 위한 작업 특화 RL 정책을 병합하기 위해, 우리는 최종 훈련 단계로 온-정책 증류를 제안합니다. 이는 궤적 수준 속도 매칭을 통해 여러 교사 모델을 단일 학생 모델로 통합합니다. 광범위한 평가 결과, Qwen-Image-2.0-RL은 Qwen-Image-Bench에서 전체 점수 57.84점(기본 모델 대비 +2.61), 텍스트-이미지 아레나에서 Elo 등급 1193(+78), 이미지 편집 아레나에서 1349(+93)를 달성하여 미적 품질, 프롬프트 준수 및 편집 정확성에서 일관된 향상을 보여줍니다.

우리는 평행 그리퍼를 장착한 양팔 로봇이 인간의 행동으로부터 새로운 조작 기술을 학습할 수 있는지 연구한다. 인간 행동 데이터는 저렴하고 풍부하며 다양하여 로봇 학습을 확장하기 위한 가장 유망한 자원 중 하나이다. 그러나 인간에서 로봇으로 기술을 전이하는 것은 여전히 어렵다. 대부분의 선행 연구는 인간을 또 다른 6자유도 양팔 구현체로 간주하는데, 이 경우 손 자세 추정치에 노이즈가 많고 인간 손가락의 접촉 패턴이 평행 그리퍼와 근본적으로 다르다. 따라서 인간 데이터로부터 회전을 포함하는 행동 신호를 학습하는 것은 차선책이라고 주장하며, 대신 초기 머리 카메라 프레임 내 상대적 손목 병진 운동이라는 브리징 행동 표현을 제안한다. 이는 인간과 로봇이 공유하는 행동 공간이다. 서로 다른 구현체에서 특정 행동 구성 요소가 부재할 가능성을 처리하기 위해, 인터리브된 행동 토큰과 어텐션 마스킹을 갖춘 π_0 유사 비전-언어-행동 모델을 구축한다. 새로운 양팔 조작 과제군에서, 우리의 브리징 행동은 노이즈가 많은 6자유도 인간 행동보다 훨씬 효과적으로 인간 조작 지식을 로봇에 전이하며, 인간 데이터 양에 따라 확장된다.

언어 및 멀티모달리티 분야의 기반 모델은 이기종 데이터를 통일된 형식으로 정렬하고 대규모로 학습하여 강력한 일반화를 달성합니다. 본 보고서에서는 이러한 확장 방식이 로봇 조작에 적용되어 진정한 일반화를 달성할 수 있는지 조사합니다. 이는 텍스트와 달리 조작 데이터는 본질적으로 이질적이고, 수집 비용이 높으며, 다양성이 좁아 정렬과 확장을 동시에 달성하기 어렵기 때문에 까다롭습니다. 우리는 Qwen-VL을 기반으로 구축된 일반화 가능한 시각-언어-행동 기반 모델인 Qwen-RobotManip을 제시합니다. Qwen-RobotManip은 조작의 표현, 동작 및 행동 차원에 걸친 통합 정렬 프레임워크를 도입하여 대규모 다중 소스 학습을 상충되지 않고 일관되게 만듭니다. 이러한 정렬 능력은 Qwen-RobotManip이 이전 학습 방식이 감당할 수 없었던 규모의 조작 데이터를 흡수할 수 있게 합니다. 인간-로봇 합성 파이프라인은 15개 플랫폼에서 1인칭 손 시연을 로봇 궤적으로 변환하고, 엄격한 큐레이션 파이프라인은 이기종 데이터셋을 조화롭게 만듭니다. 독점 데이터 수집 없이 오픈소스 데이터셋과 인간 비디오만을 사용하여 Qwen-RobotManip은 약 38,100시간의 사전 학습 말뭉치를 구축하고 제로샷 명령 수행, 교란에 대한 강건성, 반응적 오류 복구, 교차 체현 전이를 포함한 새로운 일반화 능력을 보여줍니다. 우리는 표준 벤치마크가 사전 학습 품질을 포착하지 못한다는 사실을 발견하고 대신 RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF 및 RoboTwin-XE를 포함한 OOD 설정을 채택합니다. Qwen-RobotManip은 π0.5를 포함한 기존 최첨단 모델을 모든 OOD 설정에서 크게 능가하며, RoboChallenge에서 20%의 상대적 개선으로 1위를 기록하고 AgileX ALOHA, Franka, UR 및 ARX를 포함한 실제 로봇 플랫폼에서 검증되었습니다.

에이전트 기반 내비게이션 시스템은 기본 내비게이션 모델을 필요로 하며, 이 모델의 관찰 전략은 추론 시 외부에서 재구성 가능해야 한다. 명령 수행, 객체 탐색, 표적 추적, 자율 주행은 동일한 인지-계획 백본을 공유하지만 시각적 스트림을 소비하는 방식에 있어 근본적으로 다른 전략을 요구하기 때문이다. 본 논문에서는 Qwen-RobotNav를 기반으로 구축된 확장 가능한 내비게이션 모델인 Qwen-RobotNav를 제안한다. 이 모델은 두 가지 상호 보완적 차원을 가진 매개변수화된 인터페이스를 통해 이 문제를 해결한다. 즉, 내비게이션 행동을 선택하는 다중 작업 모드와 시각적 이력이 인코딩되는 방식을 제어하는 제어 가능한 관찰 파라미터(예: 토큰 예산, 카메라별 가중치)이다. Qwen-RobotNav는 모든 파라미터에 대한 학습 시 무작위화를 통해, Qwen-RobotNav 백본에 아키텍처 수정 없이도 모든 추론 시 구성에 강건하다. Qwen-RobotNav는 1,560만 개의 샘플로 학습되었으며, 시각-언어 데이터와의 공동 학습은 궤적 전용 학습에서 관찰되는 반응적 행동 시퀀스 매퍼로의 붕괴를 방지한다. 매개변수화된 인터페이스는 또한 Qwen-RobotNav를 에이전트 시스템의 자연스러운 구성 요소로 만든다. 장기적 시나리오의 경우, 상위 수준 플래너가 목표를 하위 작업으로 분해하고 에피소드 중간에 Qwen-RobotNav의 작업 모드와 맥락 전략을 동적으로 전환하여, 동일 모델에 대한 반복 호출을 통해 복잡한 행동을 구성한다. 광범위한 실험 결과, Qwen-RobotNav는 주요 내비게이션 벤치마크 전반에서 새로운 최첨단 결과를 달성함을 보여준다. 이 모델은 2B에서 8B 파라미터로의 유리한 확장성을 보이며, 공동 다중 작업 학습은 작업군 간에 전이되는 공유 공간 계획 기반을 개발하고, 다양한 환경에서 실제 로봇에 대한 강력한 제로샷 일반화를 입증한다.

언어 모델(LM)은 어휘 크기에 따라 선형적으로 증가하는 임베딩 행렬을 사용하여 토큰을 표현한다. 매개변수 규모를 제한하기 위해, 기존 연구는 인코더 전용 모델 내에서 여러 토큰을 단일 벡터로 해싱하는 방법을 제안했다. 이는 매개변수 효율성을 제공하지만, 다대일 충돌로 인해 인과적 언어 모델에서는 사용할 수 없다. 본 논문에서는 해시 기반 자기회귀를 가능하게 하는 새로운 프레임워크인 MultiHashFormer를 제안한다. 각 토큰은 여러 개의 독립적인 해시 함수에 의해 생성된 짧은 이산 해시 ID 시퀀스인 고유한 해시 시그니처로 표현된다. 해시 인코더는 이 시그니처를 단일 잠재 벡터로 압축하여 트랜스포머 디코더가 처리할 수 있게 한다. 그런 다음 해시 디코더는 다음 토큰의 해시 시그니처를 생성하고, 이를 다시 텍스트로 매핑한다. 우리는 1억, 10억, 30억 매개변수 규모에서 접근법을 평가하여 MultiHashFormer가 여러 벤치마크에서 표준 트랜스포머 언어 모델을 일관되게 능가함을 입증한다. 또한, 본 모델은 아무런 수정 없이도 고정된 매개변수 규모로 다국어 어휘 확장을 처리할 수 있음을 보여준다.

비전-언어 모델(VLM)은 소비자, 의료, 금융 및 기업 애플리케이션에 점점 더 많이 배포되고 있다. 이러한 광범위한 배포는 안전 범위를 확장한다. 멀티모달 질의응답, 어시스턴트 응답, 교차 모달 구성에서 위험이 발생할 수 있으며, 조정 정책은 제품, 지역, 배포 단계에 따라 달라질 수 있다. 대부분의 기존 가드레일은 고정된 분류 체계에 의존하거나 극히 제한된 상호작용 설정만을 대상으로 하여, 배포 시점에 안전 규칙이 변경될 때 적응성이 제한된다. 본 연구에서는 SingGuard, 즉 정책 적응형 멀티모달 가드레일 모델 제품군을 제안한다. SingGuard는 활성 정책을 런타임 입력으로 처리한다. 자연어 규칙이 주어지면 대상 콘텐츠를 활성 정책 규칙별로 검사하여 안전 레이블과 트리거된 규칙을 모두 예측한다. 효율성과 해석 가능성의 균형을 맞추기 위해 SingGuard는 직접적인 안전 판단에서 정책 기반 심의에 이르는 빠른 추론에서 느린 추론으로의 스펙트럼을 따라 빠른, 하이브리드, 느린 추론 방식을 지원한다. 이러한 동작은 빠름-느림 분리 강화 학습을 통해 추가로 최적화한다. 또한, 56,340개의 예제로 80개 이상의 세분화된 위험 유형을 포함하는 멀티모달 가드레일 벤치마크인 SingGuard-Bench를 소개한다. 이 벤치마크는 멀티모달 QA, 적대적 공격, 동적 규칙 평가 설정을 아우르며, 각 모달리티는 단독으로는 무해하지만 이들의 조합이 안전하지 않은 의도를 암시하는 교차 모달 결합 위험 사례도 포함한다. 6개 벤치마크 제품군(35개 데이터셋)에 걸쳐 SingGuard는 모든 제품군에서 최첨단 평균 F1을 달성했다. 동적 규칙 평가는 런타임 정책 변경 하에서 정책 준수 정확도를 0.6465에서 0.7415로 개선함을 추가로 보여준다. 코드는 https://github.com/inclusionAI/Sing-Guard에서 확인할 수 있다.

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 역할 전문화와 구조화된 상호작용을 통해 복잡한 작업을 해결하기 위한 유망한 프레임워크를 제공한다. 그러나 이러한 시스템의 성능은 종종 협력 조정 실패와, 더 근본적으로는 에이전트 간 세분화된 신용 할당(credit assignment)의 부재로 인해 제한된다. 기존 접근법은 일반적으로 거친 수준의 피드백에 의존하기 때문에 오류의 원인이 되는 에이전트나 상호작용 단계를 식별하기 어렵다. 본 논문에서는 다중 에이전트 시스템의 세분화된 귀인(attribution)과 최적화를 위한 접근법인 경사 기반 연결(Gradient-Based Connections, GBC)을 제안한다. GBC는 MAS를 계산 그래프로 모델링하고, 각 에이전트 출력이 하위 에이전트에 미치는 영향을 토큰 수준에서 정량화하기 위해 경사 기반 연결 가중치를 도입한다. 귀인 그래프를 구성하고 작업별 손실 신호를 역방향으로 전파함으로써, 본 방법은 오류 원인의 정밀한 식별과 표적화된 프롬프트 최적화를 가능하게 한다. 또한 접두사 기반 경사 계산을 활용한 효율적인 구현인 AgentChord를 개발한다. MultiWOZ 및 τ-bench에 대한 실험 결과, GBC는 다중 에이전트 성능을 향상시키고 강력한 단일 에이전트 및 다중 에이전트 기준선을 능가하며, 높은 귀인 품질이 최적화 효과성과 연관되어 있음을 보여준다. 코드는 https://github.com/yxc-cyber/AgentChord에서 확인할 수 있다.

개방형 환경에서 작동하는 로봇은 위치 추정, 공간 추론, 항법 및 장기 계획을 원활하게 통합해야 한다. 전문가 모델은 개별 작업에서 뛰어난 성능을 보이지만, 다중 모델 스택을 배포하는 것은 계산 비용이 많이 들고 연쇄 오류가 발생하기 쉽다. 본 논문에서는 이러한 기능들을 단일 기초 모델로 통합한 통합형 체화된 범용 모델인 Vesta를 제안한다. 우리의 접근 방식은 공간적 기반을 유도하도록 설계된 다양하고 방대한 큐레이션 코퍼스와 장기적인 시간 범위에 걸친 추론을 가능하게 하는 간단한 다중 모달 메모리 하네스를 결합한다. 다양한 벤치마크에서 Vesta는 개별 최고 수준(SOTA) 기준선보다 평균 20% 이상 앞서며, 범주별 최고 기준선의 앙상블보다 10% 이상 우수한 성능을 보여준다. 이는 범용 모델이 전문가 모델과 동등하거나 이를 능가할 수 있음을 입증한다. 메모리와 추론이 필요한 실제 로봇 작업에서 Vesta는 작업 성공률을 35% 이상 향상시킨다. 따라서 본 연구는 단일 범용 모델이 전문가 모델을 결합하는 것에 비해 실현 가능하고 확장 가능하며 바람직한 대안임을 보여준다.

텍스트 디톡시피케이션(Text detoxification), 즉 공격적이고 유해한 콘텐츠를 자동으로 탐지하고 완화하는 기술은 온라인 커뮤니티의 안전을 보장하고 사용자를 보호하는 데 필수적이다. 그러나 타타르어와 같은 저자원 언어는 연구적 관심을 거의 받지 못했다. 본 논문에서는 타타르어 텍스트 디톡시피케이션을 위한 새로운 최첨단 시스템인 Tatoxa를 제시한다. 비교 실험 결과, 제안된 접근법은 주요 품질 지표에서 기존 오픈소스 및 독점 상용 대규모 언어 모델(LLM)을 능가하는 성능을 보였다. 또한 저자원 환경에서의 미세 조정 및 평가를 위해 설계된 타타르어 텍스트 디톡시피케이션용 신규 데이터셋을 소개한다. 마지막으로, 교차 언어 전이 실험은 문화적으로 가까운 러시아어를 포함한 다른 언어로부터의 전이가 대규모 러시아어 코퍼스가 존재하더라도 타타르어 원천 데이터로 학습한 경우보다 현저히 낮은 성능을 보임을 나타낸다.

지식 기반 시각 질의 응답(KB-VQA)은 이미지 이해와 외부 지식을 결합하는 모델을 필요로 한다. 대부분의 기존 방법은 사전 선택된 검색기와 정적 상위 k 설정을 사용하는 고정된 검색 후 생성 파이프라인을 사용하며, 이는 추론 과정에서 적응적이지 않다. 본 논문에서는 KB-VQA를 위한 점진적 다중 모드 검색 에이전트인 ProMSA를 제안한다. 주어진 이미지-질문 쌍에 대해, 에이전트는 명시적인 도구 호출 예산 하에서 반복적으로 이미지 검색, 텍스트 검색 또는 중지를 선택하며, 중복 검색을 피하기 위해 중복 제거를 수행한다. 훈련을 위해 먼저 거부 샘플링 SFT를 사용하여 유효한 도구 사용 형식을 학습한 후, 생성 길이와 도구 상호작용 깊이 모두에 의해 업데이트를 정규화하는 시퀀스 수준 강화 학습 목표인 TN-GSPO로 에이전트를 최적화한다. E-VQA 및 InfoSeek에 대한 실험은 강력한 RAG 및 에이전트 기준선 대비 일관된 성능 향상과 검색 및 종단 간 정확도 개선을 보여준다. 코드는 https://github.com/DingWu1021/Promsa에서 제공된다.

음성 에이전트는 근본적인 긴장 관계에 직면해 있다: 기초 모델을 강력하게 만드는 추론, 검색, 도구 사용은 반복적이고 느리지만, 대화형 상호작용은 밀리초 단위의 응답 시간을 요구한다. 작고 실시간 처리 가능한 모델은 지연 시간 기준을 충족하지만 복잡한 작업에서 기초 모델을 따라잡지 못하며, 이에 따라 현재의 음성 에이전트는 응답성과 성능 사이에서 절충해야 한다. 우리는 대화형 인필(conversational infill)을 도입한다. 이 방식에서는 작은 말하기 모델(talker model)이 외부 추론 모델(reasoner model)의 지연 시간을 숨기기 위해 맥락에 맞는 응답을 즉시 생성하는 동시에, 추론 중에 스트리밍되는 추론 모델의 지식을 유창하게 통합한다. 우리는 6개 도메인에 걸친 290,571개 예제로 구성된 합성 데이터셋을 구축하였으며, 135M에서 1.7B 파라미터에 이르는 일곱 가지 널리 사용되는 소형 언어 모델에서 이 작업이 학습 가능함을 입증한다. 우리의 시스템 구현인 ConvFill은 밀리초 수준의 최초 응답 시간(first-response)을 유지하면서도 정확도 격차를 해당 최첨단 추론 모델 성능의 6.3% 이내로 좁힌다. Apple M2 SoC에서 말하기 모델을 배포한 실시간 사용자 연구(n=18)에서 참가자들은 ConvFill을 전반적으로 최첨단 모델과 동등하게 평가했으며, 검색 중심 작업에서는 이를 선호했고, 응답성에 있어서는 유의미하게 높은 평가를 내렸다. 이러한 결과는 대화형 인필이 지연 시간-성능 파레토 경계에서 새로운 지점을 열어, 응답성과 높은 성능을 모두 갖춘 음성 에이전트를 위한 실용적인 경로를 제공함을 보여준다. 코드, 모델 및 데이터셋은 https://github.com/vysri/conversational-infill 에서 확인할 수 있다.

웹 에이전트 벤치마크는 압도적으로 깊이(depth)를 측정한다. 즉, 일련의 제약 조건 뒤에 숨겨진 모호한 답 하나를 찾아내는 방식이다. 반면, 폐쇄 집합을 빠짐없이 열거하고 각 항목의 속성을 채우는 폭(breadth)은 거의 평가되지 않으며, 특히 영어 외의 언어에서는 더욱 그렇다. 폭을 구축하는 것도 어렵다. 즉, 골드 집합이 완전하고 모든 셀이 정확함을 인증하는 것은 단일 답을 확인하는 것보다 훨씬 비용이 많이 든다. 본 논문에서는 자동화된 합성-검증(synthesize-and-verify) 파이프라인으로 구축된 한국어 폭 검색 벤치마크인 Ko-WideSearch를 소개한다. 각 과제는 집합-부모 엔터티(set-parent entity), 즉 TV 시즌, 왕조, 리그, 행정 구역, 선거 등을 지칭하며, 해당 엔터티의 전체 구성원과 항목별 속성 표를 요구하며, 항목 정밀도(Item-F1), 열 정밀도(Column-F1), 행 정밀도(Row-F1)로 평가된다. 이 벤치마크는 세 가지 난이도 계층에 걸쳐 190개 엔터티, 16개 범주, 228개 표로 구성되며, 난이도는 두 가지 구조적 조절자, 즉 표 너비와 2차원 복합 키(composite key)를 독립적으로 조절하여 설정된다. 이에 따라 교차 곱(cross-product) 구성원 비율은 하위 계층에서 상위 계층으로 갈수록 0%에서 100%까지 증가한다. 골드 구축과 평가에는 단일 정규화 인식 비교기(normalization-aware comparator)가 공유되어, 안정적인 날짜 및 개수 열이 형식 차이만으로 과도하게 탈락되지 않도록 한다. 스무 개의 웹 에이전트에 대한 실험 결과, 일관된 실패 패턴이 관찰되었다. 에이전트는 집합 자체는 복구하지만 행(Row)은 복구하지 못했으며(예: 항목 정밀도 92.8 대비 행 정밀도 53.7), 조절자가 강화됨에 따라 정확도가 꾸준히 감소했고, 검색 횟수나 비용 증가로도 그 격차를 줄일 수 없었다. 셀 단위로 분석하면, 어려운 부분은 올바른 값을 찾는 것이지 형식화하는 것이 아니다. 자유형 텍스트 셀(open-ended free-text cell)이 가장 많이 실패한 반면, 날짜나 이름과 같은 표준 답이 존재하는 셀은 대개 올바르게 추출되었다.

실제 환경에서 로봇 정책을 훈련하고 평가하는 것은 비용이 많이 들고 확장이 어렵습니다. 우리는 SimFoundry를 소개합니다. 이는 비디오로부터 제로샷 실물-시뮬레이션 장면 구축을 위한 모듈형 자동화 시스템입니다. SimFoundry는 시뮬레이션 준비가 완료된 디지털 트윈을 생성하며, 객체, 장면 및 작업 편집을 지원하여 다양한 디지털 커즌(복원된 실제 장면의 어포던스 보존 변형)의 자동 생성을 가능하게 합니다. SimFoundry 데이터로 훈련된 정책은 다단계 조작, 관절 객체 상호작용 및 양손 상호작용을 포함한 까다로운 실제 작업에 제로샷으로 전이되며, 디지털 커즌(원본 장면, 객체 및 작업의 변형)은 새로운 실제 조건으로의 일반화를 촉진합니다. 7가지 조작 작업과 5가지 정책 아키텍처에 걸쳐 SimFoundry 시뮬레이션 평가는 실제 성능을 강력하게 예측하며, 평균 피어슨 상관계수 0.911, 평균 최대 순위 위반 0.018을 기록했습니다. 시뮬레이션에서 훈련된 정책을 실제 환경에서 제로샷으로 평가했을 때, 객체, 장면 및 작업 커즌으로 훈련된 정책은 평균 작업 성공률이 각각 17%, 21%, 40% 향상되었습니다. 추가 세부 사항은 https://research.nvidia.com/labs/gear/simfoundry/ 에서 확인할 수 있습니다.

에이전트가 테스트 시점에 세계와의 상호작용을 통해 지속적으로 학습하려면 효과적으로 탐색하고, 새로운 세계 지식과 기술을 습득하며, 관련 일화적 경험을 유지하고, 장기적인 지평에 걸쳐 계획을 수립할 수 있어야 한다. 이러한 테스트 시점 지속 학습 에이전트의 핵심 능력을 평가하기 위해, 우리는 AgentOdyssey를 도입한다. 이는 풍부한 개체, 세계 역학, 그리고 장기 과제를 갖춘 개방형 텍스트 게임을 절차적으로 생성하는 새로운 평가 프레임워크이다. 중요한 점은 AgentOdyssey가 학습이 테스트 시점에 발생하지 않는다는 전통적인 머신러닝 가정을 넘어서, 에이전트를 배포 과정 내내 학습과 추론이 교차되는 지속적이고 장기적인 환경에 배치한다는 것이다. 또한 우리는 다각적인 평가 방법론을 제안하는데, 이는 게임 진행 상황뿐만 아니라 세계 지식 습득, 일화 기억, 객체 및 행동 탐색, 행동 다양성, 모델 비용에 대한 진단 테스트를 제공한다. 생성된 게임에서 다양한 에이전트 패러다임을 평가한 결과, 실험 결과는 에이전트의 핵심 능력에 중대한 한계와 그들의 의미 있는 지평에 영향을 미치는 요소들을 드러낸다. 성능이 더 강력한 기본 모델에 따라 확장되지만, 최고 성능의 에이전트조차 인간 수준에 훨씬 미치지 못하여 상당한 개선 여지를 남긴다. 에이전트 메커니즘 중에서는 단기 기억이 여러 에이전트 패러다임에 이점을 제공하며 에이전트 테스트 시점 훈련의 중요한 구성 요소임을 발견했다.

인공지능은 과학적 발견에 혁명을 일으키며, 가설 생성부터 수학적 정리 증명에 이르기까지 모든 과정을 가속화하고 있다. 그러나 이러한 급속한 가속화는 시스템적 도전 과제를 만들어내고 있다. 즉, 전통적인 인간 피어 리뷰(peer review)는 AI가 지원하는 과학의 유입 속도를 따라잡을 수 없다는 점이다. 궁극적으로 이러한 긴장을 해소하기 위해서는 검증 및 리뷰 과정 자체를 가속화하기 위해 AI를 배치해야 한다. 이러한 전환에 관한 논의의 틀을 제공하기 위해, 우리는 과학적 평가에서 AI와 인간의 협업 네 가지 수준으로 구성된 분류 체계(taxonomy)를 제안하며, 각 수준과 관련된 다양한 절충점(trade-off)을 논의한다. 이러한 미래를 향한 한 걸음으로, 우리는 심층 과학 리뷰 및 검증을 위해 구축된 에이전틱 AI 프레임워크인 논문 보조 도구(PAT, Paper Assistant Tool)를 소개한다. PAT는 전체 과학 원고를 입력받아 포괄적인 평가를 생성하며, 이론적 결과를 확인하고, 실험을 검증하며, 개선 사항을 제안하고, 잠재적 결함을 식별한다. 추론 스케일링 기법(inference scaling techniques)을 활용함으로써 PAT는 단일 모델 호출만으로는 찾아낼 수 없는 더 깊은 문제를 식별할 수 있으며, SPOT 벤치마크의 수학적 오류에서 제로샷(zero-shot) 재현율 대비 34% 개선을 달성한다. 두 개의 주요 컴퓨터 과학 학회인 STOC와 ICML에서 저자 사전 제출 도구로 PAT를 파일럿 배포한 결과, PAT가 연구 논문의 중요한 오류를 식별하고 실질적인 개선 사항을 제안할 수 있음이 입증되었다. PAT는 오류를 조기에 발견함으로써 심사자에게 부과되는 인지적 부담을 완화하는 동시에, 리뷰 과정의 결과에 대한 심사자의 통제권을 유지한다.

비전-언어-행동(VLA) 모델은 다양한 조작 작업에서 일반화할 수 있지만, 모방 학습 기반 정책은 누적 실행 오류로 인해 정밀한 물리적 상호작용에서 취약함을 보입니다. 순수하게 시뮬레이션에서 훈련된 강화 학습 정책이 실제 세계 VLA의 견고성을 제로샷으로 향상시킬 수 있을까요? 잔여 강화 학습(Residual RL)은 동결된 VLA 위에 교정 정책을 학습하는 자연스러운 프레임워크를 제공하지만, 기존 접근법은 근본적인 시뮬레이션-실제 간 딜레마에 직면합니다. 특권 상태 방법은 배포를 위해 손실 증류가 필요하고, 이미지 기반 방법은 시각 도메인 차이를 겪으며, 실제 세계 강화 학습은 비용이 많이 들고 안전하지 않습니다. 본 연구는 객체 포즈를 사용하여 VLA 행동을 정제하는 객체 중심 잔여 강화 학습 프레임워크를 제안하며, 이를 통해 시뮬레이션과 실제 간에 일관되게 전이되는 간결한 관찰 공간을 가능하게 합니다. 두 도메인을 정렬하기 위해, 동일한 원격 조작 시연을 시뮬레이션에서 재생하여 실제 세계 VLA의 시뮬레이션 대응 버전을 추가로 훈련합니다. 잔여 강화 학습 정책은 포즈 노이즈 주입과 드롭아웃을 적용한 시뮬레이션에서만 훈련되며, 제로샷으로 실제 로봇에 전이됩니다. 실제 Franka Research 3 (FR3) 로봇에서 다섯 가지 조작 작업을 통해, 본 방법은 성공률을 42%에서 76%로 제로샷 향상시켰으며, 개선된 롤아웃은 추가 원격 조작 없이 기본 VLA를 재훈련하여 자기 개선에 재사용될 수 있습니다. 프로젝트 페이지: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

본 연구는 ICRA 2026 대회인 LeHome Challenge 2026의 양손 의류 접기 과제를 위해 개발한 솔루션을 설명한다. 해당 시스템은 온라인(시뮬레이션) 라운드에서 62개 팀 중 1위를 차지했으며, 실제 환경 결승전에서 2위를 기록했다. 이 시스템은 강화 학습 루프를 통해 비전-언어-행동(VLA) 정책을 개선한다. 해당 정책은 자체적인 가치 함수 역할을 수행한다. 즉, 행동을 예측하는 동일한 네트워크가 성공 여부, 진행률 및 몇 가지 작업 관련 미래 수량도 예측하며, 이러한 예측은 이점 추정, 실시간 실패 감지 및 후보 선택에 활용된다. 이 연구는 기존 강화 학습 아이디어를 주로 재조합하고, 단일 레시피로 함께 사용하거나 개별적으로 사용할 수 있는 공학 및 최적화 기여를 포함한다. 구체적으로는 흐름 매칭 VLA를 위한 AWR과 RECAP의 결합, HuggingFace Hub를 통한 비동기 분산 학습/롤아웃 파이프라인, 톰슨 샘플링을 통한 추론 시 하이퍼파라미터 최적화, 카메라 정렬 도구, 강력한 데이터 증강 및 DAgger 방식의 인간-루프 데이터 수집을 포함한 시뮬레이션-실제 전환 레시피가 이에 해당한다.

픽셀 공간 연속 토큰 자기회귀(AR) 생성은 이미지를 원시 픽셀 패치의 시퀀스로 직접 모델링하여 개별 토큰화나 별도로 사전 학습된 토크나이저를 필요로 하지 않는다. 그러나 이 방식은 두 가지 결합된 문제에 직면한다. 고차원 패치 생성으로 인해 한 단계에서 큰 오류가 발생하며, 교사 강제 학습은 훈련-추론 차이를 만들어 이러한 오류가 AR 단계를 거치며 누적된다. x-예측이나 입력 노이즈 주입과 같은 기존의 해결책은 이러한 문제를 부분적으로만 완화한다. 정확한 롤아웃 학습은 추론 시점의 조건에 더 잘 부합하지만, 실용적이지 못할 정도로 느린 순차적 샘플링으로 인해 실행이 불가능하다. 우리는 두 문제를 동시에 해결하는 확장 가능한 프레임워크인 병렬 롤아웃 근사(PRA)를 제안한다. PRA는 고차원 픽셀 패치 대신 저차원 중간 상태를 생성한 후, 이를 픽셀 디코더로 픽셀 공간 토큰에 다시 매핑함으로써 픽셀 입력-픽셀 출력 AR 인터페이스를 유지한다. 또한 추론 시 사용되는 동일한 중간 상태-대-픽셀 경로를 통해 위치별로 독립적으로 추론형 픽셀 입력을 구성하여, 추론 시점의 롤아웃 동안 마주치는 픽셀 피드백 인터페이스를 근사하면서도 병렬 교사 강제 학습을 유지한다. 256×256 해상도의 클래스 조건부 ImageNet-1K 생성에서 1억 3500만 개의 파라미터를 가진 PRA-S는 FID 2.58을 달성하여, 이전의 수십억 규모 픽셀 공간 AR 결과인 3.60을 능가한다. 5억 1100만 개의 파라미터를 가진 PRA-L로 확장하면 FID가 1.94로 더욱 개선되어 픽셀 공간 AR 모델 중 새로운 최고 수준을 확립한다. 생성 외에도 PRA는 다른 AR 및 확산 기반 방법보다 더 높은 ImageNet 분류 프로빙 정확도를 달성하여, 통합된 픽셀 공간 이미지 생성 및 이해의 가능성을 제시한다.

대규모 언어 모델(LLM)을 프로덕션 환경에서 효율적으로 배포하려면 정확도와 비용 간의 절충이 필요하다. 운영자는 흔히 단일 모델을 기본값으로 사용하는데, 이는 간단한 쿼리에는 비용이 과도하게 들거나 어려운 쿼리에는 충분하지 못한 경우가 발생한다. 이러한 문제를 해결하기 위해, 본 연구는 2단계 계단식 솔루션을 제안한다. 1단계는 수신된 쿼리를 클러스터링하고 각 클러스터를 가장 비용 효율적인 모델에 할당한다. 이 라우팅 과정의 비용 예산은 오프라인에서 조정된 해석 가능한 하이퍼파라미터로 설정된다. 2단계는 품질 추정(QE) 계단식을 추가한다. 1단계의 출력이 낮은 품질로 판단되면, 해당 쿼리는 더 강력한 모델로 에스컬레이션된다. 이를 통해 어렵거나 신뢰도가 낮은 사례만 고비용 모델에 도달하게 된다. 테스트 데이터셋에서 계단식 시스템은 가장 강력한 모델의 정확도를 97~99% 유지하면서 출력 토큰당 시간(TPOT)을 절감한다. 이 시스템은 작업 정확도 레이블만 필요로 하며, 수동 재구성 없이 모델 풀의 변화에 적응한다.

비디오 생성 모델은 동적 환경을 시뮬레이션하고자 하며, 여러 벤치마크가 프레임 간 메모리 일관성을 평가하고 있다. 그러나 대부분은 목표 객체가 시야에 있는 동안에만 일관성을 평가하며, 객체를 시야 밖으로 강제로 내보내는 소수의 벤치마크는 가려짐 동안 아무것도 변하지 않는 정적 장면을 평가한다. 이러한 격차를 해소하기 위해, 우리는 동적으로 변화하는 환경에서 사라짐과 재등장 패러다임을 중심으로 구축된 진단용 벤치마크인 MemoBench를 소개한다. 즉, 목표 객체가 물리적 과정을 겪고, 시야에서 사라진 후, 재등장 시 업데이트된 상태로 올바르게 복구되어야 한다. 우리는 합성 및 실제 장면에 걸친 360개의 실제 정답 클립을 선별하고, 네 가지 진단 축에 걸쳐 자동화된 지표와 VQA 기반 평가를 결합한 평가 도구 모음을 설계한다. 여덟 개의 최첨단 모델에 대한 평가는 사라짐과 재등장 패러다임 하의 메모리 일관성과 관련된 주요 통찰과 미해결 과제를 드러낸다.

강화학습(RL) 사후 훈련은 흐름 기반 생성기의 보상 정렬을 개선하지만, 보상 프록시가 포착하지 못하는 방식으로 지각적 품질을 저하시키는 경우가 많다. 우리는 이러한 드리프트의 단순한 구조적 징후를 확인했다: 세 가지 사후 훈련 방법(NFT, AWM, DPO)에 걸쳐, RL 미세 조정은 단계별 속도 노름 |v_θ|을 기준 모델 대비 5%~15% 증가시킨다. 이러한 노름 팽창의 한 형태는 분류기 없는 유도(CFG)에서 연구되었으며, 추론 시 속도를 기준 노름으로 다시 조정하면 결과적인 아티팩트를 완화할 수 있다. 그러나 이러한 추론 시 보정은 RL에 깔끔하게 전이되지 않는다: 추론 시 v_θ를 |v_{ref}|에 맞게 재조정하는 것은 보상을 개선하지도 못하고 품질 저하를 수정하지도 못하는데, 이는 팽창이 모델 가중치에 공동 적응되었기 때문이다. 더욱이, 수반 민감도 분석은 속도 크기 재조정이 배치 수준에서 일관된 일차 보상 신호를 전달하지 않음을 보여주며, 이는 노름 팽창을 억제하는 것이 지속적으로 보상을 전달하는 성분을 제거할 가능성이 낮음을 나타낸다. 추론 시 재정규화가 실패하고 노름 억제가 보상 비용을 수반하지 않으므로, 훈련 중 개입이 적절한 전략이다. 이러한 발견들을 종합하여, |v_θ|가 |v_{ref}|를 초과할 때만 활성화되고 속도 지역 기저 손실과 가산적으로 결합되는 힌지 패널티인 \methodname을 제안한다. 두 가지 기저 모델, 세 가지 사후 훈련 방법, 두 가지 보상 프록시에 걸쳐, \methodname은 보상을 유지하면서 MLLM 평가 이미지 품질과 법의학적 현실성을 일관되게 개선하며, 그 이득은 소수 단계 추론 하에서 증폭되고 조기 중단으로 설명되지 않는다.

LLM 기반 코드 에이전트는 키워드 검색을 통해 저장소를 탐색하지만, 호출 그래프, 상속 계층, 구성 종속성 등 소프트웨어의 실제 작동 방식을 정의하는 구조적 관계를 놓친다. 이로 인해 에이전트 탐색은 확률적(stochastic)이 되고 실행 간 재현이 어려워진다. 본 연구는 경량 정적 분석이 이러한 에이전트에 대해 결정적 앵커(deterministic anchors), 즉 일반 텍스트 주석으로 주입되어 확률적 탐색을 제약하고 탐색을 더 예측 가능하게 만드는 안정적인 구조적 사실을 제공할 수 있는지 조사한다. 강력한 기준선인 OpenAI의 Codex에서 시작하여, 다양한 세분성의 구조적 주석을 체계적으로 주입하고, 이들이 위치 파악(localization), 궤적 행동(trajectory behavior), 실행 간 안정성에 미치는 영향을 측정한다. 본 연구는 우리가 결정적 앵커링 효과라고 부르는 것을 확인한다. 즉, 정적 구조는 에이전트를 '더 똑똑하게' 만들기보다는 탐색을 규율 있고 재현 가능하게 만듦으로써 더 큰 도움을 준다. 세 가지 관찰 결과가 이 발견을 뒷받침한다: (1) 앵커링은 효과적이다: 경량 호출/상속 토폴로지가 함수 수준 위치 파악을 개선하고(+2.2%포인트 Func@5), 궤적을 단축시킨다(-1.6 상호작용 라운드). (2) 앵커링은 규모에 민감하다: 최적의 세분성과 방향성은 저장소 특성에 따라 달라지며, 밀집된 의미론은 수확 체감을 보이고, 허브 중심(hub-heavy) 프로젝트는 순방향 엣지 없이 '누가 나를 호출하는지'를 드러내는 역방향 링크만으로 이점을 얻는다. (3) 앵커링은 안정화한다: 태그는 링크 추종률을 0.15-0.18에서 0.21-0.24로 높이고, 실행 간 분산을 대략 절반으로 줄이며, 중간 규모 저장소에서 단일 실행 신뢰도를 개선하지만(Pass@1 +3.4%포인트), 약 10% 더 많은 입력 토큰을 필요로 한다. 이러한 관찰 결과는 실용적인 지침을 제시한다: 중간 규모 프로젝트에서는 기본적으로 경량 토폴로지를 사용하고, 대규모 저장소에서는 순방향 엣지를 제거하며, 암시적 종속성 사례에 대해서만 밀집 태그를 남겨두는 것이다.

희소 어텐션은 긴 문맥 추론의 비용을 줄일 수 있지만, 대부분의 변형은 새로운 아키텍처 구성 요소를 도입합니다. 우리는 아키텍처 변경 없이 희소 어텐션을 구현하는 더 간단한 접근 방식인 간소화된 희소 어텐션(SSA)을 소개합니다. 구체적으로, 먼저 요지 토큰(gist tokens)이 삽입된 시퀀스에 대해 지속적 사전 학습을 수행합니다. 표준적인 다음 토큰 손실을 평소와 같이 최적화하지만, 요지 토큰은 어텐션 마스크를 사용하여 언어 모델이 문맥의 어떤 부분에 주목할 수 있는지 제한합니다; 이는 모델이 각 청크의 중요한 정보를 요지 토큰에 압축하도록 학습시킵니다. 추론 시, SSA는 현재 쿼리와 작은 요지 토큰 집합 간의 어텐션을 통해 청크를 점수화하고, 상위 k개 청크를 선택적으로 펼쳐 해당 원시 토큰을 다시 도입합니다. 쿼리가 요지 토큰에 대해서만 점수화되므로, 전체 KV 캐시에 대한 단순 점수화와 관련된 메모리 대역폭 비용을 피할 수 있으며, 희소 어텐션 방법에 사용되는 보조 KV 캐시 접근 방식이 필요하지 않습니다. LongBench에서 SSA는 동일한 압축 비율에서 압축 및 추론 시간 희소 어텐션 기준선을 일관되게 능가합니다. 더욱 놀랍게도, 검색 증강 생성에서 SSA는 지속적 사전 학습 후 전체 어텐션보다 5.7포인트 이상 뛰어난 성능을 보일 수 있습니다. 우리는 이를 SSA의 선택적 펼침 능력 덕분이라고 생각합니다. 이는 쿼리와 관련된 청크에 어텐션을 집중시키고 노이즈를 효과적으로 걸러냅니다. SSA는 계층적 요지-오브-요지 변형(H-SSA)으로 확장되며, 최대 32배의 높은 압축 비율에서 정확도를 유지하거나 개선하면서 로그-선형 디코딩 복잡도를 달성합니다. 코드는 https://github.com/yuzhenmao/simplified-sparse-attention/에서 확인할 수 있습니다.

토큰화는 트랜스포머 기반 파운데이션 모델에 과학 데이터를 적용하는 데 핵심적인 과정이지만, 학습된 표현에 미치는 영향은 여전히 잘 이해되지 않고 있다. 본 연구에서는 천문 이미징을 위한 통합 트랜스포머 프레임워크 내에서 Affine, AIM, JetFormer, VQ-VAE의 네 가지 토큰화 전략을 비교한다. DESI 레거시 조사(DESI Legacy Survey)의 64만 개 은하 이미지와 공유된 AstroPT 백본을 사용하여, 각 방법을 재구성 충실도와 물리적 특성 예측 측면에서 평가한다. 분석 결과, 접근법 간에 상충 관계가 존재함을 확인했다. 흐름 기반 JetFormer는 더 높은 재구성 품질을 달성한 반면, VQ-VAE는 은하 물리적 특성에 대해 강력한 프로브 성능을 보였다. Affine과 AIM은 국소적 형태 정보를 더 잘 보존했다. 재구성 품질과 표현 품질은 분리되어 있으며, 본 연구에서 고려한 과제 전반에 걸쳐 단일 방법이 일관되게 최고의 성능을 보이지는 않는다는 사실을 발견했다. 독립적으로 측정된 물리량에 기반하여 평가를 수행함으로써, 본 연구가 파운데이션 모델을 위한 해석 가능한 벤치마크 구축에 과학 데이터가 잠재적 기반이 될 수 있음을 조명하는 계기가 되기를 기대한다.

LLM 기반 프로그램 수리 에이전트는 점차 "생성-실행-수정" 패러다임 위에 구축되어, 패치를 평가하고 개선하기 위해 테스트를 반복적으로 실행한다. 이러한 실행 기반 접근 방식은 최신 시스템에서 표준 관행이 되었다. 그러나 실행은 시간과 비용이 많이 들 수 있음에도 불구하고, 에이전트에 미치는 영향은 아직 충분히 탐구되지 않았다. 본 논문에서는 LLM 기반 프로그램 수리의 실행 행동에 대한 2단계 실증 연구를 수행한다. 먼저 실행 행동을 대규모로 특성화하기 위해 SWE-bench 리더보드 제출물에서 7,745개의 에이전트 추적을 분석한다. 둘째, 200개의 SWE-bench 인스턴스와 3개의 에이전트(Claude Code, Codex, 오픈소스 OpenCode)에 걸쳐 3,000건의 종단 간 수리 시도를 4가지 실행 패러다임 하에서 평가하여, 성능과 비용에 대한 세분화된 비교를 가능하게 한다. 분석 결과 세 가지 주요 관찰 결과가 도출되었다: (1) 코드 실행은 분석된 모든 에이전트와 모델에서 사용되며, 작업당 평균 8.8회의 테스트 실행이 이루어진다. 실행 행동은 에이전트와 모델에 따라 상당히 다양하며, 빈도는 작업당 2회에서 19회까지 분포하고, 후기 실행이 초기 실행보다 일관되게 더 높은 성공률을 보인다. (2) 실행 제약은 수리 성공에 거의 영향을 미치지 않는다. SOTA 모델을 탑재한 상용 에이전트의 경우, 실행 금지 조건과 무제한 조건 간의 해결률 차이는 1.25%p에 불과하며 통계적으로 유의하지 않지만, 실행 금지는 상당한 토큰 및 실제 시간 비용을 절약한다. (3) 실행 이점은 균일하지 않고 집중되어 있다. 이러한 패턴은 현재 에이전트가 실행을 무차별적으로 적용하여, 이점이 거의 없는 인스턴스에서도 비용을 지불하고 있음을 시사한다. 따라서 실행은 기본 기능이 아닌, 명시적인 비용-편익 균형을 가진 자원으로 취급되어야 한다.

옴니모달 모델은 비디오, 오디오 및 텍스트를 입력받을 수 있지만, 여러 양식에 대한 통합적 접근이 모델이 올바른 증거를 사용한다는 것을 보장하지는 않는다. 이러한 격차는 특히 소셜 비디오 질의응답에서 두드러지는데, 여기서 답변은 제스처, 음성 톤, 시간적 단서, 또는 말해진 내용과 시각적으로 표현된 내용 간의 불일치에 달려 있을 수 있다. 우리는 사회적 옴니 추론을 위한 스키마 유도 전문가 혼합 프레임워크인 CogniRoute를 소개한다. CogniRoute는 훈련 전용 인지 스키마를 사용하여 각 예제를 교차 양식 관계, 추론 요구 사항, 시간적 범위로 분해하고, 지도 미세 조정 중에 전역 라우팅 시그니처를 이 구조와 정렬한다. 또한 경로 인식 강화 학습을 도입하여 답변 정확성, 양식 일관 추론, 인지적 시간적 근거에 대한 보상을 사용하여 토큰 생성과 전문가 할당을 공동으로 최적화한다. 훈련과 평가를 지원하기 위해, 우리는 118K개의 구조화된 훈련 예제, 근거 기반 추론 추적, 스키마 레이블, 시간적 증거 범위, 수동으로 검증된 평가 분할을 포함한 진단적 소셜 비디오 QA 자원인 OmniSocialBench를 구축한다. CogniRoute는 OmniSocialBench에서 59.38%의 평균 정확도를 달성하여, 가장 강력한 독점 기준선 대비 15.33% 포인트, 가장 강력한 오픈소스 옴니 기준선 대비 26.77% 포인트 향상되었으며, 청각-시각 협응, 갈등 해소, 시간적 근거 기반 사회적 추론이 필요한 질문에서 가장 큰 개선을 보였다.

대규모 언어 모델(LLM)은 과학 소프트웨어의 사용 편의성을 높일 수 있다. 그러나 일반 모델은 특정 센서가 어떤 측정을 지원하는지, 현재 소프트웨어에 어떤 알고리즘이 구현되어 있는지, 혹은 계산된 결과로부터 어떤 결론이 정당화되는지를 자동으로 알지 못한다. 이러한 구분은 저채널 뇌전도(EEG)에서 특히 중요하다. 저채널 EEG는 희박한 공간적 커버리지와 가변적인 신호 품질로 인해 그럴듯하지만 근거가 부족한 해석이 쉽게 생성될 수 있기 때문이다. 우리는 결정론적 국소 EEG 엔진과 하드웨어 인식 언어 계층을 분리하는 오픈소스 아키텍처인 NeuraDock Agent를 제시한다. 수치 엔진은 기록을 파싱하고, 품질 관리를 수행하며, 검토된 스펙트럼 워크플로우를 실행하고, 기계 판독 가능 출력물을 작성한다. LLM은 오직 간결한 허용 목록 기반 요약과 버전 관리된 컨텍스트 팩만을 전달받는다. 컨텍스트는 7채널 하드웨어, 검토된 워크플로우, 결과 필드, 구현 경계, 과학적 한계, 그리고 참조 사례를 설명한다. 원시 EEG와 밀집 샘플별 배열은 국소에 남는다. 우리는 시스템을 세 가지 수준에서 평가한다. 첫째, 12개의 기록에 대해 열 번의 수치 반복 실험에서 동일한 구조화된 결과가 생성되었으며, 완전한 휴지/과제 실행에서 세 번의 반복 실험에 걸쳐 동일한 결과, 보고서, 및 그림 해시가 생성되었다. 둘째, 요청 캡처 및 오류 주입 실험을 통해 HTTP, 잘못된 형식의 출력, 연결 오류 상황에서도 테스트된 데이터 경계와 국소 출력물이 보존됨을 확인하였다. 셋째, 경계 인식 벤치마크에서는 네 가지 컨텍스트 제거 조건과 두 가지 LLM 하에서 36개의 일반 및 적대적 질문을 테스트하여 288개의 출력을 얻었다. 이러한 결과는 하드웨어 및 구현 인식 기반 설정이 EEG 에이전트가 수용, 적격 판정, 또는 거부하는 바를 보정하는 실용적 메커니즘임을 뒷받침한다. 단, 이 결과가 임상적 타당성이나 검증된 절대적 인지 부하 지수를 확립하는 것은 아니다.