일간 논문

듀플렉스 음성 언어 모델(SLM)과 같은 대화형 시스템은 여전히 그 영혼에 해당하는 스트리밍 방식의 정확하고 공감적인 메모리 시스템을 갖추지 못하고 있다. 우리는 병렬적 정보 처리 좌뇌, 감정 처리 우뇌, 그리고 스트리밍 메모리 입출력 메커니즘을 갖춘 간단한 메모리 아키텍처인 VoiceMem을 제안한다. 또한 메모리 인지 SLM 훈련, 장기 평가, 교체 가능한 메모리 백엔드를 통한 분리형 배포를 위한 완전한 파이프라인을 구축한다. 실험과 실제 배포를 통해 세 가지 장점을 확인했다: i) 정확성: 상위 5개 검색에서 좌뇌는 Mem0과 같은 기존 시스템의 상위 200개 검색 성능보다 거의 30포인트 높은 성능을 보인다; ii) 감정 및 개인화: 단기·장기 정서적 귀인과 이중 노드 페르소나 모델링을 갖춘 우뇌는 세 가지 페르소나 벤치마크에서 최첨단 성능을 달성하며, 이전 최고 시스템 대비 종합 점수가 4.29포인트 향상된다; iii) 실시간 및 저비용: VoiceMem은 134ms 내에 검색을 완료하여 표준 VAD 지연 시간에 충분히 부합하며, 추가 대화 지연 없이 높은 정확도와 낮은 비용을 유지한다. 이러한 결과는 VoiceMem이 실시간 개인화 및 감정 인지 음성 상호작용을 위한 실용적인 메모리 기반을 제공함을 보여준다.

최근 연구들은 비디오 생성 모델이 생성된 프레임을 통해 특정 형태의 제로샷 시각적 추론을 보일 수 있음을 시사한다. 그러나 신뢰할 수 있는 평가는 여전히 어려운 과제이다. 벤치마크는 현재 비디오 모델의 시각적 사전 지식과 정렬된 입력을 채택해야 하며, 그럴듯한 최종 상태만이 아닌 타당한 진화 과정을 요구하고, 도전적이면서도 일부 실현 가능한 수준으로 과제 난이도를 조정해야 한다. 이를 위해, 우리는 비디오 생성 모델의 시각적 추론 능력에 대한 세분화된 평가를 위해 과제 도메인과 스킬 태그의 2단계 분류 체계로 구성된 27개 과제와 810개 인스턴스를 포함하는 VGI-bench를 소개한다. 우리의 평가는 현재 생성 시스템이 시각적으로 기반한 추론 과제의 일부를 해결할 수 있지만, 신뢰성과는 거리가 멀며, 가장 강력한 모델인 Seedance 2.0조차 우리의 평가 기준에서 51.0%에 그친다는 것을 보여준다. 우리의 분석은 출력 실패 모드, 입력 조건 민감도, 합성 파인튜닝으로부터의 성능 전이 경계, 그리고 제한된 자기 교정을 드러내는 내부 노이즈 제거 관점을 추가로 탐구한다. 즉, 후반 단계는 주로 초기 가설을 정제할 뿐 추론 오류를 교정하지 않는다. 우리는 VGI-bench가 차세대 비디오 생성 모델의 개발을 촉진하는 데 기여하기를 기대한다. 웹사이트: https://hexuan21.github.io/VGI-Bench/

과학적 에이전트는 점점 더 데이터를 분석하고 코드를 실행하며 연구 산출물을 생성하고 있지만, 대부분의 벤치마크는 최종 답변, 단독 프로그램, 또는 단일 도메인에 초점을 맞추고 있다. 우리는 300개의 종단 간(end-to-end) 과학 워크플로우로 구성된 교차 도메인 벤치마크인 FrontierChallenge를 소개한다. 본 논문에서는 양자 화학, 분자 동역학, 재료 특성 분석, 분석 화학, 생명과학, 전기화학/환경에 걸친 97개 과제를 공개하고 평가한다. 각 과제는 고정된 입력을 제공하고 요구되는 과학적 산출물 번들을 명시한다. 우리는 세 가지 에이전트 스캐폴드로 12개의 프런티어 모델을 평가한다. 통과율(Pass Rate)은 전체 완료 기준을 충족하는 과제의 비율을 측정하고, 평균 점수(Avg. Score)는 부분적 진전을 반영한다. 최고 성능을 보인 각 구성은 공개된 97개 과제 중 20개만 완료하여 20.6%의 통과율을 기록했다. 부분적 진전은 특히 분석 화학과 전기화학/환경 분야에서 완전한 전달로 이어지는 비율이 낮았다. 평균 점수는 각각 87.6과 94.9에 도달했지만, 최고 통과율은 각각 4%와 0%에 불과했다. 통과하지 못한 Claude Code 궤적 중 75.5%는 여전히 완료를 주장하는 문구로 종료되었다. 이러한 결과는 높은 부분 점수나 완료에 대한 확신에 찬 주장 모두 과학적 과제가 완전히 수행되었음을 신뢰성 있게 나타내지 않는다는 것을 보여주며, 종단 간 워크플로우 실행과 과학적 산출물의 완전성을 함께 평가할 필요성을 강조한다.

대규모 병렬 시뮬레이션은 오프폴리시 강화학습(RL)이 훈련되는 데이터 조건을 변화시켜, 데이터가 제한된 리플레이 상황에 맞게 설계된 안정화 기법에 도전을 제기한다. 여덟 개의 벤치마크 계열에 걸친 통제 실험을 통해, 우리는 이러한 안정화 기법이 데이터 조건에 의존적임을 보여준다: 파라미터 정규화는 리플레이 커버리지가 좁은 경우에는 도움이 되지만 데이터가 풍부할 때는 가치 피팅을 제한하며, 클리핑된 이중 Q는 고처리량 조작에서 완화될 수 있다. 연령 편향 리플레이 가중치는 특히 네트워크 용량이 제한된 경우 다양한 데이터 조건에서 학습 효율을 향상시킨다. 이러한 발견을 바탕으로, 우리는 데이터 조건을 인식하는 오프폴리시 RL 알고리즘 계열인 WarpSAC을 제안한다. WarpSAC은 효율적인 활용을 위해 샘플 가중치 감쇠(Sample Weight Decay)를 사용하며 두 가지 변형을 제공한다: 데이터가 제한된 CPU 규모 훈련을 위한 WarpSAC-L(정규화 적용, 클리핑된 이중 Q)과 데이터가 풍부한 GPU 병렬 훈련을 위한 WarpSAC-A(정규화 미적용, 단일 Q). WarpSAC은 9개의 CPU 규모 환경에서 FlashSAC 대비 정규화된 점수-스텝 AUC를 4.5% 향상시키고, 14개의 GPU 병렬 환경에서는 23.1% 향상시킨다. 또한 UnitreeG1TransportBox-v1의 성공률을 19.8%에서 96.4%로 높이고, MuJoCo Playground에서 평균 정규화 벽시계 시간 AUC를 19.1% 개선하며, FlashSAC보다 Unitree G1에서 시뮬레이션-실제 배포를 36.4% 더 빠르게 달성한다. 이러한 결과는 확장 가능한 오프폴리시 RL이 사용 가능한 데이터 조건에 맞춰 안정화 기법을 적응시켜야 함을 보여준다.

에이전트 능력은 모델 단독으로 결정되지 않는다. 메모리 관리, 계획 전략, 행동 프로토콜, 도구/스킬 오케스트레이션을 포괄하는 에이전트 하네스는 기저 기반 모델의 기여도를 압도할 수 있다. 그럼에도 하네스 설계는 여전히 수동적이고 작업별로 특화되어 있으며 근본적으로 확장이 불가능하다. 우리는 임의의 기성 에이전트형 LLM을 위해 작업 적응형 에이전트 하네스를 즉석에서 합성하도록 훈련된 하네스 지능 모델인 JIT-Agent를 제시한다. 에이전트 하네스를 고정된 4모듈 프로토콜에 의해 규율되는 합성 가능하고 기계 생성 가능한 산출물로 정형화하고, JIT-Agent가 주어진 작업에 맞춰 하네스를 맞춤화하고, 안정적이고 신뢰할 수 있는 실행을 위해 하네스를 수리하며, 이전 하네스 구성들의 확장 아카이브에서 성능 신호를 증류하여 자기 진화하도록 훈련한다. JIT-Agent를 하네스 헬퍼로 장착한 DeepSeek-V4-Flash는 DeepSearchQA(+9.1)와 OdysseyBench(+4.3)에서 GPT-5.6을 능가하며, 이미 강력한 GLM-5.2는 최대 +20.2포인트를 추가로 획득한다. 통제된 평가 전반에서 JIT-Agent가 생성한 하네스는 OpenCode 및 Claude Code와 같은 성숙한 에이전트 런타임과 성능 경쟁력을 갖추고, DeepSeek V4, Mimo-V2.5, Qwen3.6의 다중 규모 모델 계열을 일관되게 개선한다. 우리가 아는 한, JIT-Agent는 적시 하네스 생성을 위해 특별히 설계된 최초의 모델로서, 모델 확장과 직교하는 에이전트 능력의 훈련 가능하고 전이 가능하며 누적 가능한 차원으로 하네스 지능을 확립한다.

시각 고유 추론(Native visual reasoning)은 시각 생성을 추론의 매개체 자체로 간주한다. 즉, 시각 상태(이미지와 비디오)는 단순히 이해해야 할 입력이나 렌더링할 출력이 아니라, 언어를 넘어선 문제 해결을 위한 일급 기반(first-class substrate)이다. 그러나 확장 가능한 훈련 작업, 신뢰할 수 있는 피드백, 그리고 생성 기반 간의 통제된 비교가 부족하여 진전이 병목에 막혀 있다. 본 연구에서는 생성을 통한 시각 고유 추론을 훈련, 검증, 최적화, 실험적 통제가 모두 가능하게 만드는 폐쇄 루프 테스트베드인 VBVR-Pro를 소개한다. 1) 작업 확장(Task scaling): VBVR-Pro는 시각 추론을 절차적으로 생성된 300개의 작업으로 이루어진 통제된 작업 공간으로 변환한다. VBVR-Pro로 훈련된 모델은 RISE-Video, MME-CoF-Pro, BabyVision 등 7개의 외부 시각 추론 벤치마크에서 제안된 작업 모음을 넘어 강력한 전이 성능을 보인다. 2) 검증 가능한 보상(Verifiable rewards): VBVR-Pro는 작업 기반 평가를 위한 검증 가능한 보상 스코어러를 제공한다. 주요 다중모달 대규모 언어 모델(MLLM)을 평가자로 활용한 체계적 연구를 통해, 널리 사용되는 VLM-as-a-judge 패러다임의 반복적 실패 양상을 식별한다. 이와 대조적으로, 제안된 스코어러는 결정론적이고 작업별 규칙에 기반하여 인간 판단과 세밀하게 정렬된다. 중요하게도, 이는 대규모 다중 작업 강화 학습을 위한 신뢰할 수 있는 보상 신호로 기능하며, 다양한 시각 추론 작업에서 강화 학습 이후 더 강력한 성능을 입증한다. 3) 메커니즘 연구(Mechanism study): VBVR-Pro는 30개 이상의 이미지, 비디오, 인터리브 생성기에 걸친 통제된 모달리티 연구를 가능하게 한다. 분석 결과, 지속적인 시공간 상태 추적이 필요한 작업에서는 비디오 생성이 가장 강력한 반면, 인터리브 생성은 계산 효율적인 대안을 제공한다. 중요하게도, 절제 연구(ablation)와 프로빙(probing)은 시각 추론에 핵심적인 시각 고유 궤적(vision-native trajectory)의 존재를 시사한다. 모든 데이터, 모델, 스코어러, 코드를 공개한다.

다중 교사 온-폴리시 증류(MOPD)는 학생 모델 자체 롤아웃에서 도메인별 역방향 KL 발산을 최소화하여 여러 도메인 전문가 교사를 단일 학생 모델로 증류하는 기법이다. 기존 접근법은 일반적으로 훈련 전에 도메인별 데이터 혼합 비율을 고정하지만, 도메인마다 수렴 속도가 크게 다르다는 사실을 간과한다. 일부 도메인은 조기에 정체되는 반면, 다른 도메인은 훈련 예산 전반에 걸쳐 계속 개선된다. 따라서 고정된 혼합 비율은 빠르게 수렴하는 도메인에 계산 자원을 낭비하고, 느리게 수렴하는 도메인은 충분히 훈련하지 못한다. 이러한 문제를 해결하기 위해, 우리는 훈련 중 이미 생성되는 도메인별 역방향 KL 신호를 재활용하여 도메인 혼합 비율을 온라인으로 적응 조정하는 제로 오버헤드 스케줄러인 D³-MOPD(동적 도메인 스케줄링 기반 MOPD)를 제안한다. 이는 훈련 프로세스 외부에서 비동기적으로 실행되며, 프로세스 외부 감시자가 각 도메인의 KL 궤적을 주기적으로 추적하여 남은 개선 여지와 현재 개선 속도를 추정하고, 핵심 훈련 루프를 변경하지 않고 도메인 샘플링 비율을 조정한다. D³-MOPD는 임의의 수의 도메인으로 자연스럽게 확장되며, 더 많은 도메인이 더 다양한 수렴 패턴을 도입할수록 기대 이점이 커진다. 4개의 도메인 전문가 교사로부터 증류된 Qwen3.6-35B-A3B 학생 모델에서 D³-MOPD는 평균 학생-교사 성능 격차의 97%를 좁혀 기본 MOPD의 63%를 크게 상회하며, 약 3배 적은 롤아웃 단계로 동일한 최고 성능에 도달하고, 7개 벤치마크 중 3개에서 전문가 교사를 능가한다.

힌트 기반 강화 학습은 각 롤아웃 전에 전문가 궤적의 접두부를 유지함으로써 장기 지평 에이전트 작업에서의 보상 희소성을 해결하며, 정책이 성공에 더 가까운 상태에서 탐색할 수 있게 한다. 그 효과는 안내 깊이(guidance depth), 즉 궤적을 얼마나 유지할지에 달려 있다. 기존 방법들은 이 깊이를 결정적 스칼라 값으로 취급한다. 일정 기반 접근법은 모든 샘플에 동일한 값을 공유하여 작업 간 이질성을 무시하며, 샘플별 프로빙은 추가 롤아웃 비용을 감수하면서 각각 별도로 추정한다. 우리는 유용한 안내가 단일 최적점에 집중되지 않고, 정보성 프로파일이 대역 중심 주변에서 대략 가우시안 형태를 띠는 깊이 대역에 걸쳐 존재함을 발견한다. 우리는 Agent-G²를 제안한다. 이는 정책 최적화를 위해 이미 수집된 롤아웃에서 중심과 분산을 온라인으로 추정한 가우시안으로부터 작업별 깊이를 추출하는 가우시안 안내 프레임워크로, 프로브 롤아웃이나 학습된 깊이 예측기가 필요 없다. 중심은 전역 기준선과 클러스터별 난이도를 결합하고, 분산은 클러스터 내 분산을 추적한다. 우리는 ALFWorld와 WebShop에서 Qwen2.5-1.5B/7B-Instruct를 사용하여 Agent-G²를 평가한다. Agent-G²는 ALFWorld에서 가장 강력한 힌트 기반, 힌트 없는, Aux-RL 기준선을 각각 2.3/3.9/7.4포인트 능가하면서도, 샘플별 프로빙의 3분의 1 미만의 롤아웃 비용만을 사용한다.

최근 연구는 no-CoT 데이터를 활용하기 위한 다음 청크 추론 강화학습(next-chunk reasoning RL)을 제안한다. no-CoT 데이터는 완성된 풀이와 교과서 유도 과정처럼 추론 내용이 풍부하지만 명시적 사고 사슬(chain-of-thought) 주석이 없는 말뭉치를 가리킨다. 이 방법은 모델이 암시적 추론 궤적을 생성하도록 훈련하고, 생성된 궤적이 다음 텍스트 청크를 예측하는 능력에 따라 보상을 부여한다. 유망한 접근법이지만, 기존 평가는 주로 기존의 SFT(지도 미세조정) 기준선과 비교한 것이어서, 이러한 성과가 RL 설계 자체에서 비롯된 것인지, 아니면 모델이 no-CoT 데이터에 더 효과적으로 노출되었기 때문인지는 여전히 불분명하다. 우리는 다음 청크 추론 RL에 대한 통제된 연구와, 단순하지만 이전에 간과되었던 대안인 혼합 SFT(Mixed SFT)를 통해 이 문제를 다룬다. 혼합 SFT는 no-CoT 데이터와 long-CoT 데이터를 함께 학습하는 단일 지도 미세조정 단계이다. 혼합 SFT는 단순함에도 불구하고, 학습 계산량을 60배 이상 절약하면서도 다음 청크 추론 RL보다 명확히 더 높은 RLVR 이후 성능 상한을 달성한다. 이러한 이점은 도메인 내 수학적 추론과 도메인 외 추론 과제에서 일관되게 나타난다. 또한, RLVR 이전 정확도가 높다고 해서 반드시 RLVR 이후 정확도로 이어지는 것은 아님을 보여준다. 이는 no-CoT 훈련 전략을 전체 후속 훈련 파이프라인의 맥락에서 평가해야 할 필요성을 강조한다.

비디오 생성은 개별 클립을 넘어 장편 서사와 인터랙티브 월드로 발전하고 있으며, 모델이 정체성을 보존하고 사용자 제어를 따르며 확장된 롤아웃에서 안정성을 유지해야 한다. 우리는 두 가지 특수 목적 변형을 갖춘 통합 오디오-비주얼 생성 시스템인 JoyAI-Echo-1.5를 제시한다. 장편 비디오 변형은 여러 이전 샷에 걸쳐 시각적 증거를 집계하고 음성 필터링된 전체 샷 오디오에서 추출된 화자 신호를 활용하는 구성 가능한 크로스샷 메모리를 도입하여, 텍스트, 이미지, 메모리 컨디셔닝의 유연한 조합에서 지속적인 캐릭터 외형과 음성 정체성을 가능하게 한다. 월드 모델 변형은 이기종 내비게이션 입력을 보정된 미터법 6-DoF 카메라 궤적으로 변환하고 이를 기하학 인지 컨디셔닝 경로를 통해 주입함으로써, 유연한 시점에서 컨트롤러 무관 상호작용을 가능하게 한다. 효율적인 장기 생성을 지원하기 위해, 우리는 점진적 티처 포싱과 자기 생성 롤아웃에 대한 단기 및 장기 Self-Gradient Forcing을 사용하여 양방향 오디오-비주얼 백본을 인과적 소수 단계 생성기로 변환한다. 실험 결과는 두 설정 모두에서 강력한 성능을 입증한다. JoyAI-Echo-1.5는 기존 장편 비디오 기준선 대비 샷 간 일관성, 시각적 품질, 텍스트 정렬, 음성 충실도에서 개선을 달성한다. 월드 모델 변형은 평균 점수 81.7로 WBench에서 1위를 차지하며, SANA-WM-Bench에서 최고 수준의 시각적 품질과 장기 지속성을 달성한다. 종합하면, 이러한 결과는 메모리, 기하학적 제어, 롤아웃 인지 학습이 일관된 이야기와 지속적으로 진화하는 인터랙티브 월드를 생성하는 데 실용적 기반을 제공함을 시사한다. 프로젝트 페이지: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/.

다중 교사 온-정책 증류(M-OPD)는 밀집된 토큰 수준 보상 감독을 통해 도메인 특화 강화 학습(RL) 전문가들을 단일 범용 학생 모델로 통합하는 유망한 패러다임으로 부상하였다. 실용적 성공에도 불구하고, 다중 교사 능력 통합을 지배하는 최적화 동역학은 여전히 제대로 이해되지 못하고 있으며, 개방적이고 엄격하게 재현 가능한 레시피가 현저히 부족한 실정이다. 본 연구에서는 오라클 라우팅을 적용한 SmolLM3-3B-Base 기반의 통제된 M-OPD 벤치마크를 구축하여, 능력 통합을 라우팅 모호성으로부터 분리하였다. 우리의 조사는 두드러진 능력 통합 격차를 밝혀내는데, 표준 M-OPD는 도메인 라우팅 오라클 앙상블 대비 가용한 개선 여지의 35.6%만을 포착하며, 지시 따르기와 같은 간결한 작업은 심각한 성능 저하와 조기 수렴 정체를 겪는다. 핵심적으로, 이러한 실패는 그래디언트 충돌이 아닌 토큰 수준 최적화 예산의 심각한 잘못된 배분에서 비롯됨을 우리는 입증한다. 이러한 병폐는 세 가지 직교 요인에 의해 유발된다: 도메인 간 구조적 시퀀스 길이 불일치, 비균일 학습률로 인한 동적 수렴 드리프트, 그리고 비동기 정책 업데이트로 인한 다단계 보상 지연이다. 이러한 불균형을 해소하기 위해 우리는 토큰 비중 균형, 격차 인지 동적 예산 할당, 학생 보상 갱신을 통합하는 원리 기반 프레임워크인 Open-MOPD를 도입한다. 이 메커니즘들은 함께 작동하여 교차 도메인 균형을 체계적으로 회복하며, 단일 배포 가능한 학생 모델에서 개선 여지 회복율을 35.6%에서 83.4%로 끌어올린다. 우리는 학술적으로 접근 가능한 하드웨어 예산 내에서 종단 간 사후 훈련 레시피, 훈련 궤적, 평가 스위트를 완전히 오픈소스로 공개한다.

VLA(비전-언어-행동) 모델은 로봇 조작 작업에서 효과성을 입증해 왔으나, pi0.5와 같은 최첨단 모델은 단일 프레임 패러다임으로 작동하여 과거 관측 정보를 유지하고 정밀한 공간 지각을 발달시키는 데 한계가 있다. 본 논문에서는 단일 프레임 VLA에 추가 파라미터 없이 시간적 추론 능력을 부여하는 스트리밍 멀티모달 시간적 모델링 프레임워크인 StreamPI를 제안한다. 핵심 설계 중 하나는 명령 기반(instruction-anchored) 시간적 모델링이다. 이는 각 (시각 관측, 언어 명령) 쌍을 원자적 시간 단위로 취급한다. 쌍 내부의 양방향 어텐션은 교차 모달 융합을 가능하게 하고, 쌍 간의 인과적 어텐션은 자기회귀적 스트리밍 추론을 보존한다. 이를 통해 언어 명령이 작업 실행 전반에 걸쳐 지속적인 의미적 앵커로 기능하도록 보장한다. 동기식 훈련과 비동기식 실로봇 배포 간의 격차를 해소하기 위해 무작위 간격 스트리밍 훈련 전략을 도입한다. 적절한 프레임 간 간격(예: 3프레임마다)은 더 빠르고 부드러운 행동 실행을 가능하게 한다. 나아가 간격을 무작위화하면 프레임 타이밍 변동에 대한 견고성이 향상되어 실제 배포에서 비동기식 작동을 지원한다. 또한, LLM 백본의 길이 외삽 능력을 활용함으로써 StreamPI는 사전 훈련된 단일 프레임 가중치를 원활하게 계승하며 유연한 단일 프레임 및 다중 프레임 추론을 지원한다. 메모리 의존적 시나리오와 정밀 지각 시나리오를 포괄하는 실제 로봇 작업과 시뮬레이션 벤치마크 LIBERO에 대한 실험은 StreamPI가 다양한 작업에서 pi0.5를 능가함을 입증한다.

다중모달 대규모 언어 모델(MLLM)은 비디오 이해에서 뛰어난 성능을 보여 왔다. 그러나 이 도메인에서 지시를 따르는 능력은 아직 충분히 탐구되지 않았다. 실제 세계의 비디오 이해는 모델이 비디오 콘텐츠를 정확히 해석할 뿐만 아니라 사용자가 지정한 다양한 제약 조건을 충족할 것을 요구한다. 기존 벤치마크는 지시 준수보다는 작업 정확도에 초점을 맞추고 있어, 이러한 능력이 충분히 평가되지 못하고 있다. 이러한 간극을 해소하기 위해 우리는 비디오 이해에서 지시 따르기를 평가하기 위한 포괄적인 벤치마크인 Video-IFBench를 제안한다. 여기서 모델은 시각 및 오디오 콘텐츠에 기반한 제약 조건을 포함하여 사용자가 지정한 다양한 제약 조건을 충족해야 한다. 우리는 단일 작업, 다중 작업, 선택, 중첩 지시의 네 가지 템플릿으로 구성된 지시 분류 체계를 개발했으며, 이는 의미 및 형식 요구 사항을 아우르는 32가지 작업 유형과 39개의 수작업 설계 제약 범주를 포함한다. 주석 비용을 줄이기 위해 MLLM, 프로그램 기반 처리, 인간 검증을 결합한 반자동 데이터 구축 파이프라인을 구축하여 1.5K개의 샘플을 생성했다. 우리는 최근 20개 이상의 MLLM에 대한 대규모 평가를 수행했으며, 비디오 지시 따르기가 현재 모델에게 여전히 어려운 과제임을 확인했다. 특히 제약 조건이 많거나 의미론적 제약 조건을 포함하거나 비디오 콘텐츠에 따라 올바른 분기나 경로를 선택해야 하는 복잡한 조건 구조를 가진 지시에서 더욱 그렇다. 우리는 이 작업이 비디오 이해 시나리오에서 지시 따르기에 관한 향후 연구를 촉진하기를 기대한다.

세계 모델은 복잡한 환경이 행동과 사건에 따라 어떻게 진화하는지를 시뮬레이션하는 것을 목표로 한다. 그러나 기존의 비디오 기반 세계 모델은 주로 시각적 관측으로부터 역학을 학습하는데, 이는 세계 진화를 지배하는 근본적인 지식, 규칙, 메커니즘이 아닌 결과만을 드러낸다. 이로 인해 지속적인 결과를 유지하고 일관된 개방형 진화를 지원하기 어렵다. 본 논문에서는 언어 모델의 추론 및 코딩 능력과 비디오 모델의 생성적 사전 지식을 결합하여 세계 진화와 시각적 구현을 분리하는 프레임워크인 Code World Model을 제안한다. 코딩 에이전트는 세계 두뇌로서 사건과 그 결과를 추론하고 실행 가능한 코드를 생성하여 지속적인 세계 상태를 유지하고 규칙에 부합하는 진화를 수행한다. 실행 가능한 상태를 시각적 생성과 연결하기 위해 프레임별 시공간적 제약을 인코딩하는 프록시 표현을 도입하고, 이를 프록시 비디오로 컴파일하여 비디오 모델이 고충실도의 시각적 관측을 렌더링하도록 조건화한다. 또한 게임 플레이 및 실세계 비디오로부터 정렬된 프록시-관측 쌍을 구축하기 위한 데이터 파이프라인을 개발한다. 페어링된 게임 플레이 데이터로 파인튜닝한 결과, MiniMax-H3는 풍부한 시각적 세부 정보와 역학을 보존하면서 코딩 에이전트가 구축한 단순한 상호작용 세계로부터의 프록시 기반 시공간적 명세를 따르는 것을 확인하였다. 이러한 결과는 지속적인 세계 진화를 위한 코드와 유연한 시각적 구현을 위한 비디오 모델을 결합하는 잠재력을 입증하며, 개방형 세계 모델을 향한 새로운 경로를 제시한다.

비전-언어 모델은 시각적 증거에 충분히 근거하지 않은 유창한 답변을 생성할 수 있다. 하나의 근거 없는 객체, 차트 값, 혹은 중간 추론이 다른 면에서는 그럴듯한 응답을 훼손할 수 있다. 우리는 이것이 멀티모달 후속 학습에서의 신용 할당 실패라고 주장한다. 스칼라 결과 보상은 답변이 수용 가능한지 여부를 나타낼 뿐, 어떤 시각적 사실이 근거를 갖는지, 어떤 추론 단계가 유효한지, 어떤 지시 제약이 지켜지지 않았는지를 식별하지 못한다. 우리는 시각적 루브릭 기반 강화 학습(Visual Rubrics-Based Reinforcement Learning)을 도입한다. 이는 참조 응답을 원자적 명제로 분해하고 생성된 답변을 시각적 충실성(VF), 추론 일관성(RC), 지시 수행(IF) 측면에서 채점한다. 결과로 얻어진 루브릭 항목들은 구조화된 부분 점수를 제공하며, 지지 증거 스팬이 사용 가능할 때 루브릭 신용을 국소화한다. 우리는 먼저 공개된 OpenMMReasoner-SFT-874K 코퍼스에서 Qwen3-VL-8B-Instruct를 미세 조정하고 OpenMMReasoner의 콜드 스타트 데이터 레시피를 적용하여 SFT 체크포인트를 확보한다. 우리는 17개의 시각적 근거 소스에서 50,248개 예제로 구성된 학습 세트인 V-Rubrics 50K를 구축하되, 규칙 기반 필터를 먼저 적용하고 거부 샘플링 점수에서 예제 난이도를 도출한 다음, 동일한 구조화된 프롬프트와 프로토콜에 따라 모든 예제를 Gemini-3-Pro로 주석하였다. 우리는 동일한 SFT 체크포인트를 기반으로, 구성 요소별, 접두사 국소화된 루브릭 신용을 사용하여 모델을 학습한다. 실험 결과, 우리의 루브릭 기반 GRPO는 공유 SFT 기준선과 답변 전용 GRPO보다 성능이 향상되었으며, 지식 중심 및 시각적 근거 추론 벤치마크에서 가장 큰 개선을 보였다. 이 결과는 루브릭이 시각적 후속 학습을 위한 유용한 보상 추상화임을 보여준다.

현대 소프트웨어 시스템은 수십 년간의 개발 과정에서 기술 부채(technical debt)를 축적하며, 이로 인해 마이그레이션은 비용이 많이 들고 대부분 수작업으로 수행된다. 버그 수정에 점점 더 능숙해지는 코딩 에이전트가 이러한 마이그레이션을 자율적으로 수행할 수 있을까? 기존 벤치마크는 이 질문에 답할 수 없다. 벤치마크가 동작의 정확성만 평가할 뿐 마이그레이션이 실제로 발생했는지 여부는 평가하지 않기 때문이다. 이로 인해 에이전트가 테스트를 통과시키기 위해 원래 구현을 복사하는 쉬운 우회 방법이 가능하며, 우리는 이를 맹점(Blindness)이라고 부른다. 이 문제를 해결하기 위해 우리는 SWE Refactor Bench를 소개한다. 이는 4가지 유형의 기술 부채를 포괄하는 20개의 전체 저장소 마이그레이션으로 구성된 벤치마크이다. 3단계 평가 프로토콜은 마이그레이션 완전성과 동작 정확성을 모두 측정한다. (1) 마이그레이션 감사(Migration Audit)는 마이그레이션이 실제로 발생했는지 검증한다. (2) 동작 테스트(Behavioural Tests)는 고정된 테스트 스위트를 사용하여 정확성을 측정한다. (3) 에이전트 기반 검증(Agentic Verification)은 6개의 독립적인 코딩 에이전트를 활용하여 숨겨진 동작 차이를 찾기 위한 표적 테스트를 생성한다. 8개의 최첨단 모델과 26개의 모델-노력 구성에서 수행된 520회의 실행 중 단 28회(5.4%)만이 3단계를 모두 통과했으며, 20개 작업 중 13개는 허용 가능한 솔루션을 얻지 못했고, 최고 성능 모델(claude-opus-5)은 47.0/100점을 기록했다. 마이그레이션 완전성과 동작 정확성은 서로 다른 능력이다. 소수의 실행은 마이그레이션을 건너뜀으로써 동작을 보존하며 마이그레이션 감사 단계에서 중단되고, 대부분의 실행은 마이그레이션을 시도하지만 동작을 깨뜨려 동작 테스트 단계에서 중단된다. 에이전트는 완벽한 마이그레이션을 제공하지 못한다. 마이그레이션 감사를 통과한 340회의 실행 중 58%가 고정 검사의 99%에 도달하지만, 100%에 도달하는 실행은 26%에 불과하다. 에이전트의 능력은 마이그레이션 범주에 따라 상이하다. 에이전트는 빌드 툴체인 재작성에서 31.4점을 기록한 반면, 언어 재작성에서는 5.6점에 그쳤다. 이러한 결과는 SWE Refactor Bench를 신뢰할 수 있는 전체 저장소 마이그레이션을 위한 코딩 에이전트 개발의 엄밀한 테스트베드로 자리매김하게 한다.

GUI 에이전트는 Android 기기에 배포될 때 예상치 못한 팝업부터 잘못된 동작 실행에 이르기까지 동적 이상을 자주 마주치지만, 기존 벤치마크는 런타임 이상에 대한 에이전트 견고성을 체계적으로 평가하지 못한다. 우리는 에이전트 실행 궤적에 동적 교란을 주입하는 포괄적인 벤치마크인 AnTrap을 소개한다. 우리는 실제 세계의 이상을 네 계층(State, Thinking, Action, Round)과 열 개의 세분화된 하위 범주로 체계화하는 분류 체계를 제안하고, 현실적인 적대적 조건을 도입하면서도 작업 해결 가능성을 유지하는 구축 파이프라인을 개발한다. 16개의 주요 GUI 모델을 평가한 결과, 가장 강력한 모델조차 상당한 성능 저하를 겪을 만큼 동적 이상에 대한 보편적 취약성이 드러났다. 나아가 원본 환경과 적대적 환경 모두에서 GRPO 훈련을 수행하여 벤치마크를 검증하고, 환경에서 학습 가능한 이상과 추론 병목이 있는 이상을 구분한다. 우리의 연구 결과는 State 및 Action 계층의 단일 단계 함정은 적대적 강화 학습을 통해 대부분 해결할 수 있지만, 상태 교착(state deadlock)과 같은 심층 맥락적 함정은 함정이 있는 환경에서의 훈련만으로는 해결할 수 없는 본질적 한계를 드러낸다는 것을 보여준다.

대규모 비전-언어 모델은 UI-코드 생성에서 큰 진전을 보였지만, 테스트 시점 자기 진화는 여전히 불안정하다. 우리는 먼저 시각적 수리 결합(visual repair coupling)이라는 근본적인 장애물을 규명한다. 이는 지역적 코드 수정이 레이아웃, 스타일, 컴포넌트 의존성을 통해 전파되면서, 기존에 충실했던 영역을 저하시키면서도 하나의 시각적 불일치를 교정하는 현상이다. 이 문제를 해결하기 위해 우리는 RubSE(루브릭 기반 자기 진화 프레임워크)를 제안한다. RubSE는 루브릭을 사용하여 시각적 피드백을 구조화된 시각적 수리 맥락으로 표현한다. 각 개선 라운드에서 RubSE는 유형화된 후보 루브릭을 생성하고, 우선순위가 지정된 하나의 수리 대상을 선택하며, 이전에 선택된 루브릭을 이력으로 저장한다. 이를 통해 각 수정이 명확히 범위가 한정된 시각적 수리를 지향하도록 유도하면서, 반복적이거나 과도하게 광범위한 변경을 억제한다. 여섯 개의 VLM과 세 개의 UI-코드 벤치마크에 대한 평가는 RubSE가 최종 라운드 및 최적 라운드 설정 모두에서 단순 자기 진화를 크게 능가하며, 더 안정적인 개선 궤적과 더 높은 궤적 수준 성능 상한을 달성함을 보여준다. 추가 분석에 따르면 RubSE는 심각한 시각적 회귀로부터의 복구를 개선하여 궤적 붕괴를 완화하며, 더 강력한 루브릭 생성기가 약한 코드 개선기에게 효과적인 시각적 수리 지침을 전이할 수 있음을 확인한다.

코딩 에이전트는 수십 회의 모델 호출, 도구 사용, 코드 편집에 걸친 장기 실행 작업을 수행한다. 이러한 실행이 진행됨에 따라 사용자는 실용적인 비용-품질 트레이드오프에 직면한다. 즉, 저비용 모델이 어려움을 겪을 때 더 강력한 모델로 상향 전환(에스컬레이션)하거나, 고난도 추론이 완료된 후 하향 전환하는 것이다. 각 전환은 수신 모델이 다른 모델이 생성한 궤적을 이어받아 계속 수행해야 함을 의미한다. 본 연구는 이러한 핸드오프가 품질과 비용에 미치는 영향과, 수신 모델이 상속받는 궤적 정보의 변화가 결과를 어떻게 달라지게 하는지를 분석한다. Claude 및 GPT 계열의 저비용·저성능(LC) 모델과 고비용·고성능(HC) 모델 쌍을 사용하여 핸드오프 방향, 시점, 인터페이스를 다양화하고, 전체 궤적 전달, 압축, 그리고 저장소 상태를 유지한 채 궤적을 제거하는 방식을 비교한다. 두 모델 계열 모두에서 전체 궤적 상향 전환은 LC에서 HC로의 품질 격차의 절반 미만만 회복하면서 상당한 비용 프리미엄을 초래한다. 우리는 이러한 비용-품질 패널티를 핸드오프 세금(handoff tax)이라고 명명한다. 반면, 하향 전환은 비용-품질 측면에서 유리한 지점을 제공한다. 흥미롭게도 선호되는 인터페이스 역시 방향에 따라 반전된다. LC 모델의 궤적 정보를 줄이면 상향 전환 품질이 향상되는 반면, HC 모델의 궤적을 제거하면 하향 전환 품질이 저하된다.

플러그인 시스템에서 자기 진화형 에이전트 하네스에 이르기까지, 현대 소프트웨어는 점점 더 동적 구성을 요구하지만 그 형식적 기반은 여전히 미흡하다. 우리는 이 문제의 두 가지 직교 차원을 식별한다. 하나는 시간적 합성성(temporal composability), 즉 컴포넌트가 제거될 때 그 부수 효과(side effect)를 완전히 되돌릴 수 있는 능력이고, 다른 하나는 공간적 합성성(spatial composability), 즉 컴포넌트 간 의존성을 선언하고 반응적으로 관리할 수 있는 능력이다. 우리는 고전적인 효과(effect)와 공효과(coeffect) 개념을 런타임 메커니즘으로 승격시켜 이 두 차원을 다룬다. 특히, 우리는 되돌릴 수 있는 효과(revertible effects)를 형식화한다. 이 효과에서는 모든 컨텍스트 변환이 런타임이 보유한 역(inverse)을 수반하며, 이를 통해 한 컴포넌트에 국한된 시간적 합성성이 확립된다. 또한 우리는 반응적 공효과(reactive coeffects)를 형식화한다. 이 공효과에서는 모든 컨텍스트 변화가 컴포넌트의 공효과 명세에 따라 분류되어 그 컴포넌트의 활성화와 비활성화를 구동하며, 이를 통해 한 컴포넌트에 국한된 공간적 합성성이 확립된다. 그런 다음 우리는 효과 컨텍스트와 공효과 컨텍스트를 단일 컨텍스트 타입으로 통합하고 모든 효과와 공효과를 이 타입을 통해 매개한다. 그리하여 우리는 컨텍스트 패러다임이라 부르는 규율을 도출한다. 이 매개는 관찰적 동치를 유도하며, 그 동치 하에서 서로 다른 컴포넌트들의 효과는 서로를 방해하지 않고 교차 실행된다. 이러한 메커니즘들을 컴포넌트라는 개념으로 결합하여, 우리는 동적 구성의 계산법을 제시한다. 이 계산법의 메타이론은 시공간적 합성성을 단일 컴포넌트에서 교차 실행되는 컴포넌트들로 이루어진 전체 시스템으로 전달한다. 우리는 이러한 아이디어를 Cordis에 구현한다. Cordis는 시공간적 합성성을 위한 메타 프레임워크로서, 효과 추적과 공효과 해석(coeffect resolution)을 제공하는 핵심 라이브러리와, 구성 조정(configuration reconciliation) 및 핫 모듈 교체(hot module replacement)를 수행하는 선언적 컴포넌트 로더를 제공한다.

트랜스포머 언어 모델의 확장은 표현력과 메모리 효율성 사이에 본질적인 긴장 관계를 만들어 낸다. 층마다 고유한 가중치는 입력 처리에서 추상적 정교화에 이르는 기능적 전문화를 보존하지만, 상당한 메모리 공간을 요구한다. 반대로, 표준 심도 공유는 균일한 변환을 강제하여 표현 다양성을 붕괴시키고 모델링 품질을 저하시킨다. 본 논문에서는 고정 깊이의 도입부(prelude) 및 종결부(coda) 블록이 R회 반복되는 단일 공유 핵심부를 감싸는 순환 심도 트랜스포머인 Gated Recurrent Transformer를 제안한다. 게이티드 순환 신경망에서 영감을 얻어, 은닉 상태, 고정 도입부 출력, 그리고 각 단계마다 재샘플링되는 노이즈에 조건화된 경량 투영과 요소별 업데이트 게이트를 통해 순환 업데이트를 변조한다. 이를 통해 기능적 다양성을 확보하기 위해 많은 고유 층을 요구하는 대신, 모델이 반복 전반에 걸쳐 동일한 소수의 층에 입력을 특화할 수 있게 된다. isoFLOPS 제약 하에서 3층 Gated Recurrent Transformer는 유사한 학습 및 추론 FLOPs로 12층 GPT-2 Small 기준 모델과 동일한 정확도를 달성하며, 9개 규모×예산 셀 모두에서 MoR 및 헤비테일 심도 샘플링을 능가한다. 중간 및 대규모에서는 표준 토큰 예산에서 dense 모델의 품질에 근접하며, 예산이 두 배로 증가하면 중간 규모에서 dense 품질을 능가한다. isoPARAMS 제약 하에서는 더 깊은 순환이 동일한 파라미터 및 데이터 예산에서 비순환 대응 모델의 2.84 대비 2.76의 검증 손실을 달성한다. 이러한 결과는 적응형 심도 재사용이 파라미터를 품질로 교환하는 원칙적인 전략임을 입증한다. 대규모에서는 컴파일된 생성 지연 시간이 10% 증가하는 대신 파라미터를 63%, 최대 디코딩 메모리를 59% 절감한다.

다중 팔 협업은 구현 조작(embodied manipulation)에서 핵심 역량으로 부상하고 있다. 최근 비전-언어-행동(VLA) 모델은 지각, 언어, 제어를 통합하지만, 대부분의 모델은 언어를 단일 전역 명령으로 표현할 뿐 팔별 행동을 할당하고 조합하는 명시적 메커니즘을 제공하지 않는다. 이러한 설계는 학습 중 관찰된 패턴과 다른 협업 패턴으로의 전이를 제한한다. 본 논문에서는 원자적 행동 할당(atomic action assignment)을 통한 다중 팔 협업의 통합 프레임워크인 MA-VLA를 제시한다. MA-VLA는 협력적 행동을 중간 수준의 원자적 프롬프트로 분해하고 이를 개별 팔에 할당하여, 명시적 하위 목표 지정과 작업 간 구성적 재사용을 가능하게 한다. 고정된 실행 역할에 대한 의존성을 줄이기 위해, 각 팔의 관측, 상태, 할당된 원자적 프롬프트를 학습 시 순열 변환하는 Arm Shuffle을 도입한다. 이 순열 변환은 역할 무관 명령 수행을 강제하고, 관찰되지 않은 조정 패턴으로의 재구성을 지원하며, 이를 다중 팔 구성적 일반화(multi-arm compositional generalization)라고 명명한다. 또한 테스트 시 협업 패턴이 학습 세트에 존재하지 않는 벤치마크를 구축한다. 시뮬레이션 및 실세계 평가 전반에 걸쳐, 기존 최첨단 VLA 모델들은 이러한 미지의 협업 상황에서 대체로 실패하는 반면, MA-VLA는 일관되게 성공한다. 이러한 결과는 구조화된 팔별 원자적 행동 할당이 다중 팔 구현 시스템에서 확장 가능한 일반화를 위한 실용적 경로를 제공함을 시사한다. 코드, 모델, 데이터는 https://github.com/zhangzaibin/future-robots에서 확인할 수 있다.

스트리밍 자기회귀 확산 모델은 실시간 장기 비디오 생성을 가능하게 하지만, 그 학습 목표는 일관된 세계의 기하학과 역학보다는 로컬 프레임 예측을 최적화한다. 그 결과 긴 롤아웃은 기하학적 드리프트를 누적시키고 정적이거나 부자연스러운 움직임으로 퇴화된다. 최근 양방향 접근법들은 3D 가우시안 스플래팅 재구성에 기반한 보상 신호를 사용하여 이 문제를 해결하고자 한다. 그러나 단일 강체 3D 재구성은 동적 장면을 모델링할 수 없으므로, 이 비평자는 실제 객체 움직임을 재구성 오류로 페널티를 부과하며, 비디오를 정지시킴으로써 최대화된다. 이러한 지름길은 각 청크가 이미 정적인 구성을 전파할 수 있는 AR(자기회귀) 환경에서 특히 해롭다. 본 연구에서는 정적 비평자를 장면 역학을 명시적으로 모델링하는 피드포워드 4D 재구성 보상으로 대체하여, 일관된 움직임이 높은 일관성 보상을 받을 수 있게 하는 Stream4D를 제안한다. 또한 움직임의 크기와 품질을 추가로 안내하기 위해, 자연스러운 장면 흐름 크기에 보상을 부여하고 지터 및 비강체 아티팩트에는 페널티를 부과하는 움직임 사전을 추가한다. 최종 레시피는 이 두 항목을 경량 지각 앵커와 결합한다. 다양한 자기회귀 비디오 백본과 다양한 생성 지평에 걸쳐, Stream4D는 4D 재구성 품질을 개선하고, 움직임을 더 효과적으로 보존하며, 더 높은 인간 정렬 선호도를 달성한다. 프로젝트 페이지: https://banyuanhao.github.io/Stream4D/

기계학습(ML) 기반 0.1° 전지구 기상 예보 모델의 개발은 고해상도 데이터의 제한된 가용성으로 인해 제약을 받는다. 수십 년간의 재분석 자료가 0.25° 해상도로만 제공되기 때문이다. 기존 접근법은 제한된 0.1° 샘플에 대해 0.25° 예보 모델을 미세 조정하지만, 우리는 이러한 전이가 저해상도 예보에 내재된 비가역적 정보 손실로 인해 방해받는다는 것을 보여준다. 따라서 우리는 모델 전이에서 데이터 전이로 초점을 전환하는 프레임워크인 BaguanHR을 제안한다. 우리는 먼저 초해상도(SR)가 예보보다 더 낮은 조건부 엔트로피와 입력 증폭을 가지므로 해상도 전이를 위한 더 견고한 수단임을 보여준다. 우리는 이러한 이점을 변수별 SR을 통해 활용하여 ERA5로부터 방대한 0.1° 데이터를 합성한다. 합성-실측 데이터셋에서 BaguanHR의 성능은 ML 기반 방법과 IFS-HRES를 모두 능가하며, 72시간 이내의 예측 시한 중 85% 이상에서 우수한 성능을 달성한다. 또한, 우리의 연구 결과는 데이터가 두 배로 증가할 때 72시간 예보의 RMSE가 4.6%, 120시간 예보의 RMSE가 4.9% 감소한다는 멱법칙 스케일링 효과를 강조한다. 우리의 결과는 고해상도 ML 기반 예보의 확장이 주로 데이터 병목 현상에 기인함을 보여주며, 변수별 초해상도가 장기간의 저해상도 재분석 자료를 고해상도 훈련에 활용할 수 있게 하는 단순하면서도 일반적인 해법을 제공함을 입증한다.

테스트 시간 스케일링은 문제를 풀 때 언어 모델이 더 오래 추론하도록 하는 것처럼, 추가적인 테스트 시간 연산을 사용하여 성능을 향상시키는 기법이다. 모델이 전체 어텐션을 통해 추론 트레이스 전체를 메모리에 유지해야 하므로, 긴 사고를 필요로 하는 어려운 작업은 비용이 지나치게 커질 수 있다. 그러나 우리는 모델이 추론을 계속함에 따라 대부분의 중간 추론 토큰이 중요성을 잃는다는 것을 발견했다. 이는 그러한 토큰들을 유지하는 것이 비용 대비 가치가 있는지 의문을 제기한다. 이러한 통찰을 바탕으로, 우리는 추론 중에 프리픽스 또는 마지막 수천 개 토큰으로 구성된 윈도우에 속하지 않는 토큰을 폐기하는 Prefix Sliding을 제안한다. 프리픽스에는 모델이 활용할 수 있는 핵심 지침과 도구가 포함되고, 가장 최근 토큰들은 모델이 현재 수행 중인 추론을 나타낸다. 이 방식은 모델이 얼마나 오래 추론하든 전체 메모리 요구량을 일정 상한으로 제한하여, 효율적인 장기 테스트 시간 스케일링을 가능하게 한다. 학습 없이도 Prefix Sliding은 기존 모델의 속도를 3배 향상시키면서 성능을 유지할 수 있다. 강화 학습을 이용한 Prefix Sliding 훈련은 십만 개가 넘는 토큰에 이르는 추론 트레이스까지 스케일링을 가능하게 하여 더 나은 성능을 달성할 수 있다. 절제 실험 결과, Prefix Sliding은 중간 토큰을 요약하는 방식이나 기본 슬라이딩 윈도우보다 우수한 성능을 보였다. 우리의 코드는 https://github.com/Muennighoff/prefix-sliding 에 공개되어 있다.

대규모 언어 모델은 언어에 따라 지식에 일관되지 않게 접근하지만, 서로 다른 언어와 상호작용할 때 기술 세트에는 어느 정도 차이가 있을까? 본 연구는 지식 및 일반 벤치마크 성능과 직교하는 방식으로 교차 언어 기술 불일치를 정량화한다. 이를 위해 다국어 자가 대결을 활용한다. 즉, 동일 모델의 두 인스턴스가 각각 다른 언어 인터페이스를 통해 상호작용하는 텍스트 기반 게임에서 경쟁한다. 모델, 상대방, 규칙, 상태 공간, 사용 가능한 행동이 모두 고정되어 있으므로, 이 설정은 모델의 실제 행동에 대한 언어의 영향을 분리한다. 우리는 TextArena의 다국어 확장판을 구축하고 공간 추론, 불완전 정보, 자원 할당, 반복 상호작용을 포괄하는 8개 언어와 6개 게임에 걸쳐 세 개의 오픈 가중치 모델을 평가한다. 동일한 모델이 언어에 따라 현저히 다른 플레이 강도를 보일 수 있으며, 승패 차이, 무효 행동, 전략적 성향에서 체계적인 변이가 나타난다는 것을 발견했다. 상세 분석은 공간 추론, 카드 조건 기반 결정, 최적 수 선택에서의 언어별 실패를 드러낸다. 일부 설정에서는 중간 추론 언어만 변경해도 상실된 성능의 상당 부분이 회복되는데, 이는 언어가 의사 결정 과정의 서로 다른 단계에 영향을 미칠 수 있음을 시사한다. 이러한 결과는 기술 격차가 진정한 다국어 모델 개발에 있어 측정 가능한 주요 장애물임을 보여준다. 이러한 격차를 더 잘 이해하면 언어 간 더 공평하게 작동하는 모델을 설계하는 데 도움이 될 수 있다.

문서 검색은 금융, 의료, 법률 분야에서 고위험 정보 접근을 점점 더 많이 지원하고 있다. 현대 검색 파이프라인은 모달리티(텍스트 또는 멀티모달)와 검색 아키텍처(덴스 또는 후기 상호작용)에 따라 다양하다. 이러한 선택은 어쩔 수 없는 절충을 강요한다. 가장 효과적인 파이프라인은 대규모로 실행하기에는 너무 느리고 비용이 많이 드는 반면, 가장 빠른 파이프라인은 복잡한 문서에서 증거를 검색하지 못한다. 따라서 실무자는 누락된 증거와 사용할 수 없는 지연 시간 사이에서 선택해야 하며, 쿼리 수준에서 그러한 선택을 조정할 원칙적 근거가 없다. 우리는 이러한 절충이 불필요함을 보여준다. 모든 쿼리가 동일한 파이프라인을 요구하는 것은 아니다. 금융 및 과학 말뭉치를 아우르는 벤치마크 전반에서 어떤 정적 파이프라인도 지배하지 못한다. 우리는 쿼리 텍스트만으로 어떤 검색 파이프라인이 각 쿼리에 가장 적합한지 학습하는 경량의 쿼리 인식 라우터인 RetrievalRouter를 소개한다. 단일 조정 가능 매개변수가 전체 정확도-지연 시간 프런티어를 노출하며, 모든 정적 기준선에 대해 RetrievalRouter는 동시에 더 정확하고 더 빠른 운영 지점을 제공한다. 최상의 정적 기준선과 비교했을 때 RetrievalRouter는 정확도가 2.5% 더 높고 12.4배 더 빠르다. 또한 기존 적응형 전략 선택 방법과 비교할 때, RetrievalRouter는 정확도 중심 설정에서 nDCG@5가 유의미하게 더 높으며, 지연 시간 중심 설정에서는 nDCG@5와 지연 시간 모두에서 동등하거나 수치적으로 더 우수하다. 코드와 데이터는 https://github.com/emrekuruu/retrieval-router 에서 확인할 수 있다.

컴퓨터 사용 에이전트는 자연어 지시문을 스크린샷에 기반을 두어 인터페이스 요소를 찾지만, 기존 벤치마크는 모델이 관계형 언어를 올바른 요소에 결속시키는지 여부를 분리하여 측정하지 않는다. 우리는 그래픽 사용자 인터페이스에서의 일곱 가지 공간 관계(왼쪽/오른쪽, 위/아래, 포함, 정렬, 근접, 목록 순서, 가림)에 대한 대조적 지시문 쌍으로 구성된 994개 항목의 벤치마크인 GUI-Primitives를 소개한다. 각 쌍은 스크린샷과 앵커를 고정한 채 관계 표현만 바꾸므로, 올바른 대상은 두 지정된 후보 사이에서 달라진다. 다섯 명의 주석자가 196개 항목의 부분집합을 검증했다(형식 적절성 κ=0.94, 대상 선택 κ=0.79). 19개의 비전-언어 모델은 엄격한 점-상자 내부 정확도에서 최대 32%를 달성한다. 모델이 제약 없는 좌표를 출력하므로, 우리는 각 예측을 그것이 속한 후보 영역에 따라 분류한다. 예측은 항목의 60~92%에서 두 후보 영역을 모두 벗어난다. 후보 영역 내에 속하는 경우로 조건을 한정하면, 대상 선택 정확도는 수평 위치, 수직 위치, 근접, 목록 순서에 대해 0.82~0.90에 이르지만, 포함과 가림에 대해서는 0.50과 유의미하게 다르지 않다. 즉, 대부분의 실패는 관계 이해보다는 후보 위치 파악의 문제를 반영한다. 10개 모델에서 벤치마크 정확도는 ScreenSpot-Pro 정확도와 상관관계를 보인다(스피어만 ρ= +0.74). 이는 이 표본 크기에서 탐색적 연관성이다. 두 지정된 후보를 표시하면 선택 정확도가 35~57퍼센트 포인트 상승한다. 이는 후보 집합을 제공하는 오라클 진단으로, 배포 가능한 방법은 아니다. 우리는 벤치마크, 예측 결과, 코드를 공개한다.

신뢰할 수 있는 보상 모델은 텍스트-투-비디오 평가와 정렬에 필수적이다. 그러나 평가 정확성과 추론 효율성 사이의 상충 관계는 훈련 감독의 품질에 높은 요구를 부과한다. 기존 접근법은 고정된 루브릭이나 개방형 추론을 사용하는 종합적 평가자에 의존하는 경우가 많아, 불완전한 검사, 신뢰할 수 없는 근거, 혼재된 귀인으로 이어진다. 우리는 점검-후-점수 원칙에 기반한 통합 체크리스트 기반 데이터 구축 프레임워크인 FIRM-Video를 제안한다: 차원별 체크리스트를 구성하고, 각 기준을 시간적 시각 증거와 대조하여 검증하며, 검증된 결정만 통합한다. 지시 따르기(Instruction Following)의 경우 FIRM-Video는 프롬프트를 가중치가 있는 원자적 요구사항으로 분해한다. 세계 일관성(World Coherence)의 경우 가시적 개체와 동작에 근거한, 프롬프트로 보정된 대상 특정 점검을 구성한다. 지각 품질(Perceptual Quality)의 경우 시각적 결함에 대한 일반적인 분류 체계를 적용한다. 검증된 기준과 점수는 또한 종단 간 보상 모델링을 위해 자연어 분석으로 변환된다. 이후 우리는 29,348개의 비디오에서 88,044개의 차원별 인스턴스를 갖춘 FIRM-Video-90K를 구축하고, 250개 비디오에 걸친 750개의 점별 인간 주석을 포함하는 FIRM-Video-Bench를 소개한다. Qwen3-VL 기반 FIRM-Video-8B는 FIRM-Video-Bench에서 전반적으로 최고의 MAE를 달성하며, 세 가지 비디오 생성기에서 Best-of-8 샘플링 시 VBench 총점, 품질 및 의미 점수에서 일관되게 가장 높은 점수를 제공한다.

기존의 동반 음성 제스처 생성 방법들은 주로 오프라인 환경에서 연구되어 왔으며, 이 경우 완전한 음성 구간으로부터 제스처가 합성된다. 그러나 실제 시나리오에서의 대화형 디지털 휴먼은 엄격한 지연 시간 제약 하에서 현재 이용 가능한 응답 오디오만을 사용하여 음성과 동기화된 제스처를 온라인으로 생성해야 한다. 그 결과, 기존 방법들은 미래 음성 정보에 의존하거나 상당한 추론 지연을 초래하기 때문에 실시간 상호작용에 적합하지 않다. 본 논문에서는 대화형 디지털 휴먼을 위한 온라인 동반 음성 제스처 생성을 정식화하고, 스트리밍 음성 응답 모듈과 온라인 제스처 생성 모듈을 결합한 실시간 대화형 프레임워크를 제안한다. 구체적으로, 제스처 생성기는 인과적 다중 모달 자기회귀 모델로 설계되어 스트리밍 응답 음성과 모션 이력으로부터 신체 모션을 예측함으로써, 미래 음성에 대한 접근 없이 저지연 및 음성 정렬 제스처 합성을 가능하게 한다. 이러한 설정을 지원하기 위해, 우리는 가상 동반자 시나리오에 맞춰진 오프라인 데이터 합성 파이프라인을 추가로 제안하는데, 이는 주제 및 감정 인식 대상 말뭉치를 활용하여 다양한 인간-에이전트 대화를 구축한 후 에이전트 응답에 조건화된 동반 음성 제스처를 생성한다. 더 나아가, 오프라인 데이터 구축과 온라인 배포 간의 격차를 해소하기 위해, 온라인 상호작용 중 수집된 사용자 피드백을 데이터 생성 과정에 통합하는 자기 진화 훈련 루프를 구축하여 사용자 선호도에 대한 지속적인 적응을 가능하게 한다. 광범위한 실험을 통해 우리의 프레임워크가 경쟁력 있는 기존 기준선들보다 우수한 지연-품질 트레이드오프, 더 강력한 음성-모션 동기화, 그리고 더 높은 사용자 선호도를 달성함을 입증한다. 프로젝트 페이지: https://super-star-2026.github.io/

우리는 LibriBrain100을 소개한다. 이는 처음부터 재현 가능하고 표준화된 평가를 위해 설계된 음성 디코딩용 대규모 MEG 데이터셋이다. LibriBrain100은 기존 LibriBrain 릴리스보다 두 배 이상 큰 규모로, 피험자들이 자연스러운 연속 음성을 듣는 동안 수집된 100시간 이상의 고품질 MEG 데이터를 포함한다. 단일 피험자로부터 약 80시간을 확보함으로써, LibriBrain100은 심층적인 피험자 내 신경 데이터의 새로운 기록을 세웠다(다음으로 유사한 데이터셋보다 8배, 다른 데이터셋보다 약 80배 더 많음). 이러한 심층 우선 설계의 효과를 입증하기 위해, 우리는 단어 분류 벤치마크에서 평가를 수행한다. 이는 비침습적 뇌-텍스트 디코딩이라는 공개 과제로 가는 점점 더 확립된 디딤돌이다. 기존 디코딩 모델을 사용하여 우리는 최첨단 성능을 달성했으며, 이는 녹음 품질과 대규모 피험자 내 데이터의 가치를 모두 검증한다. 사용자당 80시간의 데이터 수집이 실제 응용에서 비현실적이기 때문에, 우리는 또한 32명의 각 피험자로부터 약 40분의 추가 데이터를 수집했다. 동일한 단어 분류 벤치마크를 사용하여, 우리는 광범위한 다중 피험자 데이터의 가치를 입증한다: 사전 훈련된 모델의 지도 파인튜닝은 제한된 피험자별 데이터를 상당 부분 보완할 수 있다. 우리는 표준 훈련, 검증, 테스트 분할을 제공하며, 모든 것은 쉬운 다운로드, 선택적 전처리, 일반적인 딥러닝 프레임워크용 데이터 로딩을 지원하는 오픈소스 파이썬 라이브러리를 통해 재현 가능하다. 또한 데이터셋과 평가 인프라는 공개 머신러닝 대회와 함께 공개되어 표준화된 벤치마킹을 위한 공개 리더보드를 제공한다. 궁극적으로, 우리의 바람은 LibriBrain100이 심각한 마비로 고통받는 사람들의 의사소통을 회복할 수 있는 실용적인 비침습적 뇌-컴퓨터 인터페이스 쪽으로의 진전을 가속화하는 것이다.

신뢰할 수 있는 공간 이해는 영상의학 보고서 생성과 구조화된 영상 이해를 지원하는 미래 의료 비전-언어 시스템의 중요한 전제 조건이다. 최신 비전-언어 모델(VLM)은 많은 의료 영상 작업에서 유망한 성능을 보여주지만, 최근 증거에 따르면 이들은 통제된 공간 추론에 여전히 취약하며 이미지 증거에 공간 관계를 안정적으로 근거화하지 못한다. 영상의학적 추론이 해부학적 구조와 소견의 상대적 위치를 이해하는 데 달려 있다는 점을 고려할 때, 이러한 공간적 취약성은 진단 정확도에 위험을 초래한다. 우리는 축상 CT 슬라이스에서 이진 공간 관계 검증을 위한 모듈식 의료 영상 에이전트를 제시한다. 이 시스템은 공간 답변을 종단 간(end-to-end)으로 직접 예측하는 대신, 언어 파싱, 해부학적 위치 파악, 결정론적 기하 검증의 명시적 단계로 작업을 분해한다. 자연어 질의는 구조화된 관계 튜플로 변환되고, 질의된 장기는 YOLO 기반 탐지기로 위치를 파악하며, 최종 공간 판단은 결정론적 기하 규칙을 사용하여 객체 중심점으로부터 계산된다. 우리는 보류된 MIRP 공간 QA 벤치마크에서 이 접근법을 평가하고 대표적인 종단 간 VLM 기준 모델과 비교한다. 최고 성능의 하이브리드 구성은 정확도 94.1%, F1 점수 94.2%를 달성하여 직접적인 Qwen2-VL 프롬프팅보다 정확도에서 42.5퍼센트 포인트를 능가하며, 해석 가능한 중간 표현과 감사 가능한 추론 단계를 유지한다. 이러한 결과는 명시적 모듈식 공간 검증이 향후 보고서 지향 의료 영상 에이전트를 위한 유망한 구성 요소가 될 수 있음을 시사한다.

턴테이킹(Turn-taking)은 인간 대화의 기본적인 조직적 특성으로, 자연스러운 동기식 대화 시스템에서 여전히 모델링하기 어려운 과제로 남아 있다. 기존 연구에서는 턴 종료 예측을 위한 멀티모달 접근법과 대규모 언어 모델을 탐구해 왔으나, 터키어의 턴테이킹 역학을 구체적으로 다루는 자연주의적 대화 코퍼스는 부족한 실정이다. 본 연구는 대본 없는 이인(二人) 상호작용으로 구성된 터키어 멀티모달 대화 데이터셋을 소개한다. 이 데이터셋은 동기화된 전면 촬영 비디오, 중첩 발화를 개별 화자에게 귀속시킬 수 있는 화자별 오디오 채널, 그리고 시간 정렬된 전사(轉寫) 텍스트를 포함한다. 턴테이킹 예측은 이진 분류 문제로 정식화되며, 유전 알고리즘(GA)을 사용하여 시각적, 음향적, 언어적 특징에서 도출된 해석 가능한 결정 규칙을 최적화한다. 제안된 프레임워크는 턴 전환에 선행하는 대안적 단서 조합을 표현하기 위해 하이브리드 AND-OR 규칙 표현을 채택한다.