일간 논문

음성 및 오디오 생성은 애니메이션 더빙, 오디오 드라마, 영화, 광고, 게임, 팟캐스트, 숏폼 비디오 제작 등에서 자주 필요하다. 이러한 시나리오에서 창작자는 참조 녹음 없이 목소리를 설계하고, 자연어로 화자 스타일을 제어하며, 환경과 오디오 효과를 통해 음향 장면을 지원하고, 이후 설계된 목소리를 재사용해야 할 수 있다. 따라서 인스트럭트 및 제로샷 태스크 모두를 위한 다중 화자 음성 및 오디오 생성을 지원하는 것이 중요하다. 인스트럭트 태스크는 환경, 화자 스타일, 세밀한 콘텐츠에 대한 캡션을 필요로 하는 반면, 제로샷 태스크는 동일한 세밀한 콘텐츠와 함께 참조 오디오를 사용한다. 우리는 데이터와 모델 양측에서 이러한 태스크를 해결한다. 먼저, 원시 음성 및 오디오 데이터를 정제하고, 목표 지향적 합성 보강을 추가하며, 다양하고 정확한 다중 수준 캡션을 주석으로 제공하는 SwanData-Caption을 제안한다. 다음으로, 제로샷과 인스트럭트 태스크를 모두 지원하는 다중 화자 표현적 음성 및 오디오 생성 모델인 SwanTale을 제안한다. 고품질의 다중 오디오 모달리티 생성을 지원하기 위해 SwanVAE를 도입한다. 또한, 다중 태스크 및 다중 오디오 모달리티 모델링을 위한 통합 MoE와 함께 보상 조건부 품질 제어 및 Engram 조건화를 채택한다. 추가로, 커리큘럼 러닝과 GRPO 사후 훈련을 사용하여 모델이 점진적으로 학습하고 능력을 강화하도록 한다. 실험 결과는 SwanTale이 여러 주요 제로샷 및 인스트럭트 지표에서 선두를 차지하고, 두 태스크 모두에서 최고의 표현력 점수를 달성하며, 다중 화자 음성 및 오디오를 포함하는 복잡한 인스트럭트 생성을 지원함을 보여준다. 데모는 https://swanaigc.github.io/#swantale에서 확인할 수 있다.

대규모 언어 모델(LLM) 에이전트는 점차 지속적인 추론, 도구 사용, 그리고 많은 상호 의존적 단계에 걸친 수정을 요구하는 장기 지평(long-horizon) 작업을 수행하게 되었다. 그러나 기존 에이전트 하네스는 작업 실행, 작업 상태, 완료 평가를 증가하는 컨텍스트 내에서 유지하므로 상태 추적이 어렵고, 잘못된 자기 평가가 이후의 결정에 전파될 수 있다. 우리는 장기 지평 실행을 작업 상태 관리 문제로 재구성하고, 작업 상태를 실행 외부에 명시적으로 유지하며 환경에서 독립적으로 검증된 사실만을 사용해 상태를 갱신하는 LongHorizon-Harness를 제안한다. 이 하네스의 관리-실행-감사(MEA) 루프는 작업 상태를 유지하고 다음 하위 작업을 결정하는 관리자(manager), 이를 수행하는 새 컨텍스트 실행기(fresh-context executor), 그리고 다음 라운드 전에 결과 환경 상태를 검증하는 읽기 전용 감사자(read-only auditor)를 사용한다. 경량 AgentAdapter는 기본 에이전트 루프를 수정하지 않고도 모델과 하네스 백엔드를 상호 교환할 수 있게 지원한다. LongHorizon-Harness는 WeaveBench에서 Qwen~3.7-Plus를 51.8%에서 80.7%로, Terminal-Bench~2.1에서 69.7%에서 77.2%로, OSWorld~2.0에서 2.8%에서 8.3%로 향상시킨다. 또한 OSWorld~2.0 부분집합에서 Claude Opus~4.7을 20.0%에서 34.3%로 끌어올려 모델, 하네스, 상호작용 도메인에 걸쳐 일관된 성능 향상을 입증한다.

온-폴리시(자기) 증류(OPSD)는 언어 모델 사후 학습에 점점 더 많이 채택되고 있다. 이는 교사 모델을 특권 정보로 강화하지만, 특권 착각을 유발할 수 있다. 즉, 학생 모델이 추론 시점의 맥락에서 재현할 수 없는 특권 의존적 행동을 학습하면서도, 훈련 시점의 특권 정보가 여전히 이용 가능한 것처럼 행동하여 궁극적으로 성능을 저하시킨다. 본 논문에서는 OPSD의 이러한 실패의 근본 원인으로 추론 시점에서 특권을 가진 교사와 학생 사이의 정보 비대칭을 규명한다. 이 비대칭을 해결하기 위해, 우리는 두 수준의 앵커링을 갖춘 통합 프레임워크인 이중 앵커 정책 증류(DAPD)를 제안한다. 이중 경로 앵커링(DPA)은 자기 조건화 브리지를 도입하고, 정보가 일치된 두 경로를 따라 참조 및 롤아웃 행동을 정렬하여 특권 의존적 행동이 추론 시점의 학생에게 전이되는 것을 방지한다. 이중 소스 앵커링(DSA)은 이러한 경로를 참조-롤아웃 및 롤아웃-참조 양방향으로 적용하여, 정확성 지도를 유지하면서 특권 참조 안내에 대한 의존도를 줄인다. 광범위한 실험을 통해 DAPD가 특권 착각을 크게 완화하며, Qwen3-4B에서 작업 평균 +2.00포인트로 OPSD를 능가함을 보여준다. 특히, 이러한 개선 효과는 모델 규모에 걸쳐 지속되어 4B에서 +2.69, 32B에서 +2.78에 달한다.

기존의 스킬 생성 방법들은 대부분 서로 다른 증거 소스마다 특별히 설계되어야 하는 휴리스틱 또는 파이프라인 방식 통합에 의존한다. 반면, 학습 기반 접근법은 이기종 소스에 걸쳐 스킬 생성을 모델링하는 더 통일된 방식을 제공한다. 그러나 학습 기반 스킬 생성은 여전히 어려운 과제이다. 스킬은 관련성이나 정확성에 기반한 자연스러운 지도 신호가 부재하며, 그 가치는 대체로 다운스트림 태스크에서 에이전트의 행동을 개선하는지 여부로만 판단될 수 있기 때문이다. 이러한 문제를 해결하기 위해, 우리는 고품질 에이전트 스킬을 점진적으로 생성하는 강화 학습 방법인 Skill-α를 제안한다. 구체적으로, 우리는 스킬 생성을 개별적으로 평가 가능한 편집들로 분해하는 순차적 편집 과정으로 정식화하고, 고정 쿼리에서 원본 스킬과 편집된 스킬을 사용한 다운스트림 실행을 비교하여 각 편집을 평가하는 새로운 롤백 보상을 도입한다. 광범위한 실험을 통해 Skill-α가 문서-스킬 및 경험-스킬 설정 모두에서 휴리스틱이나 파이프라인 기반 방법보다 더 효과적인 스킬을 생성함을 보여준다. 주요 GPT-4o 워커 환경에서 Skill-α는 가장 강력한 스킬 생성 베이스라인 대비 평균 다운스트림 성공률을 CL-Bench에서 3.3포인트, tau2-bench에서 6.7포인트 향상시킨다. 추가 절제 실험은 롤백 보상과 점진적 생성의 중요성을 검증한다.

멀티모달 온-폴리시 증류(OPD)는 특권 시점 교사(privileged-view teacher)로 학생 생성 궤적을 지도하여 세밀한 시각 지식을 전이한다. 그러나 그 다음 토큰 교정은 소스 혼합(source-mixed) 방식으로, 시각 신호에 언어적 사전 지식과 교사 특유의 효과가 결합되어 있다. 핵심 과제는 어디서 또는 얼마나 강하게 증류할지가 아니라, 어떤 교정이 시각적 증거에 의해 뒷받침되는지를 추정하는 것이다. 우리는 교정의 시각적 귀인이 가능한 부분을 추정하는 반사실적 대상 재구성 알고리즘인 시각적 속성 증류(VAD)를 도입한다. 각 학생 생성 접두사에서 VAD는 관련 증거를 포함한 상태와 제거한 상태에서 동일한 고정 교사를 평가한다. 중심화된 로그 확률의 해당 변화는 ut를 정의하며, 이는 증거가 후보 토큰을 지지하거나 반박하는 정도를 추정하는 시각적 증거 방향의 부호화된 프록시 역할을 한다. VAD는 원래 교정을 이 프록시에 투영하여 개입 정렬 성분과 프록시로 설명되지 않는 잔차를 얻은 후, 전자에서 학생 중심 대상을 재구성한다. 훈련 중 이 재구성된 대상이 주요 지도 신호를 제공하고, 특권 교사는 약한 정규화기로 기여한다. 4B 및 9B 규모의 여섯 가지 세밀한 시각 벤치마크에서 VAD는 직접 특권 시점 증류 및 시각적 이점 가중치보다 우수한 성능을 보인다. 토큰 수준 및 통제 대상 분석은 프록시 정렬 성분이 과제 관련 시각 교정에 풍부하며, 특히 증거가 오답을 반박할 때 더 강한 대상 이동을 생성함을 보여준다. 이러한 결과는 반사실적 대상 재구성이 소스 혼합 지도의 효과적인 대안임을 뒷받침한다.

희소 검색은 웹 검색에서 검색 증강 생성에 이르기까지 현대 검색 시스템의 기반을 이룬다. 기존 연구는 정확한 어휘 매칭을 넘어 더 풍부한 의미를 포착하기 위해 학습된 희소 검색(LSR)을 도입했다. 그러나 LSR은 여전히 인코더 기반 양방향 아키텍처에 묶여 있으며, 멀티모달 설정으로의 확장은 여전히 보조 교차 모달 모듈에 크게 의존한다. 이러한 한계를 해결하기 위해 우리는 UEmbed(Unified Embedding)를 제안한다. UEmbed는 단일 인과적 순방향 패스에서 희소 어휘 표현과 밀집 표현을 모두 생성하는 디코더 전용 멀티모달 임베딩 모델이다. UEmbed는 입력에 N개의 학습 가능한 특수 토큰을 추가하고 어휘를 N개의 분리된 부분 집합으로 분할한다. 각 토큰의 인과적 은닉 상태는 할당된 부분 집합에 대한 희소 가중치를 예측하며, N개의 부분 집합은 연결되어 전체 희소 벡터를 구성한다. 공개 데이터로 학습된 UEmbed는 2B, 4B, 9B 규모로 공개된다. UEmbed-9B는 MMEB-v2에서 밀집 71.8, 희소 71.0을 달성하여 공개 데이터로 학습된 멀티모달 임베딩 모델(예: RzenEmbed)을 능가한다. BEIR에서도 UEmbed는 강력한 밀집 및 희소 기준선과 경쟁력 있는 성능을 유지한다. 또한 우리는 세 가지 측면, 즉 효과성, 효율성, 에이전트 애플리케이션에서 UEmbed의 실용적 유용성을 입증한다. 전반적으로 UEmbed는 새로운 패러다임을 제시한다. 단일 모델에서 밀집 및 희소 임베딩을 통합할 뿐만 아니라 희소 검색을 텍스트와 멀티모달 입력 모두로 확장한다.

컴퓨터 이용 설계(CAD)는 현대 공학의 기반이 되지만, 기존 형상을 편집 가능한 모델로 변환하는 작업은 여전히 상당한 전문가의 노력을 요구합니다. 대부분의 AI 시스템은 전체 CAD 프로그램을 한 번에 생성하며, 중간 지오메트리를 검사하지 않습니다. 반면에 인간 엔지니어는 부품을 피처 단위로 하나씩 구축하고, 각 작업 후에 무엇을 더 모델링해야 하는지 확인합니다. 우리는 "사슬"을 뜻하는 스페인어 이름인 CADENA를 소개합니다. 이 모델은 3D 메시를 매개변수 기반 CAD 프로그램으로 재구성하며, 작업 순서를 한 번에 하나씩 늘려가면서 각 단계에서 대상과 현재 예측된 지오메트리를 비교합니다. 또한 기계 부품에 대한 역설계 방법을 평가하는 벤치마크의 부재를 해결하기 위해, 기계 부품 범주에 걸쳐 성능을 측정하는 벤치마크인 CADENA-Bench를 제시합니다. CADENA는 CADENA-Bench와 DeepCAD, Fusion 360, MCB 데이터셋에서 기존 방법들보다 우수한 성능을 보입니다. 코드는 https://github.com/zhemdi/cadena, 모델 가중치는 https://huggingface.co/kulibinai/cadena, CADENA-Bench는 https://huggingface.co/datasets/kulibinai/cadena-bench에서 확인할 수 있습니다.

제어 가능한 비디오 생성 모델은 점점 더 세계 모델로서 개발되고 있다. 이에 따라 이러한 역할에서의 평가는 생성된 비디오의 표면적 외관을 넘어, 묘사된 세계의 내재적 반응성, 즉 장면 상태로부터 세계가 어떻게 반응해야 하는지를 추론하고 입력에 명시적으로 기술되지 않은 그럴듯한 결과를 생성하는 능력으로 확장된다. 그러나 기존 벤치마크는 주로 요청된 행동과 상호작용 결과가 실제로 구현되는지 확인하여 시각적 품질이나 명시적 지시 충족 여부를 평가할 뿐, 내재적 반응성은 충분히 검토하지 않는다. 우리는 시각적 품질, 제어 준수, 공간 일관성, 세계 반응성의 네 가지 수준에 걸친 계층적 진단 벤치마크인 WorldExam을 제안한다. 이는 총 8개의 전용 과제에 걸쳐 1,474개의 사례로 구성되며, 카메라 기반, 행동 기반, 언어 기반 모델 패러다임의 통합 평가를 지원한다. 세계 반응성 수준은 입력에 명시적으로 지정된 것 이상의 장면 조건 반응과 목표 지향 행동을 평가한다. 20개의 대표 모델에 대한 평가는 명확한 성능 분화를 드러낸다. 카메라 기반 모델은 카메라 제어에 뛰어나지만 동적 상호작용을 지원하는 인터페이스가 없으며, 행동 기반 모델은 피사체를 더 정밀하게 제어하지만 세계를 비반응적으로 남겨두는 경우가 많고, 언어 기반 모델은 상호작용에서 더 나은 성능을 보이지만 복잡한 제어를 덜 충실히 따른다. 광범위한 과제 커버리지와 일관된 강력한 성능을 겸비한 모델은 없으며, 이는 높은 시각적 품질과 명시적 지시 충족이 내재적 반응성을 보장하지 않음을 보여준다.

최근 자율주행(AD)을 위한 비전-언어-행동(VLA) 모델들은 비전-언어 모델(VLM) 구성 요소의 추론 능력을 향상시키기 위해 사고 사슬(CoT) 감독을 점점 더 활용하고 있다. 그러나 기존의 주석 파이프라인은 일반적으로 교사 모델을 기록된 정답(GT) 미래 궤적에 노출시킨다. 우리는 이것이 궤적 앵커링 편향을 유발함을 실증적으로 보여준다: 교사 모델은 장면 증거로부터 결정을 추론하기보다 드러난 결과를 합리화하여, 인과적으로 덜 충실한 CoT를 생성하고 특히 인과적 추론이 까다로운 장면에서 훨씬 더 심각한 환각을 일으킨다. GT 궤적을 제거하면 이러한 지름길이 사라지지만, 개방형 궤적 생성은 고수준 의사결정을 정밀한 기하학적 합성 및 저수준 역학과 얽히게 만든다. 개방형 궤적 합성 없이 궤적 수준의 주행 결정을 검증 가능하게 만들기 위해, 우리는 명시적 궤적 후보들 중에서의 선택으로 계획을 정식화하는 자율주행 객관식 질문(AD-MCQ)을 도입한다. 여기서 한 걸음 더 나아가, 우리는 미래 궤적을 결정 전 앵커에서 결정 후 검증 대상으로 전환하는 DEFT-RLVR(Deferred Exposure of Future Trajectories for RLVR)을 제안한다. 실험 결과는 DEFT-RLVR이 일반적인 시각 능력을 유지하거나 오히려 향상시키면서 AD 추론을 개선함을 보여준다. VLM 단독 추론과 후보 구성을 통한 제어 가능한 난이도를 갖춘 AD-MCQ는 검증 가능한 AD 추론에 관한 향후 연구를 위한 유연하고, 확장 가능하며, 기능 확장이 용이한 기반을 제공한다.

에이전트 스킬은 언어 모델 에이전트에 재사용 가능한 절차적 지식을 부여하는 중요한 메커니즘으로 자리 잡았다. 그러나 스킬을 제공하는 것만으로는 현재 모델이 스킬을 효과적으로 식별하고 적용하며 조정할 수 있다고 보장되지 않는다. 본 연구는 스킬 사용 능력을 향상시키기 위해, 대규모 에이전트 스킬 컬렉션으로부터 스킬 기반 작업과 실행 가능한 궤적을 구축하는 검증된 데이터 합성 파이프라인인 SKT를 도입한다. SKT는 적합한 단일 스킬 및 다중 스킬 구성을 선택하고, 규칙 기반 및 에이전트 기반 검증과 피드백 기반 수정을 통해 작업을 합성하며, 필요한 모든 스킬을 실질적으로 사용한 성공적인 궤적만을 유지한다. SKT는 2,000개의 공개 스킬을 활용하여 4,000개의 작업 패키지와 27,164개의 검증된 궤적을 생성한다. 동일한 파이프라인과 분리된 테스트 풀을 기반으로, 우리는 스킬 사용을 평가하기 위한 별도의 실행 가능한 벤치마크인 SkillEval도 구축한다. 다양한 모델, 벤치마크, 에이전트 하니스에 걸친 실험 결과, SKT 생성 궤적에 대한 지도 미세 조정이 스킬 사용 성능을 일관되게 향상시키는 것으로 나타났다. 검증 제거 실험, 교차 하니스 평가, 확장 실험은 이러한 성과가 고품질 감독에 의존하며, 단일 에이전트 인터페이스를 넘어 확장되고, 더 넓은 스킬 커버리지에 따라 증가함을 추가로 입증한다. 종합하면, 이러한 결과는 검증된 데이터 합성이 스킬 사용 훈련을 위한 효과적이고 확장 가능한 접근 방식임을 보여준다.

강화학습(RL) 기반 비전-언어-행동(VLA) 모델 사후 학습은 로봇 조작 분야에서 큰 가능성을 입증해 왔다. RL 방법 중 크리틱 기반 접근법은 주로 단일 프레임 관측 또는 단일 프레임 VLM 백본 잠재 표현에 의존하여 동작하는 가치 추정기에 기반하는데, 이는 로봇 제어의 부분 관측 가능성 특성과 근본적으로 불일치한다. 관측 이력을 크리틱에 통합하는 단순한 접근 방식은 고차원 시각 공간에서 지수적 복잡도를 초래할 뿐만 아니라, 순수한 스칼라 반환 회귀만으로는 시간적 교차 역학을 학습하기에 불충분한 지도 신호를 제공하므로 여전히 실패한다. 우리는 이 문제의 근본 원인이 상태 근사 문제에 있음을 규명한다. 즉, 명시적인 세계 모델링 목적 없이는 크리틱의 표현이 정확한 가치 추정에 필요한 시간적 구조를 포착할 수 없다. 이를 해결하기 위해 우리는 경량 LeJEPA 아키텍처 기반의 세계 크리틱 모델(WCM)을 제안한다. WCM은 미래 잠재 상태를 예측하고 가치를 추정하는 것을 동시에 수행함으로써, 크리틱의 표현이 단순히 스칼라 반환을 회귀하는 것이 아니라 시간적 동역학을 포착하도록 명시적으로 학습된다. WCM은 온폴리시 및 오프폴리시 학습 파이프라인 모두에 원활하게 통합되며, Pi0, Pi0.5, OpenVLA-OFT를 포함한 최신 VLA 백본과 호환된다. 네 개의 벤치마크에서 149개 작업에 걸친 광범위한 실험을 통해 WCM이 분포 내 및 분포 외 설정 모두에서 일관되게 최신 성능을 달성하며, 특히 강력한 일반화 향상을 보여줌을 입증한다. 또한 OpenVLA-OFT 및 Pi0.5를 오프폴리시 RL과 함께 사용하여 7개의 실제 세계 조작 작업에서 WCM을 추가 검증하고, 다양한 환경에서의 안정적 배포를 확인한다.

실제 소프트웨어 개발 환경에서 코딩 에이전트는 사용자가 진행 중인 작업 중 코드를 검토하고 수정할 수 있는 공유 작업 공간에서 작동해야 한다. 그러나 기존의 저장소 수준 벤치마크는 대개 에이전트가 단독으로 작업하는 환경이나 사용자 참여를 메시지로 제한한 환경에서 평가를 수행한다. 이로부터 다음과 같은 질문이 제기된다: 코딩 에이전트는 공유 작업 공간에서의 코드 변경을 어떻게 이해하고 대응하는가? 본 연구에서는 검증된 카운터 편집(Counter-Edit)을 통해 이러한 환경을 스트레스 테스트하는 프레임워크인 SWE-Touch를 제안한다. 카운터 편집은 작업 완료와 충돌하는, 작업 관련 코드에 대한 그럴듯한 수정이다. SWE-Touch는 다수의 수리 궤적(repair trajectory)에서 작업 핵심 영역을 발굴하고, 별도의 사용자 패치 생성기(User Patch Generator)를 통해 편집을 구성한 후, 에이전트가 해당 코드에 도달하면 맥락에 맞는 사용자 메시지와 함께 이를 주입한다. 우리는 SWE-bench Verified에서 9개의 코딩 모델을 평가하고, SWE-Bench Pro 및 DeepSWE의 장기 지평(longer-horizon) 작업에 대한 추가 실험도 수행한다. 카운터 편집은 SWE-bench Verified에서 평균 해결률을 7.7퍼센트 포인트 낮추었으며, 두 장기 지평 벤치마크에서도 성능 저하가 지속적으로 관찰되었다. 궤적 분석에 따르면 이러한 실패는 변화하는 작업 공간에 대한 제한적 인식에서 비롯된다. 에이전트는 저장소를 충분히 재검사하고 수정된 코드를 대상 테스트로 검증하지 않은 채 충돌하는 코드를 유지하거나 이를 대체할 수 있다. 이러한 결과는 강력한 자율 성능이 공유 작업 공간 협업에 필요한 상태 인식과 적응적 행동을 아직 보장하지 않음을 보여주며, 작업 공간 변경 감지, 작업과 충돌하는 편집의 조정, 영향을 받는 동작의 검증을 향후 최적화를 위한 핵심 역량으로 지적한다.

우리는 DiffusionGemma를 소개한다. 이는 이산 확산(discrete diffusion)을 사용하여 비할 데 없이 빠른 속도로 텍스트를 생성하는 실험적 오픈 가중치 언어 모델이다. 한 번에 하나의 토큰을 디코딩하는 대신, DiffusionGemma는 256개 토큰 블록을 병렬로 반복적으로 정제하여 기존 자기회귀(AR) 대규모 언어 모델의 순차적 디코딩 병목 현상을 피한다. DiffusionGemma는 처음부터 훈련하는 대신, 활성 매개변수 38억 개, 총 매개변수 252억 개를 가진 혼합 전문가(MoE) Gemma 4 모델을 미세 조정하여 얻었다. 우리의 계산 효율적인 2단계 훈련 파이프라인은 초기 AR 모델의 총 훈련 토큰 예산의 10% 미만을 사용한다. 첫 번째 단계는 지도 미세 조정을 통해 양방향 노이즈 제거를 학습시키고, 두 번째 단계는 강화 학습과 샘플러 증류(sampler distillation)를 결합하여 생성 품질과 추론 효율성을 동시에 개선한다. DiffusionGemma는 생성 속도와 모델 성능 간의 절충에 대한 새로운 파레토 경계를 구축한다. 전체 평가 스위트를 평균한 결과, 순전파당 약 20개의 토큰을 생성하고 단일 NVIDIA H100 GPU에서 초당 약 1,500개의 출력 토큰을 달성하는데, 이는 최첨단 투기적 디코딩을 사용하는 AR 모델보다 훨씬 빠른 속도이다. DiffusionGemma는 또한 초기 모델의 사고 모드, 다중 모달 입력, 긴 컨텍스트 지원을 유지한다. 확산 미세 조정에도 불구하고, 약간의 성능 저하만으로 AR 생성이 가능하여 하이브리드 확산-AR 디코딩으로 가는 길을 시사한다.

최적화 기반 잠재 추론(latent reasoning)은 모델 파라미터를 고정한 상태에서 테스트 시점에 인스턴스별 연속 상태를 최적화하여 대규모 언어 모델의 출력을 개선한다. 그러나 기존 방법들은 일반적으로 이러한 상태를 디코딩된 토큰을 통해 추론 궤적과 연결하므로, 시퀀스 수준 신용 할당이 간접적이 되어 잠재 상태 업데이트가 이후 추론에 어떤 영향을 미치는지가 불분명하다. 우리는 GradCuit(gradient through circuit)를 제안한다. GradCuit는 선택된 트랜스포머 레이어에서 프롬프트의 은닉 표현과 생성된 연속부 사이에 최적화 가능한 잠재 상태를 삽입한다. 인과적 자기 어텐션(causal self-attention)은 모든 연속부 토큰의 로그 확률이 나머지 트랜스포머 블록을 통해 모든 선행 잠재 상태에 이르는 미분 가능한 경로를 제공하므로, 전체 연속부로부터의 보상 가중 그래디언트를 잠재 상태에 직접 할당할 수 있게 한다. 다섯 개의 지시 튜닝 백본, 세 개의 추론 벤치마크, 두 가지 답변 형식에 걸쳐 GradCuit는 평균 정확도 64.5%를 달성하여, 사고 사슬 프롬프팅보다 6.6퍼센트 포인트, 가장 강력한 경쟁 방법보다 2.4퍼센트 포인트 우수한 성능을 보인다. GradCuit는 또한 더 큰 견고성을 입증한다. 일곱 가지 학습률 설정에서 LatentSeek보다 일관되게 우수한 성능을 내면서 정확도의 표준 편차를 1.53에서 0.82로 줄였으며, 심지어 랜덤워크 변형도 LatentSeek와 경쟁력을 유지한다. 해석 가능성 측면에서, 토큰 수준 그래디언트 기여도 분석은 잠재 상태의 영향이 추론 연결 토큰에 집중됨을 보여주며, 레이어 분석은 초기~중간 트랜스포머 레이어가 가장 효과적인 최적화 공간임을 식별한다. 결과 피드백으로부터 내부 추론을 직접 최적화함으로써, GradCuit는 대규모 언어 모델이 출력을 단순히 재생성, 샘플링, 또는 재순위화하는 것이 아니라 추론 방식을 적응시키는, 견고하고 해석 가능한 테스트 시점 스케일링의 새로운 축을 연다.

비디오 모션 전이는 참조 비디오의 다이내믹스를 사용하여 대상 객체를 애니메이션화하는 것을 목표로 한다. 기존의 공식화 방식은 대부분 고정된 구조적 대응에 의존하는데, 이는 참조 객체와 대상 객체가 형태, 관절 구조, 또는 변형 메커니즘에서 크게 다를 경우 제대로 정의되지 않는다. 우리는 형태를 넘어선 모션(Motion Beyond Morphology)을 소개한다. 이는 고정된 구조적 대응을 넘어 모션을 전이하려는 관점으로, 서로 다른 대상 형태 간에도 의미 있는 다이내믹스를 보존하는 데 초점을 둔다. 이를 실현하기 위해 우리는 두 단계 프레임워크를 제안한다. 1단계에서는 상호 보완적인 다중 세분화 추상 모션 뷰를 학습하고, 이를 사용하여 다양한 형태에서 전이 가능한 다이내믹스를 보존하는 교차 범주 비디오 쌍을 부트스트래핑한다. 2단계에서는 이러한 지도 신호를 직접적인 참조 비디오 조건 생성에 내재화하여, 추론 시 명시적 모션 추출이 필요하지 않게 한다. 또한 우리는 동일(Same), 근접(Near), 원거리(Far) 범주 격차에 걸친 이미지 및 텍스트 조건 모션 전이를 훈련하고 평가하기 위한 OpenVMT-Dataset과 OpenVMT-Bench를 도입하며, 두 자료 모두 논문 게재 후 공개할 예정이다. 광범위한 실험을 통해 최첨단 수준의 모션 충실도와 대상 보존 성능을 입증한다. 프로젝트 페이지: https://miniz233.github.io/MotionBeyondMorphology/

GPTQ 또는 동등하게는 Babai의 최근접 평면 알고리즘과 같은 적응형 반올림 방법은 실수 행렬을 이차 계량 하에서 정수로 반올림한다. 이 방법들은 항목들을 고정된 순서로 하나씩 처리하며, 각 반올림 오차를 아직 처리되지 않은 항목들에 삼각 피드백 행렬을 통해 전파한다. 우리는 이 작업의 양측(two-sided) 버전을 연구하는데, 여기서 고정된 비특이 기저 행렬들이 잔차의 왼쪽과 오른쪽 모두에 작용한다. 익숙한 일측(one-sided) 경우는 오른쪽 기저가 항등 행렬인 특수한 경우이다. 행렬을 벡터화하면 양측 목적 함수는 그람 행렬이 크로네커 곱인 이차 계량으로 변환되므로, 1차원 알고리즘이 그대로 적용되지만 행렬 차원에 대해 4차 시간이 소요된다. 우리는 동일한 반올림 행렬을 3차 시간에 생성하는 GPTQ-2D를 제시한다. 이 방법은 항목들을 반대각선(anti-diagonal) 단위로 반올림하며, 같은 반대각선 상의 항목들은 독립적이므로 병렬로 반올림된다.

대규모 언어 모델은 점점 더 프로덕션 코드를 작성하고 수리하지만, 테스트를 통과하는 패치가 코드베이스의 유지보수를 더 어렵게 만든다는 증거가 늘어나고 있다. 우리는 그 구체적인 원인 하나를 특정한다: 삭제 회피, 즉 의도된 수정이 제거를 요구하는 코드를 보존하려는 체계적 경향이다. 공식 SWE-bench Verified 리더보드의 상위 5개 모델을 대상으로 한 결과, 다섯 모델이 모두 해결하는 작업에서도 개발자 패치 대비 삭제 재현율은 최대 71.7%에 그친다. 모델들은 필요한 삭제 중 92% 이상에서 올바른 파일에 도달하지만, 정확한 줄을 잘라내는 경우는 52% 미만이다. 대신 통과한 패치 중 29.0%는 대상 코드를 가드나 폴백으로 감싸는데, 우리는 이를 Guard-and-Go 패턴이라고 부른다. 이러한 패치가 통과하는 이유는 원래 테스트가 삭제 여부를 거의 검사하지 않기 때문이다. 대상 코드가 남아 있으면 실패하는 테스트를 34개의 Verified 작업에 추가했을 때, 클로즈드 및 오픈 가중치를 아우르는 4개의 최첨단 모델은 63.2%에서 41.9%로 떨어진다. 실제 수정은 삭제와 추가가 섞여 있기 때문에, 우리는 전체 필수 수정이 삭제인 실제 커밋에서 추출한 200개 작업으로 구성된 벤치마크 CanItDelete를 구축했다. 추가 작업이 사라졌음에도 최고 모델은 여전히 다섯 작업 중 하나를 실패하며, 더 작은 오픈 모델은 성공률이 18.0%로 떨어진다. 그런 다음 GPT-5.6 Sol에 네 가지 누적 프롬프트를 적용하여 절제 실험을 수행한 결과, 정확한 줄을 제공하기 전까지 성공률은 거의 변하지 않는다. 정확한 줄 제공은 불완전한 삭제를 거의 제거하지만 성공률을 80.5%로만 높이는데, 모델이 범위를 넘어 삭제하거나 대신 코드를 추가하기 때문이다. 마지막으로 파일럿 연구를 통해 한 가지 잠재적 해결책을 제시한다: 후속 학습 중 삭제를 가르치면 삭제 회피가 줄어들고 더 넓은 코드 편집 성능이 향상된다. 이는 이러한 행동이 도달 불가능한 문제라기보다 충분히 학습되지 않은 문제임을 시사한다.

기존 실내 레이아웃 생성기는 전역적으로 그럴듯한 레이아웃을 생성하지만, 충돌, 경계 이탈 배치, 막힌 개구부, 차단된 동선과 같은 지역적 위반을 여전히 포함할 수 있다. 대부분의 선행 연구는 전체 장면 합성이나 장면 수준 최적화에 초점을 맞추어, 원인 객체를 식별하고 영향받은 영역을 국소적으로 수리하는 데는 제한적인 지원만 제공한다. 우리는 이러한 위반을 희소한 객체 기반 수리 문제로 규정하는 반성적 수리 프레임워크인 Roomer를 제시한다. Roomer는 레이아웃을 'RoState'로 인코딩하고, 'RoReview'를 사용하여 측정된 위반을 연루된 객체에 결합한다. 지오메트리 조건부 비전-언어 모델 플래너가 구조화된 지역 편집을 제안하고, 결정적 솔버가 이를 검증하며 필요한 경우 후보 편집의 유한 집합을 생성한다. 각 후보는 전체 장면 검증이 새로운 하드 위반이나 보호된 제약 위반 없이 대상 위반을 해결함을 확인하는 경우에만 채택된다. 우리는 플래너를 통제된 손상 데이터셋인 Roomer-CC로 학습시킨다. 이 데이터셋은 결함 레이아웃을 객체 기반 위반 증거 및 실현 가능한 것으로 알려진 역 StatePatch와 짝지은 것이다. 기존 벤치마크는 물리적으로 유효한 레이아웃이 실제로 사용 가능한지를 거의 평가하지 않기 때문에, 우리는 분포 품질, 물리적 유효성, 실용적 사용성을 평가하는 Roomer-Eval을 도입한다. 실험 결과, Roomer는 유효한 영역을 보존하면서 잔여 위반을 수리하고, 물리적 유효성과 사용성을 개선하며, 외부 생성기로 전이되는 것으로 나타났다.

다중모달 대규모 언어 모델(MLLM)은 시각적 이해와 추론을 발전시켰지만, 정적 파라메트릭 지식으로 인해 지식 집약적이고 동적으로 변화하는 개방형 세계(open-world) 문제를 해결하는 데 한계가 있다. 이러한 한계를 극복하기 위해 다중모달 딥 서치(multimodal deep search)가 개방형 세계 정보 접근의 핵심 방향으로 부상했으며, 단일 턴 사실 검색에서 시각적 증거에 기반한 장기 지평(long-horizon) 다중 턴 검색으로 진화하고 있다. 그러나 기존 방법은 일반적으로 시각을 입력 또는 응답 단계에 국한시켜 중간 추론에서의 역할을 간과하며, 장기 지평 상호작용에 맞춘 설계가 부족하다. 그 결과, 시각적 증거가 지속적 검색을 주도하는 경우가 드물어 상호작용의 깊이와 추론 범위가 모두 제약된다. 이러한 한계를 해결하기 위해 우리는 시각-인-더-루프(vision-in-the-loop) 검색을 위한 장기 지평 다중모달 딥 서치 프레임워크인 DeepVoyager-VL을 제안한다. 구체적으로, 중간 시각적 의존성과 긴 추론 체인을 갖는 문제를 생성하기 위해 다중모달 이벤트 그래프를 구축하여 데이터 합성을 주도한다. 그다음 능동적 시각 획득과 온디맨드 이미지 로딩을 위한 에이전트 프레임워크를 설계한다. 마지막으로 강화 학습 없이 합성 데이터에 대해 모델을 파인튜닝한다. 10개의 다중모달 검색 벤치마크에 걸친 광범위한 실험을 통해 우리 방법의 효과성을 입증한다.

최근 3D 비전-언어 모델(3D VLM)은 2D 시각적 특징을 월드 좌표계로 투영하여 기하학 인식 토큰을 구축함으로써 3D 질의응답과 같은 작업에서 공간 추론을 가능하게 한다. 그러나 이러한 설계는 장면당 수천 개의 토큰을 생성하므로 상당한 계산 및 메모리 오버헤드를 초래한다. 토큰 압축은 2D VLM에서 광범위하게 연구되어 왔지만, 기존 접근법은 3D 토큰의 구조화된 공간적 특성을 간과하는 의미적 관련성이나 어텐션 기반 선택에 의존한다. 또한 3D 표현의 중복성은 공간적 근접성만으로는 해결할 수 없으며, 공간 집계 이후에도 객체 수준의 토큰 불균형이 지속된다. 이러한 문제를 해결하기 위해 우리는 3DZip을 제안한다. 3DZip은 3단계 토큰 압축 프레임워크로, 먼저 거친 복셀화를 통해 포인트 수준의 중복성을 제거하고, 결정적 포인트 프로세스(DPP)를 기반으로 특징 공간의 다양성에 따라 앵커 토큰을 선택한 다음, 기하학적 일관성을 보존하기 위해 공간 제약 하에 나머지 토큰을 병합한다. 세 가지 3D 질의응답 벤치마크에 대한 실험 결과, 3DZip은 기존 압축 방법을 일관되게 능가하며, 128개의 토큰만으로 원래 성능의 94.7%를 유지하면서 1.92배 빠른 추론 속도를 달성함을 입증한다.

장기간 및 실시간 토킹헤드 생성은 지연 시간-품질 트레이드오프로 인해 여전히 어려운 문제로 남아 있다. 비효율적인 다단계 확산은 스트리밍 생성을 불가능하게 하는 반면, 실시간 자기회귀적 접근법은 오류 누적과 정체성 드리프트를 겪는다. 이러한 단점을 해결하기 위해, 우리는 단일 순방향 단계만으로 안정적인 실시간 토킹헤드 생성을 달성하고 임의로 긴 비디오로 확장 가능한 새로운 프레임워크인 LeapTalk를 제안한다. 우리 접근법의 핵심은 단일 단계 브리지 증류 기법에 있다. 한편으로, 기존의 노이즈-데이터 패러다임에서 벗어나 브라운 브리지에 기반한 데이터-데이터 수송 정식화를 도입한다. 지속적인 참조에 의해 고정된 이 전략은 정체성 드리프트를 효과적으로 완화하고 장기적인 시간적 안정성을 향상시킨다. 다른 한편으로, 사전 훈련된 확산 교사 모델에서 학생 브리지 모델로의 원활한 지식 전달을 가능하게 하기 위해, 두 모델 간의 기능적 차이를 연결하는 SNR 정렬 시간 변환 Φ(τ)을 갖춘 이종 증류 프레임워크를 탐구한다. 또한, 극단적인 단계 축소 상황에서도 정밀한 입술 동기화를 유지하기 위해 오디오 기반 분류기-프리 가이던스 메커니즘을 제안한다. 광범위한 실험을 통해 우리의 방법이 단 1단계만으로 최대 200 FPS에서 고충실도 및 시간적으로 일관된 비디오 생성을 달성하며, 효율성과 안정성 모두에서 기존 접근법을 크게 능가함을 입증한다. 프로젝트 페이지: https://zhangrongxiang.github.io/leaptalk-page/

조작 중 객체 궤적의 정확한 예측은 지각-행동 루프를 완성하는 데 필수적이다. 그러나 두 가지 측면에서 진전이 제한되어 왔다: 기존 데이터셋은 세분화된 언어-동작 주석이 부족하고, 기존 예측기는 비디오, 깊이, CAD 모델과 같은 특권 입력(privileged input)에 의존하거나, 완전히 생성된 비디오에서 값비싸고 오류가 잦은 지각 파이프라인을 통해 동작을 복원한다. 우리는 MOVE 데이터셋으로 이러한 지도 학습 격차를 해소한다. MOVE는 5,038개의 객체 중심 자아 시점 궤적(egocentric trajectory)으로 구성되며, 각 궤적은 대략적인 동사-명사 라벨이 아닌 세분화된 자연어 지시문과 짝을 이룬다. 또한 우리는 단일 RGB 이미지와 작업 지시문만으로 6자유도(6-DoF) 객체 궤적을 예측하는 DreamTraj를 제안한다. DreamTraj는 추론 시 비디오, 깊이, CAD 모델을 필요로 하지 않으며, 비디오를 생성하는 대신 초기 잡음 제거 단계에서 동결된 이미지-투-비디오 확산 모델의 내부 표현으로부터 동작을 읽어낸다. 경량 플로우 매칭 리더(Reader)는 쿼리-키 어텐션 트랙과 풀링된 은닉 상태를 상대적 6자유도 자세로 디코딩한다. 우리가 아는 한, 이는 생성된 픽셀이 아닌 중간 비디오 확산 표현에서 객체 6자유도 궤적을 직접 디코딩하는 최초의 접근 방식이다. DreamTraj는 다중 프레임 또는 특권 입력을 사용하는 예측기들을 대상으로 병진(translation)과 회전(rotation) 모두에서 새로운 최첨단 성능을 달성하며, 생성-후-추출(generate-then-extract) 파이프라인보다 4.6배 빠르게 동작한다.

고정 레이아웃 실내 가구 스타일링은 지정된 가구 범주, 위치, 방향, 또는 크기를 변경하지 않으면서 조화로운 방을 구성하는 에셋을 선택해야 한다. 기존 접근법은 일반적으로 각 에셋을 독립적으로 검색하거나 정적 국소 관계에 의존하기 때문에, 장면 구성 후 형태, 재질, 색상 충돌이 발생하기 쉽다. 본 논문에서는 동적 하이퍼그래프 스타일 필드(dynamic hypergraph style field) 기반의 장면 수준 구조적 선택 프레임워크인 StyleForge를 제안한다. 동결된(frozen) 멀티모달 대규모 언어 모델은 개방형 스타일 요청과 고정 레이아웃에서 구조화된 스타일 사전 정보를 추출하며, StyleForge는 각 가구 슬롯에 대해 학습 가능한 후보 분포를 유지한다. 대상 스타일을 조건으로, 동적 하이퍼그래프 스타일 필드는 레이아웃 유도 하이퍼에지를 적응적으로 활성화하고 가중치를 부여하여 가구 간 고차 의존성을 포착한다. 반사실적 스타일 선호 학습(counterfactual style preference learning)은 각 후보를 현재 스타일 필드에서의 국소적 대체로 간주하고 마할라노비스 에너지를 사용하여 맥락적 호환성을 평가한다. 훈련은 스타일 필드 최적화와 후보 로짓 최적화를 번갈아 수행한다. 추론 시, 모델은 동결된 상태를 유지하며, 테스트 시점 학습(test-time training)은 방 특정 후보 로짓만 업데이트하여 전역 장면 맥락이 진화함에 따라 슬롯 간 스타일 충돌을 점진적으로 교정한다. 3D-FRONT 실험에서 제안 방법은 최첨단 가구 검색 및 장면 수준 스타일 일관성을 보여주며, 객체 및 장면 수준 검색 베이스라인보다 더 일관된 고정 레이아웃 가구 배치를 생성한다.

최근 이미지 생성기는 설득력 있는 인간 중심 이미지를 합성할 수 있지만, 유용한 컬렉션을 만드는 것은 성공적인 단일 이미지를 만드는 것과는 다릅니다. 인간 중심 데이터셋은 다양한 사람과 맥락을 포함하고, 타당하지 않은 속성 조합을 피하며, 일상적인 사진적 특성을 보존하고, 대규모 품질 관리 결정을 명확히 드러내야 합니다. 우리는 인간 중심 이미지 데이터셋 합성을 위한 재현 가능한 Specify(지정)--Render(렌더링)--Inspect(검사) 파이프라인인 Poplar를 제시합니다. Specify(지정)는 상식적 제약 조건 하에 구조화된 속성을 샘플링하고 이를 사진 지향적 프롬프트로 언어화합니다. Render(렌더링)는 구성을 고려한 종횡비에 걸쳐 사실감에 적응된 이미지 생성기를 사용하고 명백한 기술적 실패를 재시도합니다. Inspect(검사)는 각 후보에 단일 구조화된 비전-언어 검토를 적용하여 원본 프롬프트를 유지하면서 본질적인 이미지 결함이나 중대한 프롬프트 불일치를 거부합니다. Poplar를 사용하여 우리는 Poplar-9K를 구축합니다: 11,765개의 검토된 후보 중 유지된 9,401개의 큐레이션된 인간 중심 이미지-텍스트 쌍(79.9% 수락률). 우리는 데이터셋을 파이프라인, 구성, 변경 불가능한 생성 프롬프트, 그리고 감사 가능한 검사 기록과 함께 맞춤형 인간 중심 컬렉션 구축을 위한 간결한 리소스로 공개합니다.

개방형 환경에서 강건하게 작동하기 위해, 자율 에이전트는 문서화가 없는 상황에서도 상호작용만을 통해 익숙하지 않은 시스템의 동작을 추론할 수 있어야 한다. 그러나 기존 도구 사용 벤치마크는 정적 환경에서 의미적 도구 스키마를 노출하여, 에이전트가 자율적 발견보다는 사전 지식에 의존할 수 있게 한다. 이러한 한계를 해결하기 위해, 우리는 행동 추론을 고립시켜 평가하도록 설계된 대화형 터미널 벤치마크인 ScrambleToolBench를 소개한다. 이 벤치마크는 의미적 단서를 제거하고 연속적인 작업 커리큘럼을 적용함으로써, 에이전트가 오로지 시행착오 상호작용을 통해 숨겨진 도구 동작을 발견하도록 요구한다. 나아가 이 벤치마크는 매핑 드리프트, 확률적 행동 실패, 시간적 실행 창을 포함한 동적 과제를 도입하여, 에이전트가 환경 변화에 따라 가설을 수정하고 적응할 수 있는지를 평가한다. 최첨단 언어 모델에 대한 평가 결과, 초기 발견의 성공이 강건한 적응으로 이어지지 않음을 확인했다. 매핑 드리프트와 같은 구조적 변화에 직면했을 때, 에이전트는 사이클 추적과 같은 연역적 전략을 사용하지 못하고 신념 관성을 보이거나 전수 탐색에 의존하는 양상을 보였다. 테스트 시 추론을 증가시키는 것은 연역적 복구를 가능하게 하는 대신, 이러한 비용이 큰 무차별 탐색을 증폭시킬 뿐이었다. 지속적 메모리를 에이전트에 장착하면 오류 누적이 줄어들지만, 구조적 변화를 효율적으로 추론하지는 못하는데, 이는 현재 에이전트 추론의 한계를 드러낸다.

기존 평가는 에이전트의 실패를 종종 시스템 수준의 결과로 축소하여, 결함이 어디서 비롯되었는지와 어떤 개입이 에이전트 시스템을 개선할 수 있는지를 모호하게 만든다. 이는 수리-할당 문제를 야기한다. 동일한 가시적 실패라도 그 원인에 따라 모델 사후 훈련, 하네스 엔지니어링, 환경 재설계, 또는 벤치마크 수리가 요구될 수 있기 때문이다. 에이전트 행동은 모델, 하네스, 사용자, 도구, 메모리, 환경 간의 상호작용에서 발생하므로, 결과 수준의 라벨만으로는 개선에 충분하지 않은 경우가 많다. 대부분의 실패 분류법은 벤치마크에 특화되어 있고 공유 구조가 부재하여 이러한 문제를 해결하는 데 거의 기여하지 못한다. 우리는 실패가 발생한 상호작용으로 해당 실패를 국소화하고 책임 있는 구성 요소를 식별하는 상호작용 중심 분류법을 제안한다. 이 분류법은 41가지 실패 모드를 각각 두 구성 요소 사이의 엣지와 수리가 필요한 측면을 나타내는 결함 측에 할당함으로써 체계화한다. 이를 통해 분류법은 실행 가능해진다. 모델 측 실패는 사후 훈련 대상을 식별하고, 하네스 측 실패는 스캐폴딩 및 도구 통합 수정을 지시하며, 환경 또는 평가자 실패는 재설계가 필요한 평가 조건을 드러낸다. 이 스키마는 코딩 어시스턴트에서 장기 지평 개인 어시스턴트, 다중 에이전트 시스템에 이르기까지 다양한 에이전트 아키텍처에 적용된다. 우리는 공개 벤치마크, 모델 시스템 카드, 발표된 보고서, 기록된 에이전트 궤적에서 얻은 작업 예제로 분류법을 뒷받침하고, 독립적 추론 에이전트를 판정자로 사용하여 재현성을 평가한다. 네 개의 최첨단 모델 중 가장 강력한 판정자는 인간 범주 라벨에 대해 Cohen's κ=0.76을 달성했으며, 이는 범주가 주석자 특정 선호도가 아닌 공유된 구조를 포착함을 시사한다.

현대 추천 모델의 최적화는 여전히 엔지니어가 아키텍처, 목적 함수, 훈련 전략 변경을 수동으로 반복하는 데 크게 의존합니다. LLM 기반 에이전트가 이러한 시행착오 과정을 자동화할 수 있지만, LLM이 수정 방향 선정과 구체적인 가설 생성까지 모두 수행하도록 허용하면 제한된 실험 예산 하에서 탐색이 불안정해지는 경우가 많습니다. 이러한 문제에서 영감을 얻어, 우리는 추천 모델 자동 최적화를 위한 밴딧 라우팅 기반 에이전틱 하네스인 RecHarness를 제안합니다. RecHarness는 최적화 과정을 두 단계로 분리합니다. 밴딧 라우터는 과거 검증 피드백에 따라 다음 수정 방향을 선택하고, LLM은 선택된 방향 내에서 구체적인 최적화 가설과 실행 가능한 코드 수정을 생성합니다. 장기적 탐색을 지속하기 위해 RecHarness는 점프-베이슨 메커니즘을 사용하여 지역적 수정이 정체되면 구조적 점프 팔을 활성화합니다. 여러 추천 태스크, 데이터셋, 모델 백본에 걸쳐 RecHarness는 LLM 추론 탐색보다 더 안정적인 성능 향상을 달성하고 제한된 실험 예산을 더 효과적으로 사용합니다. 대규모 숏폼 광고 플랫폼에서 진행한 7일간의 온라인 A/B 테스트에서, 선택된 후보는 ADVV를 2.084%, 수익을 0.534%, 노출을 0.559% 개선했습니다. 코드는 https://github.com/6lyc/RecHarness에서 확인할 수 있습니다.

비전-언어 MoE 배치(batch)는 서로 다른 수의 이미지 토큰과 텍스트 토큰을 포함한다. 이미지 해상도, 이미지 개수, 타일링, 프롬프트 길이는 모두 이 토큰 혼합 비율을 변화시킨다. 우리는 표준 토큰 수준 Switch 보조 손실을 Std-Aux라고 부른다. Std-Aux는 혼합 부하만 균형화하므로, 특정 혼합 비율에서는 이미지와 텍스트의 큰 부하 오류가 서로 상쇄될 수 있다. 우리의 주 모델에서 동일하게 학습된 라우터는 이미지 해상도에 따라 부하 불균형이 5배 이상 변화한다. 우리는 이미지 및 텍스트 부하 프로파일을 고정하고, 토큰 혼합 비율이 변함에 따른 정확한 부하 곡선을 유도한다. 이미지-텍스트 부하 차이는 토큰 혼합 비율에 대한 민감도를 결정한다. 물리적 전처리 또한 조건부 프로파일을 변경할 수 있으며, 고정 프로파일 하의 법칙은 이러한 변화를 배제한다. 해결책을 설계하기 위해 우리는 라우터 입력 구조를 살펴본다. 이미지와 텍스트는 서로 다른 영역을 차지하며, 시각 토큰은 출처 이미지별로 강하게 군집한다. 모달리티 경계는 이미지와 텍스트에 대한 별도의 손실 항을 도입하도록 동기를 부여하고, 이미지 경계는 이미지당 하나의 균등 가중치 라우팅 인스턴스를 도입하도록 동기를 부여한다. ReBA(Relax Within, Balance Across, 즉 내부는 완화하고 전체적으로 균형을 맞춤)는 이 두 가지 선택을 모두 구현한다. 네 개의 분할 백본에 걸쳐, ReBA는 보고된 모든 벤치마크 입력에서 부하를 낮추면서도 평균 태스크 정확도를 Std-Aux와 비슷한 수준으로 유지한다. 또한 ReBA는 테스트된 범위에서의 평균 부하와 해상도 및 타일링 변화 하에서의 최악의 물리적 부하를 낮춘다. 코드는 https://github.com/ZiangWu-77/ReBA에서 제공된다.

LLM 에이전트는 긴 상호작용 동안 일관되게 행동하기 위해 메모리가 필요하지만, 많은 시스템은 해당 메모리를 운영하기 위해 추가적인 LLM 호출을 사용한다. 중간 기록을 생성하고 그 검색을 중재하는 것은 반복적인 토큰 및 시간 비용을 발생시키며, 누락되거나 병합된 세부 정보는 원래 증거를 모호하게 만들 수 있다. 우리는 구조화된 메모리 접근에 생성이 정말로 필요한지 질문한다. Zero-Mem은 제로-토큰 메모리 연산을 도입한다. 최종 질문 응답 외의 어떤 단계도 LLM을 호출하거나 LLM 입력·출력 토큰을 소비하지 않으며, 인코더 계산은 별도로 처리된다. Zero-Mem은 원본 상호작용 추적 기록을 기록의 원천으로 보존한다. 추적 기록을 두 가지 상호 보완적인 방식으로 구성한다. 엔티티-컨텍스트 그래프는 상호작용 간의 연결을 드러내고, 시간적 계층 구조는 대화의 지역성과 세션 상태를 보존한다. 각 질의에 대해 Zero-Mem은 두 관점에 가중치를 부여하고, 둘 모두에서 검색한 다음, 그 구조를 따라 지지 관계나 주변 맥락을 복구한다. 결정적 보정은 먼저 상충하는 증거를 폐기한 다음, 리더의 답변이 검색된 추적 기록에 근거하도록 유지한다. 오직 최종 QA 리더만이 LLM을 호출한다. 장기 메모리 및 장기 컨텍스트 질문 응답 벤치마크 전반에 걸쳐 Zero-Mem은 메모리 연산에서 LLM 호출과 LLM 토큰 소비를 제거하면서도 경쟁력 있는 성능을 달성한다. 동일한 최종 QA 리더와 컨텍스트 예산을 사용할 때, 비교 대상 중 가장 빠른 기준선 대비 메모리 연산 시간 비용을 57.6% 절감한다. 절제 연구는 두 관점의 기여와 질의 의존적 조정을 뒷받침한다. 전반적으로, 이 결과는 구조화된 에이전트 메모리가 과거의 중간 표현을 생성할 필요가 없음을 보여준다. 동료 검토 후, 코드와 구현 세부 사항은 https://github.com/TheMoon0815/Zero-mem 에서 확인할 수 있다.

과학적 도표 이해와 추론을 위한 멀티모달 AI는 시각적 인식과 도메인 특화 추론을 통합하여, 연구 논문의 본문에는 제시되지 않는 의미 있는 지식을 추출해야 한다. Sci-ImageMiner 벤치마크 데이터셋은 커뮤니티 주도 대회와 함께, 네 가지 상호 보완적인 종단 간 작업에 걸친 포괄적이고 전문가 주석 기반 데이터셋을 구축함으로써 기존 과학 경쟁 대회보다 높은 기준을 제시한다. 본 대회는 2026년 1월 9일부터 2026년 4월 8일까지 68명의 활발한 참가자와 1,263건의 공개/비공개 제출물을 유치했다. 연구 결과, 최첨단 멀티모달 모델은 분류 및 요약 작업에서는 우수한 성능을 보였으나, 특히 시각 질의응답에서 데이터 추출과 과학적 추론에 어려움을 겪는 것으로 나타났다. 이러한 발견은 핵심적 한계를 드러내며, 도메인 인지 멀티모달 AI 시스템 개선을 위한 과제와 기회를 강조한다. 전반적으로 Sci-ImageMiner 벤치마크와 대회는 과학적 도표 이해 및 추론 연구를 발전시키기 위한 엄격한 플랫폼을 확립하며, 도전적이고 복잡한 연구 영역에서 최첨단 접근법의 잠재력을 입증한다.

멀티모달 임상 모델은 일반적으로 모든 모달리티가 존재할 때의 정확도로 평가되지만, 실제 배포 환경에서는 모달리티가 제거된다. 심초음파는 심전도가 일상적으로 시행되는 환경에서 종종 이용 불가능하다. 이때 정확도 손실의 크기보다 더 중요한 두 가지 질문이 있다: 어떤 모달리티가 그 손실에 책임이 있는지, 그리고 해당 모달리티가 제거되었을 때 모델이 뚜렷하게(loudly) 실패하는지 아니면 조용히(silently) 실패하는지이다. 이러한 구분은 개별 예제 수준이자 모달리티 수준의 문제로, 사후 특징 기여도 분석(예: SHAP)과는 별개의 개념이다. 모델은 자주 교체되며, 이러한 질문에 답하는 평가는 재사용 가능해야 한다. 본 논문은 모델에 구애받지 않는 모달리티 실패 프레임워크를 제시한다. N개의 모달리티 임베딩, 임의의 마스크 인식 프로브, 그리고 레이블이 주어지면, 이 프레임워크는 (1) 예제별 실패 분류 체계, (2) 오류를 모달리티에 귀속시키는 모달리티별 상보성 행렬, (3) 결정 경계에서 멀리 떨어진 곳에서 플래그 없이 통과하는 실패와 모니터링 가능한 실패를 구분하는 모달리티별 명시적-대-암묵적 드롭아웃 프로필을 반환한다. 우리는 이를 작고 단위 테스트된 하네스로 배포하고, 설계된 정답(planted ground truth)을 통해 검증한다. 다양한 시드에 걸쳐 이 프레임워크는 설계된 모달리티 우세성과 상보적 부분집합을 복원하고, 모달리티별 명시적-대-암묵적 실패율을 보고하며, 3-모달리티 상보성 행렬로 확장된다. 설계된 구조는 구성상 이미 알려져 있으므로, 이는 임상 성능이 아닌 예제별 귀속 복원을 검증하는 것이다. 이후 우리는 이 프레임워크를 쌍으로 구성된 MIMIC-IV 코호트에서 LVEF 및 EF ≤ 40% HFrEF 판별을 위한 동결된 EchoJEPA 및 HuBERT-ECG 임베딩에 적용한다. 보류된 테스트 분할(n = 245)에서 심초음파를 제거했을 때 오류가 거의 두 배로 증가했다. 코호트 크기를 제한하는 심초음파-심전도 간의 좁은 중첩은 그 자체로 심장 파운데이션 모델에 대한 배포 관련 발견이다. 모든 작업은 https://github.com/criticaldata/PRIMED-AI에서 확인할 수 있다.

장기 지평(long-horizon) 에이전트는 점점 더 KV 캐시를 메모리로 재사용한다. 즉, 서빙 시스템은 캐시된 항목의 일부를 유지하고 나머지를 버린다. 따라서 축출(eviction) 및 일화 기억(episodic-memory) 방식은 거의 직접 검증된 적이 없는 전제, 즉 유지된 사건이 그것을 생성한 관측이 사라진 뒤에도 여전히 정보를 제공한다는 전제에 의존한다. 우리는 그 외에는 동일한 에이전트 이력에서 서빙되는 내용으로부터 이전 관측 하나를 생략함으로써 이를 검증한다. 해당 관측에 민감한 항목들 사이에서 답변은 압도적으로 생략된 값을 따른다. 서빙되는 어떤 스팬(span)도 어느 값이 올바른지 말해주지 않음에도 불구하고 말이다. 우리는 이를 의미론적 구체화(semantic materialization)라고 부른다. 하위 사건의 캐시된 행이 입력이 사라진 계산에 대한 독립적으로 서빙 가능한 뷰로 작용한다는 것이다. 이는 의도적으로 작성될 수도 있다. 신중하게 표현된, 답이 없는 사건은 값을 전혀 명명하지 않으면서 Qwen3-8B에서 공여자 일치 회복률을 6%에서 51%로 끌어올린다. 반면, 장기 대화에서 자연스러운 언급을 수동적으로 수집하는 것은 검출 가능한 이점을 제공하지 않는다. 그러한 행이 담는 것은 구체적이고 한정적이다. 압축된 상태는 생존하지만 더 큰 페이로드는 우연 수준으로 붕괴하며, 어떤 구성이 실제로 기록되는지 여부는 의미만이 아니라 표현 방식에 달려 있다. 따라서 모델이 동등하게 잘 이해하는 두 표현도 급격히 갈라질 수 있다. 그 결과는 희소 이벤트-KV 서빙을 위한 메모리 계약이다. 무엇을 쓸지, 어디에 자리 잡는지, 그리고 출처가 사라진 후 무엇이 생존하는지가 그것이다. 축출을 수행하는 모든 이에게 이 귀결이 적용된다. 출처 사건을 버리고 정확도 손실이 관찰되지 않는다고 해서 그 출처가 불필요했다는 것이 입증되지는 않는다는 것이다.

기업 질의응답은 모델이 일반 역량을 포기하지 않으면서 사내 지식을 획득할 것을 요구한다. 본 논문에서는 문서에서 작업 지향적 감독(supervision) 신호를 구축하고, 일반 데이터 재생(replay)을 통한 지도 미세조정(supervised fine-tuning)을 수행한 후, 잔여 오류에 강화학습을 적용하는 3단계 파이프라인인 Wnuan을 제시한다. 707개 질문으로 구성된 WnuanBench에서, 주력 32B 경로는 적응 전 52.76%였던 허용 가능한 답변 비율(AAR)을 SFT 이후 80.06%, RL 이후 91.51%로 끌어올렸다. 동일한 100회 업데이트 프로토콜 하에서 잔여 오류 샘플링은 전체 풀(full-pool) 및 크기 일치 무작위 샘플링보다 각각 3.11포인트와 2.97포인트 높은 성능을 보였다. 소스 클러스터 부트스트랩 신뢰구간은 두 대조 비교 모두에서 0보다 크게 유지되었으며, 동일 도메인 검증 세트에서도 순서가 보존되었다. 일반 벤치마크 평균은 해당 경로 전반에 걸쳐 5.17포인트 하락했으며, 그 하락은 지시 수행(instruction following)에 집중되었다. 자동 평가 앙상블은 계층화된 Wnuan-Inst 응답 표본의 90.5%에서 권위 있는 도메인 전문가와 일치하는 판단을 내렸다. 이러한 결과는 단계적 기업 적응의 성과와 일반 역량 비용을 동시에 규명한다.

다중모달 대규모 언어 모델(MLLM)은 사전 학습된 언어 모델의 풍부한 사전 지식과 시각적 입력을 통합함으로써 강력한 성능을 달성한다. 그러나 이러한 모델은 시각적 증거가 사전 학습된 지식과 충돌할 때, 특히 시각 중심 작업에서 종종 실패한다. 우리는 두 가지 진단 패러다임을 사용하여 이러한 실패를 개별적으로 탐구한다. (1) 이미지 재구성을 통해 시각적 정보가 이용 가능한지 조사하고, (2) 모델이 언어 사전보다 시각적 맥락을 따르는 정도인 다중모달 맥락 민감도를 측정한다. 두 번째를 지원하기 위해 우리는 다섯 가지 거친 수준의 차원(공간-시간, 색상, 개수, 크기, 무게)에 걸친 WhatIfVis 벤치마크를 도입하며, 이 벤치마크의 질문은 이미지 또는 사전 지식 중 어느 쪽에서도 답을 얻을 수 있다. 우리의 분석은 세 가지 발견을 제시한다. (i) 거친 수준의 시각적 증거는 보존되는데, 이는 이러한 속성들이 고정된(frozen) MLLM의 최종 계층 이미지 토큰에서 재구성될 수 있기 때문이다. 따라서 이러한 속성에 관한 질문에서의 실패는 지각 중 시각적 인코딩의 저하가 아니라 지각 후 활용 문제를 가리킨다. (ii) 시각적 증거를 사용하거나 무시하도록 명시적으로 지시받은 경우에도 (WhatIfVis에 대한 지도 미세 조정을 거치지 않은) 기본(vanilla) 모델은 불안정한 시각적 맥락 민감도를 보인다. 지도 미세 조정(SFT)은 이러한 제어 가능성을 개선하고 도메인 전반에 걸쳐 일반화되며, 활성화 패칭(activation patching)은 6개 모델 모두에서 시각-대-사전 지식 간의 절충이 발생하는 아키텍처별 깊이를 더욱 정밀하게 특정한다. (iii) 시각-대-사전 지식 간의 절충은 학습된 벡터를 따라 제어할 수 있다. 이 조향 벡터(steering vector)를 의도 명령 없이 적용하더라도 기본 모델에 비해 제어 가능성이 향상된다. 종합적으로, 이러한 결과는 병목 지점을 재규정하며, 이는 우리가 연구한 거친 속성에 대해 MLLM이 시각적 증거를 인코딩하지만 이에 대한 의존성을 안정적으로 제어할 수 없음을 나타낸다.

지리공간 기반 모델은 지역과 센서를 아우르며 전이되는 표현을 학습하는 것을 목표로 하지만, 특정 작업에서 이를 평가하려면 모델이 데이터로부터 가치를 얼마나 잘 추출하는지 측정하는 대규모의 고품질 다중 모달 벤치마크가 필요합니다. 홍수 매핑에 있어 기존 데이터셋은 대규모에서 이중 시기 SAR와 공동 등록된 광학 영상을 결합하는 경우가 드물어, 이 다운스트림 작업에 대한 기반 모델의 가치는 대체로 검증되지 않은 상태입니다. 우리는 Copernicus Emergency Management Service 활성화 기록에서 파생된 대규모 다중 모달 홍수 분할 벤치마크인 GEOID-Flood를 소개합니다. 이 벤치마크는 10년에 걸쳐 65개국에서 발생한 219개 사건을 포괄합니다. 데이터셋은 GRD 및 RTC 형식의 사전·사후 이벤트 Sentinel-1, 사전 이벤트 Sentinel-2 합성 영상, DEM을 포함하여 공동 등록된 14,000개 이상의 타일을 제공하며, 배경과 상시 수역 및 범람 수역을 구분하는 수동 검증 라벨을 포함합니다. 이 벤치마크를 사용하여 우리는 단일 이미지, 다중 시기, 다중 모달 프로토콜에 걸쳐 기반 모델을 기존 인코더와 비교 평가합니다. 세 가지 주요 결과를 보고합니다: 기반 모델은 일관되지만 미미한 이점을 제공하며, 미세 조정을 통한 광학-SAR 융합이 일시적 홍수를 가장 잘 구분하고, GEOID-Flood로 훈련된 모델은 기존 데이터셋으로 훈련된 모델보다 보지 못한 사건에 더 잘 전이됩니다. 데이터셋과 코드는 https://github.com/links-ads/geoid-flood에서 확인할 수 있습니다.

세계 행동 모델(World Action Models, WAM)은 행동 생성과 미래 상태 예측을 결합한다. 이들의 효과성은 미래 역학이 행동 생성과 정렬되는 동시에, 행동이 장면에서 일으키는 변화의 위치와 방식을 포착할 수 있을 만큼 기하학 인식적인 공간에서 모델링되는지에 달려 있다. 기존 WAM은 일반적으로 이러한 요구사항의 일부만을 충족하며, 지각적 부담이 큰 관찰 공간 목표나 행동 관련성과 기하학적 구조를 위해 공동으로 구조화되지 않은 보조 잠재 공간에 의존한다. 본 논문은 정책 파생 표현 공간에서 기하학 인식 행동 조건 역학을 직접 학습하는 자기 유도 프레임워크인 SG-WAM을 제안한다. SG-WAM은 학습 가능한 역학 토큰과, 개입하는 로봇 행동에 조건화된 미래 잠재 상태를 예측하는 자기 유도 세계 예측기(Self-Guided World Predictor)를 도입한다. 예측 목표는 동일한 정책 백본의 지수 이동 평균(EMA) 사본으로 생성되어, 행동 전문가가 사용하는 표현 계열 내에서 안정적인 감독을 제공한다. 기하학적 감독은 정책 이미지 토큰 표현을 추가로 구조화하여 역학 토큰에 공간적으로 근거된 맥락을 부여하고, 행동 관련성과 기하학 인식성을 모두 갖춘 미래 정렬 공간을 산출한다. 잠재 미래 예측, 기하학적 그라운딩, 플로우 매칭 행동 생성은 통합 프레임워크에서 종단 간 공동 최적화된다. 대규모 체화 사전학습 없이 0.9B 모델을 기반으로 구축된 SG-WAM은 LIBERO에서 평균 98.5%, LIBERO-Plus에서 73%의 성공률을 달성하며, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 실세계 평가 모두에서 강력한 베이스라인들을 능가한다.

픽셀 공간 확산 모델은 원시 픽셀 위에서 직접 종단 간 생성기를 학습하는 것을 목표로 한다. 이는 단일 모델이 동일한 고차원 공간에서 전역 구조와 지역 질감을 모두 포착해야 하기 때문에 어렵다. 최근 연구들은 대체 예측 대상, 학습 목적, 아키텍처를 통해 픽셀 확산을 개선하지만, 이러한 발전들은 일반적으로 새로운 모델을 처음부터 학습시켜야 한다. 우리는 더 저렴하고 보완적인 전략이 있음을 보여준다: 동결된 사전 학습 픽셀 확산 모델이 자기 자신을 안내할 수 있다. 핵심 관찰은 사전 학습된 픽셀 확산 트랜스포머의 중간 레이어가 주요 저주파 구조를 포착하는 거친 예측으로 디코딩될 수 있고, 최종 레이어는 국소 고주파 세부 사항을 점진적으로 정제한다는 것이다. 따라서 우리는 중간 레이어에 경량 예측 헤드를 부착하고, 백본을 동결한 채, 중간 예측과 최종 예측 간의 차이를 샘플링 중 자기 안내 방향으로 사용한다. 이 헤드를 학습시키기 위해 실제 이미지가 필요하지 않음을 추가로 발견했다. 대신 모델 생성 샘플만으로 충분하며, 특히 픽셀 확산이 과소적합하는 경향이 있는 고주파 성분을 강화하는 데 있어 실제 이미지보다 더 나은 성능을 보인다. ImageNet의 여러 픽셀 확산 모델에서, 우리의 합성 자기 안내(SSG)는 일관되게 생성을 개선하며 어댑터 학습은 전체 모델 학습 계산량의 1% 미만을 요구한다. 즉, 분류기 없는 안내(CFG) 없이 평가된 JiT 변형들에서 FID를 50% 이상 줄이고, CFG를 사용하는 강력한 기준 모델들을 더욱 개선한다(예: JiT-H/16은 1.86에서 1.67로, PixelREPA-H/16은 1.81에서 1.59로). 우리의 코드는 https://github.com/zfu006/SSG에서 확인할 수 있다.