일간 논문

LLM 에이전트는 검색, 브라우징 인터페이스, 터미널 도구를 활용하여 여러 차례의 상호작용을 통해 사용자 목표를 완수할 것으로 기대된다. 그러나 모든 목표가 명확히 지정되거나 사용 가능한 환경에서 달성 가능한 것은 아니다. 이러한 경우, 신뢰할 수 있는 에이전트는 추가 상호작용이 도움이 되지 않을 것임을 인지하고 더 이상의 도구 호출을 중단해야 한다. 본 연구에서는 불확실성 하에서 에이전트가 언제 행동을 중단해야 하는지를 결정하는 문제인 에이전트적 기권(Agentic Abstention)을 정의한다. 일반적으로 단일 턴의 응답 또는 기권 결정으로 평가되는 표준 LLM 기권과 달리, 에이전트적 기권은 순차적 의사결정 문제로, 에이전트는 각 턴에서 응답, 기권, 또는 추가 정보 수집을 선택할 수 있으며, 기권의 필요성은 환경과 상호작용한 이후에야 명확해질 수 있다. 본 연구는 웹 쇼핑, 터미널 환경, 질의응답 전반에 걸쳐 이 문제를 다루며, 13개의 LLM-as-agent 시스템과 2개의 에이전트 스캐폴드(agent scaffold)를 28,000개 이상의 태스크에서 평가한다. 실험 결과는 핵심 과제가 에이전트가 기권할 수 있는지 여부뿐만 아니라 언제 기권하는지에도 있음을 보여준다. 일부 에이전트는 기권해야 할 때 절대 기권하지 않는 반면, 다른 에이전트는 많은 불필요한 상호작용 이후에야 기권한다. 이러한 격차는 지시사항이 환경에 의해 달리 드러나기 전까지는 실행 가능해 보이는 태스크(예: 지시사항과 일치하는 유효한 결과가 없는 경우)에서 특히 크게 나타난다. 또한 모델 규모, 추론 능력, 에이전트 스캐폴딩이 기권에 서로 다른 방식으로 영향을 미치며, 더 크거나 더 강력한 모델이 때로는 적시 기권(timely abstention) 성능이 더 낮다는 점을 발견했다. 마지막으로, 전체 상호작용 궤적을 재사용 가능한 중단 규칙으로 증류하는 컨텍스트 엔지니어링 기법인 CONVOLVE를 도입하여 에이전트적 기권을 개선한다. WebShop에서 CONVOLVE는 모델 파라미터를 업데이트하지 않고도 적시 기권을 크게 개선하여, Llama-3.3-70B의 적시 재현율을 26.7에서 57.4로 향상시켰다. 데이터셋과 코드는 https://lhannnn.github.io/agentic-abstention에서 확인할 수 있다.

스트리밍 비디오 편집 기술은 빠르게 발전해 왔으나, 실제 배포는 두 가지 핵심 문제로 인해 여전히 제한되고 있다: 시간 경과에 따른 안정적인 배경 및 미편집 영역 유지, 그리고 실시간 대화형 시나리오에 필요한 낮은 지연 시간 달성이다. 또한, 최근의 스트리밍 비디오 생성 방법은 대부분 합성을 위해 개발되었으며, 엄격한 보존 요구 사항과 영역별 제어로 인해 편집에 직접 적용될 수 없다. 본 연구에서는 내용 보존이 뛰어나고 실시간 응답성을 갖춘 인과적 프레임별 편집을 수행하는 새로운 스트리밍 비디오 편집 프레임워크를 제시한다. 핵심 설계는 강력한 양방향 기반 모델에서 효율적인 단방향 스트리밍 편집기로 편집 능력을 점진적으로 전이하는 3단계 증류 파이프라인으로, 시각적 충실도를 희생하지 않으면서 장기적으로 안정적인 편집을 가능하게 한다. 실시간 배포를 더욱 지원하기 위해, 우리는 프레임 간 영역 관련 연산을 재사용하여 중복 처리를 크게 줄이고 추론을 가속화하는 AR 중심 마스크 캐시를 도입한다. 마지막으로, 스트리밍 비디오 편집을 위한 전용 벤치마크를 구축한다. 광범위한 평가를 통해 본 방법이 스트리밍 기준 모델 중 최고 수준의 시각적 품질을 달성하면서도 추론 속도를 12.66 FPS로 획기적으로 향상시켜 대화형 및 증강현실 애플리케이션에 적합함을 입증한다.

저희는 에이전트 수평선 확장을 통해 조 단위 매개변수 수준의 성능에 도달하는 35B 혼합 전문가 에이전틱 모델, Agents-A1을 소개합니다. 에이전트 수평선 확장을 장기 궤적 확장과 이기종 에이전트 능력 확장이라는 두 가지 관점에서 연구합니다. 이를 지원하기 위해 외부 지식, 행동, 관찰 및 검증 결과를 연결하여 평균 길이 45K 토큰의 에이전트 궤적을 생성하는 장기 수평선 지식-행동 인프라를 구축합니다. 이를 바탕으로 3단계 방법론을 사용하여 Agents-A1을 훈련합니다. 첫째, 전체 도메인 지도 미세 조정을 수행하여 기본 모델을 광범위한 에이전트 행동에 정렬합니다. 둘째, 각 도메인의 전문 지식을 포착하기 위해 도메인 수준 교사 모델을 훈련합니다. 셋째, 주요 어휘 정렬을 통한 다중 교사 도메인 라우팅 기반 온-정책 증류를 제안하여 서로 다른 도메인 간의 지식 전이 효율성을 개선하고, 여섯 개의 이기종 도메인을 하나의 배포 가능한 학생 모델로 통합합니다. Agents-A1은 장기 수평선 에이전트 벤치마크에서 강력하고 광범위한 성능을 달성합니다. Kimi-K2.6 및 DeepSeek-V4-pro와 같은 1조 매개변수 모델과 비교하여 Agents-A1은 SEAL-0(56.4), IFBench(80.6), HiPhO(46.4), FrontierScience-Olympiad(79.0) 및 MolBench-Bind(56.8)에서 선도적인 결과를 보여주며, SciCode(44.3), HLE(47.6) 및 BrowseComp(75.5)에서도 높은 경쟁력을 유지합니다. 본 연구가 35B 에이전트를 사용하여 장기 수평선 작업에서 1T 모델의 성능에 도달하거나 일치시킬 수 있는 실용적인 경로를 커뮤니티에 제공할 수 있기를 바랍니다.

대규모 언어 모델과 활용 프레임워크가 지속적으로 발전함에 따라, 터미널에서 작동하는 에이전트는 코딩을 넘어 더 폭넓은 일반 컴퓨터 사용 작업을 수행할 수 있는 능력을 점차 갖추고 있다. 그러나 기존 벤치마크는 범용 터미널 컴퓨터 사용 에이전트(TUA)를 적절히 평가하지 못한다. 일반 컴퓨터 사용 벤치마크는 주로 그래픽 사용자 인터페이스(GUI)를 대상으로 하는 반면, 터미널 기반 벤치마크는 역사적으로 셸에서 사용되던 기술 및 프로그래밍 중심 워크플로우에 크게 초점을 맞추고 있기 때문이다. 우리는 터미널 사용 에이전트를 위한 범용 벤치마크인 TUA-Bench를 소개한다. TUA-Bench는 다섯 가지 작업군에 걸쳐 120개의 실제 작업을 포함하며, 문서 편집, 이메일 관리, 실시간 웹 정보 검색과 같은 일상적인 디지털 활동뿐만 아니라 박사 수준의 도메인 전문가와 공동 설계한 과학 및 엔지니어링 워크플로우(전문 소프트웨어 필요)도 다룬다. 이러한 폭넓은 범위는 TUA-Bench를 기존의 셸 중심 또는 도메인 특화 벤치마크와 차별화한다. 각 작업은 수작업으로 설계되었으며, 결정론적 설정 스크립트가 포함된 실제 터미널에서 실행되고, 실행 기반 점수 평가 프로토콜로 평가된다. 최첨단 프론티어 에이전트인 Claude Code(Claude Opus 4.8 최대 추론 노력)는 전체 성능 65.8%를 달성했으며, 두 트랙 모두에서 상당한 격차를 보였다. TUA-Bench는 터미널 사용 능력에 대한 광범위하고 현실적인 평가를 제공함으로써, 좁고 작업 특화된 어시스턴트에서 다양한 디지털 환경에서 안정적으로 작동할 수 있는 범용 에이전트로의 전환을 가속화하는 것을 목표로 한다.

LLM 추론 중 메모리 소비를 줄이기 위해 KV 캐시 가지치기를 위한 여러 방법들이 제안되었다. 이러한 기법들은 많은 데이터셋에서 무손실 메모리 감소를 달성할 수 있지만, 최적의 성능을 얻기 위해 입력/도메인 특화된 KV 캐시 예산 임계값을 사전에 결정해야 한다는 덜 강조된 조건에 종종 의존한다. 그러나 이러한 입력 민감형 설계는 오픈 도메인 입력이 다양한 도메인, 길이 및 난이도에 걸쳐 있으며 임계값 선택에 대한 명확한 경계가 없기 때문에 실제 시나리오에서 상당히 제한될 수 있다. 결과적으로, 이러한 입력 민감형 임계값에 대한 의존성은 임의의 입력에 대해 큰 성능 저하를 초래하는 근본적인 한계가 될 수 있다. 본 연구에서는 임계값 제약을 제거하여 강건한 KV 압축을 달성하는 새로운 목표를 제안하며, 전체 캐시 성능을 유지하면서 예산 할당을 적응적으로 조정하는 "임계값 없는" 방법을 주장한다. 그런 다음 이 목표의 첫 번째 구현체로서 새로운 방법인 ReFreeKV를 제안한다. 다양한 컨텍스트 길이, 작업 유형 및 모델 크기를 포함한 13개 데이터셋에 걸친 광범위한 실험을 통해 그 효율성과 효과성을 입증한다. 코드는 https://github.com/Patrick-Ni/ReFreeKV에서 공개적으로 제공된다.

표 형태 데이터의 예측 머신러닝을 위한 파운데이션 모델은 최근 학계와 산업계에서 상당한 주목을 받고 있다. 다양한 분야의 연구 커뮤니티는 점점 더 다양한 데이터셋과 작업에서 테이블 파운데이션 모델을 평가하고 있다. 그러나 이러한 작업 및 분야별 평가는 벤치마크 소프트웨어와 평가 프로토콜이 분산되어 있어 모델 연구자들이 접근하기 어려운 경우가 대부분이다. 그 결과, 모델 연구자들은 주로 테이블 파운데이션 모델이 이미 우수한 성능을 보이는 작업에 대해 정의된 표준 벤치마크에 의존하게 된다. 가장 도전적인 시나리오는 제외되어, 더 광범위하고 까다로운 과제보다는 IID 데이터에 대한 미세한 개선에 초점을 맞춤으로써 해당 분야의 의미 있는 발전을 제한한다. 이를 극복하기 위해, 우리는 다양한 작업 유형(IID, 시간적, 그룹화), 샘플 크기 및 특성 차원 규모, 다양한 특성 유형(텍스트 포함, 고카디널리티)을 다양한 분야에 걸쳐 지원하는 최초의 통합적 포괄적 테이블 데이터 벤치마크인 BeyondArena를 소개한다. 표준 벤치마크를 넘어선 통합적 벤치마킹을 가능하게 하기 위해, 우리는 예측 머신러닝을 위한 테이블 데이터셋을 큐레이팅하기 위한 Python 프레임워크 및 메타데이터 스키마인 Data Foundry를 소개한다. 11개 모델과 142개 큐레이팅된 데이터셋에 대한 실험 결과, 기존 테이블 파운데이션 모델은 소규모에서 중간 규모의 IID 데이터에서 뛰어난 성능을 보이는 반면, 전통적인 트리 기반 및 딥러닝 모델은 비IID, 대규모, 고차원 데이터셋에서 여전히 우세함을 보여준다. BeyondArena는 테이블 데이터의 가장 까다로운 과제에 대한 모델 연구를 안내하여 진정한 기반 테이블 모델을 향한 발전을 가능하게 한다.

물리적 상호작용은 긴 꼬리 분포를 따른다. 즉, 일상적이고 규칙적인 상호작용의 집합이 인간 경험과 시각 데이터를 지배하는 반면, 드물고 불규칙한 상호작용의 광범위한 스펙트럼은 충분히 표현되지 않는다. 최근 이미지 및 비디오 생성 모델을 포함한 시각적 세계 모델이 기존 벤치마크에서 인상적인 사실성을 달성했지만, 이들은 주로 일상적인 물리적 상호작용을 시뮬레이션하는 데 초점을 맞춘다. 이는 핵심 질문을 제기한다: 현재의 시각적 세계 모델이 물리적 원리를 내면화하고 일반화하는가? 본 연구에서는 세계 모델이 불규칙한 물리적 상호작용을 시뮬레이션하도록 도전하는 벤치마크인 Tailor-Bench를 소개한다. 체계적인 평가를 위해, 모델 추론을 점진적으로 도전하는 세 가지 시나리오 모드를 설계했다: 일반(Regular) 시나리오는 흔한 도구-작업 쌍을 반영하고, 비전통적(Unconventional) 시나리오는 기존 도구를 속성 호환 대체물로 대체하여 어포던스 일반화를 테스트하며, 불가능(Impossible) 시나리오는 속성을 위반하는 도구를 도입하여 제약 인식을 탐구한다. 또한, 통합된 평가 프로토콜 아래에서 두 가지 보완적 설정을 설계했다: 예측 생성(predictive generation)은 안내 없이 결과를 추론해야 하고, 기술 생성(descriptive generation)은 충실한 구현을 위해 목표 결과를 명시한다. 실험 결과는 물리적 세계 모델링에서 명확한 긴 꼬리 격차를 드러낸다: 일반에서 비전통적, 불가능 시나리오로 갈수록 성능이 저하되어, 일반 상호작용을 넘어서는 일반화가 제한적임을 나타낸다. 실패 분석은 모델이 표면적인 시각 패턴에 의존함을 추가로 보여준다: 이미지 모델은 올바른 상태 변화를 실현하지 못하는 반면, 비디오 모델은 시간적 불일치를 더 겪는다.

최근 다중 모달 대규모 언어 모델(MLLM)에 대한 관심은 핵심 질문을 제기한다: 이러한 모델이 개별 프레임에서 객체나 사건을 단순히 인식하는 것을 넘어, 동적인 시각적 증거를 바탕으로 추론할 수 있는가? 우리가 비디오 시간-논리적 추론이라고 부르는 이 능력은 모델이 프레임 전반에 걸쳐 시각적 상태가 진화함에 따라 증거를 유지, 갱신 및 구성해야 한다. 기존 비디오 벤치마크는 종종 이러한 능력을 장면 복잡성, 정적 인식 또는 통제되지 않은 시간적 변동성과 혼동한다. 이 능력을 분리하기 위해, 우리는 다섯 가지 시간-논리적 연산, 즉 상태 추적, 순차적 계수, 시간 순서화, 동적 공간성, 구조적 구성을 중심으로 구성된 통제된 벤치마크인 Video-MME-Logical을 소개한다. 이 벤치마크는 통제된 객체 상태, 전이, 시간적 의존성, 논리적 구성을 통해 생성된 25개의 세분화된 과제 범주를 포함한다. 시간적 지평과 추론 복잡도를 변화시켜 난이도가 통제된 최종 답변 평가를 가능하게 하며, 모델이 최종 답변을 생성하기 전에 필요한 논리적 추론 과정을 재구성하는지 검증함으로써 중간 상태 진단을 지원한다. 최첨단 MLLM을 사용한 실험은 특히 시간-논리적 복잡도가 증가함에 따라 상당한 인간-모델 격차를 드러낸다. 최대 50만 개의 생성된 샘플에 대한 지도 기반 미세 조정은 성능을 향상시키지만 추론 격차를 해소하기에는 여전히 부족하며, 이로써 Video-MME-Logical은 MLLM에서 시간-논리적 추론을 분석하고 개선하기 위한 확장 가능한 시험대로 자리매김한다.

온-정책 증류(OPD)는 교사 피드백의 지도를 받아 학생 모델이 자체 롤아웃(rollout)을 통해 학습하는 방식으로, 대규모 언어 모델(LLM) 사후 학습(post-training)에서 점점 더 중요해지고 있다. 그러나 강화 학습(RL)과 마찬가지로 OPD도 온-정책 시스템 병목 현상에 직면하는데, 추론 워크로드의 경우 롤아웃이 훈련 시간을 지배할 수 있기 때문이다. 비동기 학습 파이프라인은 롤아웃 생성과 학습자 업데이트를 분리함으로써 이러한 병목 현상을 완화할 수 있지만, 이 과정에서 지연 정책(stale-policy) 데이터가 도입된다. 선행 연구에서 비동기 RL의 지연 데이터를 다루었지만, OPD에서의 영향은 아직 충분히 탐구되지 않았다. 본 연구는 비동기 OPD에서 지연성(staleness)에 대한 최초의 체계적 연구를 제시하며, 특히 교사 피드백이 지역 KL 손실을 통해 구현되고 전체 어휘에 대한 교사 로짓을 저장하거나 전송하는 비용이 매우 커서 유한한 교사 점수 캐시가 필요한 실용적 환경에 초점을 맞춘다. 첫째, KL 방향이 지연 데이터 문제를 변화시킨다는 점을 보인다. 교사 가중 순방향 KL은 지연된 롤아웃에 더 강건한 반면, 학생 가중 역방향 KL은 취약하다. 둘째, 취약한 역방향 KL 사례에 대해 비동기 RL을 안정화하기 위해 설계된 방법이 OPD의 지연성을 완화할 수 있는지 연구한다. 실험 결과, 이러한 방법들은 학습자 시간에 현재 학생 모델 하에서 역방향 KL 신호를 재계산하는 더 간단한 OPD 특화 대체 방법보다 개선되지 않았다. 셋째, 유한한 교사 점수 캐시가 희소 및 샘플링 기반 역방향 KL OPD 추정기에 대해 편향-분산 트레이드오프를 어떻게 생성하는지 분석한다. 이는 MC 수정 가능성(MC correctability)을 유지하면서 단일 샘플 분산을 줄이는 다중 샘플 몬테카를로(MC)를 동기 부여한다. 마지막으로, 이러한 추정기 선택을 바탕으로 구축된 완전 비동기 OPD 학습 파이프라인인 AsyncOPD를 제시하고 오픈소스로 공개한다. 실험 결과, AsyncOPD는 엄격한 동기식 학습에 비해 학습 처리량을 1.6배에서 3.8배까지 향상시키면서도 유사한 정확도를 달성한다.

비디오 이해는 다중 모달 지능의 핵심 역량이며, 최근 다중 모달 대규모 언어 모델(MLLM)은 비디오 질문 응답(VideoQA) 벤치마크에서 뛰어난 성능을 달성했다. 그러나 기존 벤치마크는 주로 모델이 피상적인 시각적 단서를 인식할 수 있는지 평가하는 데 초점을 맞추고 있으며, MLLM이 비디오 튜토리얼로부터 더 깊은 지식이나 절차적 기술을 학습하여 이를 장기적인 에이전트 작업으로 일반화할 수 있는지 여부는 거의 검토하지 않는다. 이러한 격차를 해소하기 위해, 우리는 VG-GUIBench(Video-Guided GUI Benchmark)라는 새로운 벤치마크를 도입한다. 이 벤치마크는 MLLM 기반 GUI 에이전트가 비디오 튜토리얼을 따라 해당 GUI 상호작용 작업을 완료할 수 있는지 평가하도록 설계되었다. 또한, 우리는 VideoQA와 비디오 유도 에이전트 작업 모두에서 모델의 성능이 효과적인 키프레임 추출에 결정적으로 의존함을 관찰했다. 이러한 관찰에 기반하여, 우리는 TASKER(Task-driven And Scene-aware Keyframe searchER)라는 키프레임 추출 알고리즘을 제안한다. 이 알고리즘은 작업 관련성과 장면 역학을 동시에 고려하여 정보성 프레임을 식별한다. 실험 결과, TASKER는 VideoQA 및 비디오 유도 에이전트 작업 벤치마크 모두에서 유의미한 성능 향상을 달성했으며, EgoSchema 전체 집합에서 최고 기준선보다 2.0%, NExT-QA 데이터셋에서 1.8% 더 높은 성능을 기록했다. 이러한 결과는 비디오 이해 작업을 위한 일반화된 키프레임 추출 방법의 잠재력을 더욱 강조한다. 우리의 코드와 데이터는 https://github.com/VG-GUI-TASKER/VG-GUI-TASKER에서 확인할 수 있다.

현대의 대규모 LLM 사전 학습은 파이프라인 병렬 처리를 활용함으로써 이점을 얻지만, 동기식 구현은 파이프라인 버블 동안 GPU를 유휴 상태로 만들어 컴퓨팅 자원을 낭비한다. 비동기 파이프라인 병렬 처리는 이러한 버블을 제거하여 처리량을 극대화하지만, 그래디언트 지연이라는 대가를 치른다. 비동기 스케줄 중에서 PipeDream-2BW는 특히 매력적이다: 원래 PipeDream 스케줄과 달리 파이프라인 깊이와 무관하게 일정한 한 단계 그래디언트 지연을 보장한다. 그러나 지연 하에서의 최적화가 근본적으로 불안정하다는 일반적인 믿음으로 인해 그 채택은 여전히 제한적이다. 본 연구에서는 이러한 가정에 도전하며, 한 단계 지연 하에서의 성능 저하가 본질적인 한계라기보다는 옵티마이저 선택에 크게 의존함을 보인다. 우리는 PipeDream-2BW가 도입될 당시 주류 옵티마이저였던 AdamW가 실제로 심각한 성능 저하를 겪는 반면, 최근 방법인 Muon은 한 단계 지연 하에서 강력한 견고성을 보인다는 최초의 포괄적인 실증 분석을 제공한다. 또한 지연 효과를 더욱 완화하기 위해 옵티마이저에 구애받지 않는 오류 피드백에서 영감을 받은 보정 기법을 도입한다. 보정이 있거나 없는 Muon의 수렴을 입증하는 이론적 분석을 함께 제시한다. 최대 100억 개 파라미터에 이르는 모델에 대한 광범위한 평가는 우리의 전략이 동기식 학습과의 성능 격차를 해소함을 확인하며, 대규모 비동기 파이프라인 병렬 처리의 실용적 잠재력을 강조한다.

서로 다른 실시간 음성 애플리케이션은 각기 다른 지연 시간 예산을 요구하며, 각 시나리오에 대해 별도로 학습된 향상 모델이 필요한 경우가 많다. 본 논문에서는 알고리즘 지연과 계산 지연을 모두 명시적으로 제어할 수 있는 만능 실시간 범용 음성 향상 모델을 제안한다. 알고리즘 지연은 설정 가능한 미리보기 프레임을 통해 유연하게 조정된다. 다양한 패딩 구성으로 인한 학습 비효율성을 피하기 위해, 서로 다른 미리보기 설정에 대응하는 병렬 합성곱 층을 도입한다. 계산 지연은 조기 종료 메커니즘을 통해 제어되며, 이를 통해 다양한 네트워크 깊이에서 추론이 가능하다. 전문화된 모델과 유연한 모델 간의 성능 격차를 좁히기 위해, 공유-다중 디코더 전환을 포함한 2단계 훈련 전략을 제안한다. 전반적으로, 제안된 프레임워크는 별도의 모델을 재훈련하지 않고도 다양한 지연 시간 예산에서 단일 모델을 배포할 수 있게 한다.

최근 3D 가우시안 스플래팅(3D Gaussian Splatting)의 발전은 새로운 시점 합성(new view synthesis)에서 전례 없는 성공을 보여주고 있다. 그러나 고차 구면 조화 함수(Spherical Harmonics, SH)로 인한 상당한 추론 및 저장 오버헤드는 모바일 플랫폼의 주요 병목 현상이다. 본 논문에서는 리소스가 제한된 모바일 플랫폼을 위해 오버헤드를 크게 줄이면서 고품질 렌더링을 달성하도록 설계된 실시간 가우시안 스플래팅 방법인 Flux-GS를 제시한다. 먼저, 몬테카를로 반사 에너지 집계기(Monte Carlo Specular Energy Aggregator)를 제안하여 3차 방사 잔차(radiance residuals)를 샘플링하고 반사 에너지를 컴팩트한 잠재 공간(latent space)에 집계한다. 이를 통해 본 방법은 값비싼 증류(distillation)나 사전 학습 없이도 낮은 차수의 밴드에서 시각적으로 두드러진 조명 특징을 효과적으로 보존한다. 압축 중 손실된 고주파 세부 정보를 완화하기 위해 속성 조건부 SH 향상 모듈(Attribute-Conditioned SH Enhancement module)을 도입한다. 이 모듈은 본질적인 가우시안 속성에 기반하여 가우시안 인식 오프셋(Gaussian-aware offsets)을 예측함으로써 추가 추론 비용 없이 추론 전에 1차 SH 표현을 향상시킨다. 또한, 기존의 단일 뷰 기반 기울기 밀집화(densification)는 과도한 가우시안을 생성하고 특정 뷰에 과적합(overfitting)되기 쉽다. 이러한 한계를 극복하기 위해 다중 뷰 알파 기반 밀집화 및 가지치기 전략(Multi-view Alpha-based Densification and Pruning strategy)을 제안한다. 다중 뷰 가이던스를 활용함으로써 다중 뷰 구조 일관성을 보장하고 중복 원시 요소를 정밀하게 제거한다. 광범위한 실험을 통해 Flux-GS가 경쟁력 있는 시각적 품질을 유지하면서도 상당한 매개변수 감소를 달성하여 실시간 모바일 렌더링을 위한 강력하고 확장 가능한 솔루션을 제공함을 입증한다. 코드: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

에이전트적 다중 모달 모델은 코드를 통해 이미지에 대해 다양한 연산을 수행하고 반환된 뷰에 대해 추론하며, 이는 세분화된 시각적 질문 응답을 위한 효과적인 패러다임이다. 그러나 코드 연산은 유용하거나, 중복되거나, 오해를 불러일으킬 수 있다. 결과 전용 보상은 이러한 경우들을 정확히 구분할 수 없으며, 기존의 과정 보상은 최종 정확성을 개별 도구 호출에 귀속시키지 못하거나 외부 판단 모델을 필요로 한다. 이를 해결하기 위해, 우리는 두 개의 결합된 이점 채널 위에 구축된 코드-도구 에이전트를 위한 GRPO 변형인 Tool-Augmented Credit Optimization (TACO)을 소개한다. 첫 번째는 Differential Answer-Probe Reward (DAPR)로, 각 도구 호출이 정답에 미치는 자체 효과에 따라 신용을 부여하는 자기 지도적이고 판단자 없는 도구 기여 이점이다. 모델의 추론에 삽입된 프로브 토큰은 도구가 있는 경우와 없는 경우의 예측을 유도하며, 결과 보상의 차이가 호출의 가치로 취해진다: 유용한 호출에 대해서는 양수, 오해를 불러일으키는 호출에 대해서는 음수, 아무것도 변경하지 않는 호출에 대해서는 0이다. 이는 보조 판단자 없이 기존 정답 검사기를 재사용하며, 절대적 프로브 점수가 아닌 차이이므로 자연스럽게 프로브 해킹에 강건하다. 두 번째는 최종 답변의 결과 이점으로, Outcome-Gated Advantage Routing (OGAR)에 의해 분배된다: 이는 호출의 결과에 따라 조건부로 이 신용을 책임 있는 세그먼트에만 전달하여 비용 항목 없이 낭비된 도구 호출을 억제하는 매개변수 없는 규칙이다. 우리는 2단계 SFT+RL 파이프라인을 통해 TACO를 훈련한다. 지각, 추론 및 일반 다중 모드 벤치마크에 걸친 광범위한 실험은 이것이 일관된 정확도 향상을 가져오며 도구가 도움이 될 때만 호출하도록 학습함을 보여준다.

기존 컴퓨터 사용 벤치마크는 실제 컴퓨터 사용의 현실성, 복잡성 및 장기적 요구를 포착하지 못하여 최첨단 에이전트의 한계를 드러내는 능력을 제한합니다. 우리는 일상 및 전문 작업에 걸친 108개의 장기 컴퓨터 사용 워크플로우로 구성된 벤치마크인 OSWorld 2.0을 소개합니다. 이는 복잡하고 도전적인 실제 현상을 포착하도록 설계되었습니다. 각 작업은 인간 사용자가 완료하는 데 중간값 약 1.6시간이 소요되고, 최대 사고(maximum thinking)를 사용하는 Claude Opus 4.7에서 평균 318회의 도구 호출이 필요한 현실적인 종단간 워크플로우를 나타냅니다(OSWorld 1.0에서는 약 30회). OSWorld 2.0은 실제 워크플로우에서 흔하지만 이전 벤치마크에서는 과소 대표된 도전 현상을 대상으로 합니다. 여기에는 스트리밍 상호작용 및 동적 환경과 같은 상호작용 설계 도전 과제와, 교차 소스 추론, 암시적 상태 추론, 시각-공간 정밀도와 같은 에이전트 패턴 도전 과제가 포함됩니다. 작업은 실제 입력 인공물에 기반하며 현실적인 상태 유지 사용자 프로필 데이터와 상호 참조되며, 안전에 민감한 실행을 감사하는 별도의 안전 보고서를 포함합니다. 500단계에서의 주요 이진 완료 지표 하에서, 최대 사고 및 배치 도구 호출을 사용하는 Claude Opus 4.8이 가장 높은 점수를 기록했지만 여전히 20.6%의 작업만 완료하고 부분 점수는 54.8%입니다. GPT-5.5는 훨씬 더 토큰 효율적이지만 약 13%에서 정체됩니다. 이러한 결과는 현재 에이전트가 여전히 전문가 수준의 컴퓨터 사용에 크게 미치지 못함을 보여줍니다. 기본 GUI 제어나 코딩에서 어려움을 겪기보다는, 제약 조건을 놓치고, 작업 중간에 도착하는 정보를 놓치며, 사용자에게 묻지 않고 추측하고, 검증을 생략하며, 작업이 복구해야 할 숨겨진 상태에 달려 있을 때 가장 어려움을 겪습니다.

대부분의 코딩 에이전트 벤치마크는 정적(static)이다. 즉, 에이전트는 처음부터 완전한 작업 설명을 받고 최종 코드만으로 평가된다. 실제 코딩 지원은 대화형(interactive)으로, 사용자가 여러 차례에 걸쳐 목표를 명확히 하고, 제약 조건을 추가하며, 실수를 수정한다. 본 연구에서는 실제 사용자-에이전트 코딩 세션에서 재구성한 다중 턴(multi-turn) 벤치마크인 SWE-Together를 소개한다. 실제 상호작용을 검증 가능하게 만들기 위해, 11,260개의 기록된 세션에서 109개의 저장소 수준 작업(repository-level tasks)을 선별하였으며, 복구 가능한 저장소 상태, 명확한 사용자 목표, 관찰 가능한 결과가 있는 세션을 선택하였다. 이러한 상호작용을 다양한 에이전트에서 재현하기 위해, 원래 사용자의 의도를 유지하고 코딩 에이전트의 진행 상황에 따라 피드백을 제공하는 반응형 LLM 기반 사용자 시뮬레이터를 구축하였다. 에이전트를 협력자로 평가하기 위해, 최종 저장소 정확성(final repository correctness)과 상호작용 중 필요한 교정 피드백 턴(corrective feedback turns)의 수를 모두 측정한다. 최첨단 코딩 에이전트를 대상으로 한 실험 결과, 더 강력한 에이전트는 일반적으로 더 적은 개입이 필요하면서도 더 높은 최종 성공률을 달성하여, 개선된 사용자 경험을 시사한다.

음성 언어 모델(SLM)은 광범위하게 연구되어 왔으며, 일반적인 패러다임은 텍스트 데이터와 사전 학습된 텍스트 언어 모델을 통합하는 것이다. 주요 접근 방식 중 하나는 음성-텍스트 인터리빙(interleaving)으로, 모델이 음성 토큰과 텍스트 토큰을 모두 포함하는 시퀀스에 대해 학습되어 음성 전용 능력까지 향상시키는 것을 목표로 한다. 그러나 이 두 양식이 모델의 잠재 공간에서 상호작용하는 방식은 여전히 불분명하다. 본 연구에서는 로짓 렌즈(logit lens)의 관점을 통해 서로 다른 모델 패밀리와 크기를 가진 인터리빙된 음성-텍스트 언어 모델을 분석하여 이러한 통찰을 제공한다. 우리는 이러한 모델들이 음성 인식용으로 학습되지 않았음에도 불구하고, 중간 계층에서 음성 단어의 텍스트 토큰이 디코딩 가능해지는 암시적 전사 단계를 거친다는 것을 밝혀냈다. 해당 단어의 전사는 데이터의 최대 77%에서 상위 후보 단어 중 하나로 나타난다. 이 단계 이후, 모델은 텍스트 공간에서 다음 단어를 예측한 후 다시 음성 도메인으로 변환한다. 마지막으로, 본 행동을 유발하는 데 있어 인터리빙 데이터와 텍스트 언어 모델로부터의 초기화의 역할을 분석하고, 이것이 음성 지식 능력과 어떻게 상관관계를 가지는지 살펴본다. 본 분석은 음성과 텍스트 양식 간의 관계를 뒷받침하는 내부 메커니즘에 대한 조명을 제공하며, SLM 최적화의 방향을 제시할 수 있다.

현대 지능의 근본적 기반이 되는 데이터는 현재의 기반 모델 발전에 크게 기여해 왔다. 자연스럽게 연구자들은 이러한 패러다임을 GUI 에이전트 영역으로 확장하여 유사한 방식을 통해 강력한 GUI 에이전트를 구축하고자 한다. 그러나 GUI 에이전트 데이터는 인터넷에서 직접 수집할 수 없으므로 대규모로 확보하는 데 비용이 많이 들고 어렵다. 그 결과, 현재의 GUI 에이전트는 교차 기기 일반화 능력이 부족하고 미세한 GUI 요소에 대한 시각적 근거 파악 능력이 제한적이다. GUI 에이전트의 데이터 문제를 해결하기 위한 시도로서, 우리는 GUICrafter를 제안한다. 이는 대규모의 주석 없는 스크린샷을 활용하여 고가의 인간 주석에 대한 의존도를 대폭 줄이는 약지도 학습 기반 GUI 에이전트이다. GUICrafter는 두 단계의 점진적 과정을 통해 GUI 에이전트를 훈련하는 커리큘럼 학습 프레임워크를 탐구한다. 첫 번째 단계에서 모델은 인간 주석 없이 GUI 상호작용에 내재된 풍부한 맥락 신호를 활용하여 대규모 주석 없는 스크린샷과 웹페이지로부터 시각적 근거를 학습한다. 그런 다음 2단계에서는 소량의 고품질 데이터를 활용하여 강화 학습을 통해 모델을 보정한다. 실험 결과, GUICrafter는 UI-TARS와 같은 최첨단 시스템에 비해 경쟁력 있거나 오히려 우수한 성능을 달성하면서도 데이터 사용량은 0.1%에 불과하다. 또한 동일한 양의 주석 데이터를 사용할 때 GUICrafter는 GUI-R1 등 이전의 모든 방법을 능가한다. 코드, 데이터 및 모델은 https://github.com/fansunqi/GUICrafter에서 확인할 수 있다.

본 논문에서는 실시간 상호작용 세계 시뮬레이션을 위한 기초 월드 모델 프리뷰인 DreamForge-World 0.1 Preview를 제시합니다. 본 시스템은 Wan2.1-T2V-1.3B에서 파생된 LongLive 1 자기회귀 비디오 스택을 채택하되, Matrix-Game 계열에서 영감을 받은 잔차 행동 경로를 통합합니다. DreamForge-World 0.1 Preview는 프론티어급 월드 시뮬레이터와 상호 보완적인 축, 즉 낮은 연산 적응성, 소비자 GPU 기반 실행, 그리고 광범위한 상호작용 기능 범위에 중점을 둡니다. 라이브 키보드 및 마우스 제어, 멀티모달 초기화, 중간 스트림 재프롬프팅, 이중 화면 작동, 그리고 네이티브 480p 해상도에서 분 단위 상호작용 롤아웃을 지원하며, 단일 RTX 4090에서 낮은 메모리 사용량으로 최대 14~15 FPS에 도달합니다. 공개 비디오 백본을 활용하고 표적 적응 실행을 적용함으로써, 우리는 높은 비용 효율성으로 프리뷰 시스템을 구축합니다. DF-World 0.1 Preview는 아직 메모리 완전성이나 프론티어 수준의 월드 시뮬레이터는 아니지만, 소비자 GPU에서 실시간 제어 가능한 월드 모델 프리뷰를 위한 실용적인 저연산 경로를 입증합니다.

이미지 매팅에서 인상적인 발전이 있었음에도 불구하고, 비디오 매팅은 프레임별 이해를 요구하는 고수준 추적과 극도로 미세한 세부사항에 초점을 맞춘 저수준 매팅 사이의 본질적인 차이로 인해 여전히 어려운 과제로 남아 있습니다. 기존 방법들은 비용이 많이 들고 범위가 제한된 비디오 매팅 데이터셋을 사용하여 이를 시도하지만, 이는 도메인 외 일반화를 제한하고 추적 견고성을 저하시킬 수 있습니다. 우리는 SAM2Matting을 통해 패러다임을 재고합니다. 이는 VOS 추적기를 고충실도 비디오 매팅으로 발전시키는 추적-매팅 프레임워크입니다. 구체적으로, 이 프레임워크는 기본 추적기(예: SAM2, SAM3)를 영역 제안 브리지와 전용 매팅 헤드로 강화하여 작업을 분리함으로써, 손상되지 않은 추적기가 시간적 일관성을 처리하고 매팅 구성 요소가 미세한 세부사항을 해결할 수 있도록 합니다. 주목할 점은, 이미지로만 훈련되었음에도 불구하고 SAM2Matting은 비디오 매팅에서 새로운 최첨단 성능을 확립하고, 다양한 프롬프트 유형을 지원하며, 강력한 시간적 일관성을 유지하고, 인간 중심 시나리오와 실제 환경 시나리오 모두에서 강력한 일반화 능력을 입증한다는 것입니다.

정규화 흐름(Normalizing Flows, NFs)은 정확한 밀도 추정과 샘플링이 가능한 강력한 생성 모델이다. 그러나 엄격한 가역성으로 인해 모델이 저수준 픽셀 세부 사항에 용량을 소진하는 경우가 많아, 고수준 의미 구조의 포착이 저해된다. 마스크 이미지 모델링(Masked Image Modeling, MIM)은 표현 학습에서 뛰어난 성과를 보였지만, 생성 파이프라인으로의 통합은 대부분 모듈식으로 분리되어 상호 연결성이 부족했다. 본 논문에서는 잠재 의미, 픽셀 재구성 및 생성 흐름을 공동으로 최적화하는 통합 엔드 투 엔드 프레임워크인 MIMFlow를 제안한다. VAE 인코더를 사용하여 마스킹된 이미지로부터 의미 잠재 변수를 추론함으로써, MIMFlow는 생성 작업의 원칙적인 분리를 달성한다. 즉, 정규화 흐름은 단순화된 저주파 의미 다양체를 모델링하는 데 집중하고, 전문화된 디코더가 고주파 합성을 담당한다. 이러한 설계는 NF의 고유한 용량 병목 현상을 효과적으로 해결하여 모델이 중복 잡음보다 전역 구조적 일관성을 우선시할 수 있게 한다. ImageNet 256×256에 대한 실험 결과, MIMFlow-L은 71.3%의 선형 프로빙 정확도와 2.50의 FID를 달성했다. 표준 모델보다 50% 적은 128개의 토큰만 사용함에도 불구하고, 유사한 규모의 NF 기준선 대비 32.8%의 성능 향상을 보였다. 코드는 https://github.com/MCG-NJU/MIMFlow에서 확인할 수 있다.

시계열 예측 연구는 전문화된 트랜스포머에서 범용 기초 모델에 이르기까지, 용량이 정확도를 결정한다는 가정 하에 지속적으로 더 큰 아키텍처로 이동해 왔다. 우리는 이와 반대 입장을 취한다: 대부분의 격차는 모델을 확장하는 대신 전처리를 조정함으로써 훨씬 낮은 비용으로 좁힐 수 있다. 우리는 능형 회귀(Ridge regression)를 시험 대상으로 사용하는데, 이는 폐쇄형 해(closed-form solution)를 가지며 가중치가 해석 가능하여 최적의 하이퍼파라미터를 탐색에서 직접 읽어낼 수 있기 때문이다. 우리는 여덟 가지 표준 벤치마크에서 컨텍스트 길이, 지역 정규화, 정규화, 증강(augmentation)을 탐색하여 세 가지 패턴을 발견했다. (1) 최적의 lookback은 시계열에 매우 특화되어 있으며 예측 지평(forecast horizon)에 대해 종종 비단조적(non-monotonic)이고, 적합된 거듭제곱 법칙 지수(power-law exponent)는 ETTm2에서 +0.46에서 Exchange 및 Traffic에서 -0.19까지 다양하여, 더 긴 지평이 더 긴 과거 데이터를 필요로 한다는 관례에 도전한다. (2) 컨텍스트 전체가 아닌 학습된 후행 부분(trailing fraction)에 대해 정규화하는 것이 거의 보편적으로 선호된다. (3) 동일한 데이터셋 내의 시계열도 하이퍼파라미터에 대해 서로 다른 의견을 보이며; 최적의 교차 시계열 공유 정도는 완전 공유에서 완전 개별 시계열까지 다양하다. 결과 모델은 대부분의 데이터셋-지평 항목에서 기존 선형 예측기를 능가하며, 여덟 개 벤치마크 중 여섯 개에서 트랜스포머, MLP, CNN 기준 모델을 초과한다. 최적화된 하이퍼파라미터는 데이터 자체에 대한 진단 도구 역할도 하여, 더 큰 모델이 학습된 파라미터에 조용히 흡수하는 구조를 드러낸다.

우리는 고해상도 텍스트-이미지 합성을 위한 최첨단 마스크드 이산 확산 모델(MDM)인 Nemotron-Labs-Diffusion-Image를 제안한다. 마스크드 이미지 생성에 대한 이전 연구와 비교하여, Nemotron-Labs-Diffusion-Image는 두 가지 핵심 과제를 해결한다. 첫째, 전체 이미지에 걸쳐 잠재 표현을 점진적으로 개선하는 연속 확산 모델과 달리, 표준 MDM은 이산 토큰이 마스크 해제된 후에는 수정될 수 없기 때문에 자기 교정 능력이 부족하다. 둘째, 이산 이미지 토크나이저의 어휘 크기를 늘리면 재구성 충실도가 향상되지만, 토큰별 훈련 신호가 점점 희소해지면서 생성 모델링에 최적화 어려움이 발생한다. 첫 번째 과제를 해결하기 위해, Nemotron-Labs-Diffusion-Image는 추론 중에 이미 마스크 해제된 토큰을 동적으로 수정할 수 있는 토큰 편집 메커니즘을 도입하는데, 이는 조각가가 작업을 반복적으로 다듬는 방식과 유사하다. 두 번째 과제를 해결하기 위해, 우리는 임베딩 공간에서 정답에 인접한 토큰에 양의 학습 신호를 할당하여 신호 희소성을 완화하는 그룹화된 교차 엔트로피(GCE) 목적 함수를 제안한다. 훈련 효율성을 더욱 향상시키기 위해, 우리는 큰 어휘 설정에서 VRAM 사용량을 크게 줄이는 GCE용 맞춤형 융합 연산자를 구현한다. 실험 결과는 이러한 혁신이 마스크드 이산 이미지 생성기의 훈련 효율성과 이미지 충실도를 모두 실질적으로 향상시켜 GenEval에서 0.90, DPG에서 86.9, HPSv3에서 10.76의 점수를 달성함을 보여준다.

수학적 지식은 명제들과 그 의존성들을 중심으로 조직되지만, 이러한 구조는 고르게 드러나지 않는다. 비형식 논문은 대개 문서 수준에서 인용하는 반면, 형식 라이브러리는 훨씬 적은 양의 수학에 대해 세분화된 의존성을 기록한다. 우리는 비형식 수학과 형식 수학을 모두 아우르는 통합된 명제 수준 의존성 그래프인 TheoremGraph를 소개한다. 비형식 측면에서는 수학 arXiv에서 1170만 개의 정리류 환경을 구문 분석하고 1830만 개의 후보 방향성 의존성을 복원하며, 각 의존성은 이를 제안한 추출기로 레이블링되어 하위 사용자가 범위와 정밀도를 절충할 수 있게 한다. 형식 측면에서는 Lean 4 정교화기 수준 추출기인 LeanGraph를 공개하며, 25개의 Lean 프로젝트에 걸쳐 388,105개의 선언 노드와 1130만 개의 타입 엣지를 생성한다. 우리는 생성된 자연어 슬로건을 공유된 의미 공간에 임베딩하여 두 그래프를 연결하며, 이는 논문 간 및 비형식/형식 경계를 넘어 관련 명제들을 연결한다. LLM 판정기는 코사인 하한 0.8 이상에서 47,952개의 일치를 확인하며, 판정기 수용률은 하한에서 48%에서 0.9 이상 구간에서 87%로 상승한다. 형식 개념 검색에서 우리의 이름-시그니처 표현과 그래프 확장은 언어모델 재순위화기 없이 LeanSearch v2의 재순위화된 Recall@10에 0.5%포인트 차이로 근접한다(0.775 대 0.780). 우리는 데이터셋, 추출기, HTTP API, MCP 인터페이스를 수학 검색, 귀속 및 검색 증강 추론을 위한 인프라로 공개하며, theoremsearch.com과 huggingface.co/datasets/uw-math-ai/theorem-matching에서 이용 가능하다.

LLM 에이전트는 조직을 대신하여 도구 호출을 통해 사용자 요청을 처리하며, 시스템 프롬프트에 명시된 회사 정책을 따라야 한다. 기존 연구는 이를 보호 문제, 즉 규정을 위반하는 에이전트 행동을 차단하는 외부 검사 방식으로 접근했다. 그러나 우리는 정책 준수가 더 광범위한 문제라고 주장한다. 실제 워크플로는 여러 턴에 걸쳐 전개되며, 명시적 사용자 확인과 선행 읽기를 요구하고, 단일 인자 값이 아닌 대화 내용에 의존하기 때문이다. 이러한 기준을 충족하려면 (i) 전체 대화 맥락, (ii) 정책 및 현재 대화에 대한 자기 추론, (iii) 에이전트의 다음 턴을 안내하는 대화별 시정 조치가 필요하다. 이는 기존 보호 연구에서 종종 과소평가된 세 가지 능력이다. 우리는 POLICYGUARD를 소개한다. 이는 에이전트와 대화 보기를 공유하고, 맥락 내에서 정책을 추론하며, 에이전트의 다음 턴에 대한 실행 가능한 피드백을 제공하는 하위 에이전트 검증기이다. tau²-BENCH 항공 데이터셋에서 세 가지 벤더(GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro)와 설정별 4회 시행을 통해 POLICYGUARD는 PASS4를 각각 +12.0, +6.0, +12.0 퍼센트 포인트 개선했다. 호출별 분석 결과, POLICYGUARD가 인자 수준 보호 장치보다 차단 빈도는 약 절반이면서도 더 높은 정책 위반 재현율을 달성함을 보여준다.

카메라 제어 세계 탐험을 위한 대화형 비디오 생성 시스템은 잠재 비디오 프레임의 연속적인 시퀀스를 생성하며, 상태 전이와 고주파 관측 합성을 결합한다. 본 논문에서는 프레임 잠재 변수 대신 고정 길이의 렌더링 가능한 내재 상태인 신경 내재 장면(Neural Implicit Scene, NIS)을 생성 변수로 사용하는 장면 중심 패러다임인 *Implicit 속 걷기*(Walking in the Implicit)를 제안한다. 이는 대화형 생성을 압축된 장면 상태의 확률적 전이와, 샘플링된 상태에 기반한 결정론적 포즈 조건부 렌더링으로 분해한다. 우리는 이 패러다임을 NeuWorld로 구현한다. 트랜스포머 VAE는 희소 포즈 프레임으로부터 국소적으로 고정된 NIS를 학습하고, 확산 트랜스포머는 미래 카메라 궤적 및 기하학 인식 검색 이력에 조건화하여 NIS를 진화시킨다. VAE 인코더를 통합 조건부로 재사용함으로써, NeuWorld는 카메라, 참조 이미지, 이력 신호를 동일한 NIS 모달리티로 매핑하여 외부 이종 인코더를 피한다. 사전 학습된 비디오 백본이나 보조 3D 재구성기 없이 공개 포즈 뷰 데이터로 처음부터 학습된 NeuWorld는 우수한 추론 효율성과 함께 강력한 장기 일관성을 달성한다.

RocketSmith는 발사에 적합한 고출력 로켓 개발을 위한 DFAM(Design for Additive Manufacturing) 프로세스를 지능적으로 자동화하는 에이전트 시스템이다. 이 시스템은 대규모 언어 모델을 활용하여 소프트웨어 도구의 실행을 조율함으로써 비행 안정성과 같은 설계 특성을 검증하고, 로켓 조립체에 대한 파라메트릭 설계 구성 요소를 생성한다. 다양한 서브에이전트와 기술을 통해 제로샷(zero-shot) 및 인간 개입 루프(human-in-the-loop) 워크플로우 모두에서 반복을 통한 비행 파라미터 최적화가 가능하다. 이 시스템을 활용하여 적층 제조의 고유한 설계 역량을 이용해 서로 다른 모터 및 조립 구성을 가진 네 가지의 고출력 로켓이 개발되었다. 이 조립 구성 요소들은 다양한 FDM 프린터를 사용하여 제작되었으며, 비행 준비 상태를 수동으로 평가한 후 발사 이벤트에서 비행 시험을 수행하였다. 시험 결과, 모든 로켓이 안정적인 발사를 달성했으며, 네 발 중 두 발은 재비행 가능한 상태로 성공적으로 회수되었다. 고도계 데이터는 로켓이 에이전트 시스템이 예측한 정점(apogee)의 약 80% 고도에 도달했음을 확인시켜 주었으며, 이는 시뮬레이션과 실험 간의 일관성을 입증한다.

인간 문항 난이도를 예측하는 것은 교육 평가의 핵심 과제로, 신뢰할 수 있는 추정치는 공정성과 효과적인 검사 구성을 뒷받침한다. 기존 방법은 종종 비용이 많이 드는 인간 교정이나 문항 수준의 텍스트 표현에 의존하며, 문항을 어렵게 만드는 인지 과정에 대한 제한적인 증거만을 제공한다. 우리는 난이도가 단순히 문항 텍스트의 속성일 뿐만 아니라, 문항이 유발하는 문제 해결 부담의 관찰 가능한 결과로도 간주되어야 한다고 주장한다. 대규모 추론 모델(LRM)은 추론 흔적을 통해 확장 가능한 과정 증거를 제공하지만, 이러한 증거는 해석 가능한 모델링을 지원할 수 있도록 구조화되어야 한다. 이를 위해, 우리는 Epi2Diff(Episode to Difficulty) 프레임워크를 도입한다. 이 프레임워크는 LRM 추론 흔적을 인지적으로 기반을 둔 에피소드 시퀀스로 매핑한다. 이러한 에피소드는 추론 흔적의 세그먼트를 기능적 문제 해결 상태로 그룹화하여, 추론 규모, 노력 할당, 상태 전환을 통해 난이도를 모델링할 수 있게 한다. Epi2Diff는 간결한 에피소드-동역학 특징을 추출하고 이를 의미론적 문항 표현과 결합하여 인간 난이도를 예측한다. 네 개의 실제 인간 난이도 데이터셋에 대한 실험에서 Epi2Diff는 미세 조정된 소형 언어 모델, LLM 맥락 내 학습, 지도 학습 기반 LLM 적응을 포함한 강력한 기준선을 일관되게 능가한다. SAT 기반 분류 벤치마크에서 Epi2Diff는 지도 학습 기반 LLM 미세 조정 기준선 대비 평균 8.1%의 상대적 성능 향상을 달성한다. 추가 분석에 따르면, 더 어려운 문항은 단순히 더 긴 응답을 유발하는 것이 아니라, 더 많은 노력, 반복적이고 구현 중심적인 에피소드 동역학을 유발한다. 이러한 결과는 LRM 추론 흔적 내의 인지 에피소드가 인간 문항 난이도에 대한 예측 가능하고 해석 가능한 과정 표현을 제공함을 보여주며, 추론 모델을 활용한 교육 측정에 새로운 관점을 제시한다.

MLLM 기반 GUI 그라운딩 방법들은 일반적으로 목표 위치 추정을 자기회귀적 좌표 생성으로 정식화하여, MLLM의 강력한 명령 수행 및 의미 이해 능력을 활용할 수 있게 한다. 그러나 이러한 정식화는 모델이 영역 수준의 목표 증거를 유지하면서, GUI 클릭에 요구되는 공간적 정밀도로 좌표 토큰을 디코딩해야 한다. 진단 분석 결과, 목표 영역 인식은 중간 디코더 계층에서 나타나지만, 최종 좌표 예측으로 유지되거나 변환되지 않는다는 점이 밝혀졌다. 기존 ZoomIn 스타일 방법들은 외부 확대-재실행 과정을 통해 이 문제를 해결하며, 위치 추정은 개선되지만 종단 간 지연 시간과 계산 비용이 증가한다. 이러한 추가 비용 없이 이중 패스 확대의 정확도 이점을 유지하기 위해, 우리는 계층 간 증거 연결을 위한 단일 순방향 프레임워크인 InnerZoom을 제안한다. InnerZoom은 원래 순방향 전달에서 목표 관련 단서를 간결한 계층 간 증거 상태로 변환한 후, 이 상태를 이후 디코딩 계층 전체에 걸쳐 보존, 정제 및 재주입하여 좌표 예측을 유도한다. 광범위한 실험 결과는 InnerZoom-4B가 여섯 개의 모든 GUI 그라운딩 벤치마크에서 최첨단 성능을 달성하여, OSWorld-G에서 64.7, UI-Vision에서 40.2, OSWorld-GR에서 73.1, MMBench-GUI에서 87.6을 기록하며, 각각 이전 최고 결과를 4.1, 3.2, 2.9, 2.3포인트 능가함을 보여준다. 통제된 4B 설정에서 InnerZoom은 동일한 SFT+RL 기준선을 평균 5.3포인트 개선하고, 이중 패스 ZoomIn을 평균 1.3포인트 능가하면서, 종단 간 지연 시간을 최대 31.8%, TFLOPs를 약 29% 감소시킨다. 코드와 모델은 공개될 예정이다.

기초 비전-언어 인코더를 특수 검색 작업에 적용하는 것은 근본적인 트레이드오프를 야기한다. 목표 분포에서의 성능 향상은 기초 모델의 광범위한 일반화 능력을 희생하는 대가로 얻어지며, 패션 검색은 이러한 문제의 엄격한 사례에 해당한다. 본 논문에서는 ZooClaw-FashionSigLIP2를 제안한다. 이는 패션 특화 SigLIP2-베이스 모델로, 간단한 레시피——큐레이팅된 인-도메인 데이터에 대한 전체 파인튜닝 및 지식 증류, 이어서 \wiseft~wortsman2022wiseft 가중치 보간을 통한 베이스 모델과의 결합——을 통해 해당 트레이드오프를 해결하며, LoRA, 더 큰 백본(최대 1B 파라미터), 외부 훈련 데이터보다 우수한 성능을 보인다. 공정한 평가 하에 ZooClaw-FashionSigLIP2는 우리 벤치마크 제품군의 모든 평가 지표에서 모든 기준선을 능가한다. 또한, 새로운 고품질 패션 검색 벤치마크인 ZooClaw-Fashion과, 널리 사용되는 벤치마크들의 체계적인 품질 분석을 공개하여 공개 정답 데이터에 내재된 구조적 편향을 드러내고 완화한다. 향후 연구를 촉진하기 위해 모델 가중치와 모든 평가 산출물을 오픈소스로 공개한다.

생성적 분자 설계는 약물 유사 특성에 대한 단순한 대리 벤치마크와 대규모 제약 데이터셋에서 사전 훈련된 모델에 의해 형성됩니다. 이러한 조합은 강력한 벤치마크 지표를 산출하지만, 약물 발견과 구조적으로 다른 도메인으로의 전이성을 제한합니다. 이러한 한계를 극복하고 발견을 실제적이고 과학적으로 근거한 목표로 이끌기 위해, 우리는 기계 학습(ML)과 양자 재료 과학을 연결하는 나노기술 분자 최적화(NMO) 벤치마크를 소개합니다. NMO는 ML 커뮤니티를 위한 엄격한 테스트베드이자 동시에 나노기술 연구를 위한 발견 엔진 역할을 합니다. 이 제품군은 대리 오라클을 양자 시뮬레이션으로 대체하고, 리더보드 지향 과적합보다 과학적 유용성을 우선시하는 엄격한 프로토콜을 도입합니다. 물리 기반 NMO 작업은 엄격한 구조적 제약과 거친 적합도 풍경을 부과하여 생성 모델에 근본적으로 새로운 요구 사항을 제기합니다. 특히, 고급 분자 최적화 방법은 NMO 작업에서 훨씬 간단한 접근 방식보다 성능이 떨어집니다. 우리는 구조적 제약을 모델링하기 위한 새로운 표현과 제약 데이터셋 편향을 제거하기 위한 도메인 불가지론적 사전 훈련 전략을 포함하여 NMO 작업을 해결하기 위한 핵심 구성 요소를 식별하는 새로운 기준 방법을 개발합니다. 우리의 결과는 최첨단 물리적 특성을 능가하고 이전에 알려지지 않은 구조적 모티프를 밝혀내어, 나노기술 커뮤니티에 새로운 통찰력을 제공하고 ML이 진정한 과학적 발견을 추진할 수 있음을 입증합니다.

실제 응용에서 가드레일은 사전 정의된 위험 분류에 의존하기보다 애플리케이션별 안전 정책에 따라 안전하지 않은 사용자-모델 상호작용을 식별하는 것이 흔히 요구된다. 본 연구에서는 이러한 설정을 맥락 내 정책 가드레일링(in-context policy guardrailing) 패러다임 하에서 연구한다. 여기서 가드레일은 맥락으로 제공된 정책 명세에 기반하여 안전 위반을 예측한다. 이러한 능력을 체계적으로 평가하기 위해, 우리는 SafePyramid를 소개한다. 이는 10개 도메인에 걸친 1,000개의 다중 턴 대화와 3,000개의 해당 애플리케이션별 정책으로 구성된 안전 벤치마크로, 총 61,699개의 개별 자연어 규칙을 포함한다. SafePyramid는 평가를 세 가지 난이도 수준으로 구성한다: L0은 개별 규칙 이해를, L1은 규칙 간 의존성에 대한 추론을, L2는 맥락에서 정의된 완전히 새로운 정책 체계에 대한 적응을 평가한다. 벤치마크 품질을 보장하기 위해, 우리는 엄격한 다단계 파이프라인을 사용하여 벤치마크를 구축하고 검증한다. SafePyramid를 활용하여 10개의 최첨단 LLM과 5개의 정책 설정 가능 가드레일을 평가한 결과, 맥락 내 정책 가드레일링은 여전히 매우 어려운 과제임을 발견했다. 최고 성능 모델인 GPT-5.5조차 L0, L1, L2에서 각각 54.0%, 35.3%, 12.9%의 경우에만 위반된 모든 규칙을 정확히 식별했다. 이러한 결과는 현재 가드레일의 한계를 강조하며, 정책을 안정적으로 실행하고, 규칙 의존성을 해결하며, 새로운 정책 체계에 적응할 수 있는 더 강력한 맥락 내 정책 가드레일의 필요성을 시사한다.

대규모 추론 모델의 등장은 매우 긴 사고 사슬 흔적을 도입하여, 핵심 논리가 방대한 절차적 텍스트 아래 묻히는 투명성 부담을 초래했습니다. 이를 해결하기 위해, 우리는 복잡한 추론 체인에 대한 계층적 시각화 및 진단적 감사를 위해 설계된 오픈소스 프레임워크인 ReasoningLens를 제시합니다. ReasoningLens는 다음과 같은 방식으로 정보 해부를 수행합니다: (1) 흔적을 대화형 계층 구조로 구성하여 상위 수준 전략과 하위 수준 실행을 분리; (2) 에이전트 감사자를 활용한 자동 오류 탐지 및 도구 보강 검증; (3) 체계적 추론 프로파일을 종합하여 모델 고유의 사각지대를 식별. 비구조화된 텍스트 벽을 실행 가능한 통찰로 변환함으로써, ReasoningLens는 차세대 추론 중심 AI를 해석, 디버깅 및 최적화하기 위한 모듈식 기반을 제공합니다.

Mixture-of-Experts (MoE) 아키텍처는 시각 생성에서 확산 모델을 확장하기 위한 강력한 패러다임으로 부상했다. 최근의 발전은 효율성과 성능을 개선하기 위해 다양한 토큰에 걸쳐 계산 자원을 적응적으로 할당하는 데 초점을 맞추고 있다. 그러나 우리는 기존 확산 MoE 프레임워크에서 라우팅 할당 문제를 식별한다: 라우터가 중요한 토큰에 더 많은 계산 자원을 정확히 할당하지 못한다. 우리의 분석은 이 실패를 라우터가 노이즈 제거 과정 전반에 걸쳐 노이즈로 오염된 잠재 특징에 의존하기 때문이라고 설명한다. 이러한 확률적 노이즈는 중요한 구조적 및 질감 정보를 모호하게 하여, 라우터가 중요한 토큰을 효과적으로 구별하지 못하게 한다. 이를 해결하기 위해, 우리는 SharpMoE를 제안한다. 이는 중요도를 활용한 정확한 라우팅 메커니즘을 갖춘 사후 훈련 프레임워크로, 깨끗한 잠재 특징을 노이즈가 없는 라우팅 안내 신호로 활용한다. 노이즈로 왜곡된 입력을 우회함으로써, SharpMoE는 라우터에 명확한 중요도 안내를 제공하여 높은 노이즈 단계에서도 중요한 토큰을 식별할 수 있게 한다. 또한, 우리는 다단계 노이즈 제거 궤적 전반에 걸쳐 계산 할당을 제약하는 궤적 라우팅 손실(trajectory routing loss)을 도입하여, 생성 롤아웃 과정에서 정밀한 자원 할당을 보장한다. 광범위한 실험을 통해 SharpMoE가 사전 훈련되고 수렴된 MoE 모델을 더욱 향상시키는 다재다능한 플러그 앤 플레이 솔루션으로 작용하여, 시각 생성에서 최첨단 성능을 달성함을 입증한다.

에고센트릭 비디오로부터의 4D 손 움직임 복원은 기존 방법의 명확한 한계로 인해 병목 현상을 겪고 있다: 이미지 기반 파이프라인은 심한 폐색 하에서 실패하는 검출기에 의존하는 반면, 비디오 기반 방법은 희소한 손 포즈 주석에서만 학습된 시간적 모듈에 의존하며, 이는 움직임 역학, 폐색 추론, 손-물체 상호작용을 모델링하기에는 불충분한 좁은 신호이다. 그러나 이러한 능력들은 정확히 비디오 생성 모델이 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 암묵적으로 습득해야 하는 것들이다. 이에 착안하여, 우리는 사전 학습된 비디오 확산 모델의 표현을 활용하여 4D 양손 포즈를 복원하는 ViDiHand를 제시한다. 우리는 손 오버레이 렌더링 목표를 통해 이를 적응시켜, 세계 사전 지식을 유지하면서 손에 특화된 특징을 만든다. 그 후 디코더가 적응된 특징으로부터 미터법 스케일 포즈를 복원한다. 전체 파이프라인은 전체 프레임에 대해 직접 작동하며, 검출기, 보간기, 테스트 시 최적화가 필요하지 않다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 이전 방법들을 크게 능가하며, 비디오 확산 모델이 손 움직임 복원을 위한 강력한 새로운 기반이자 체화된 AI를 위한 확장 가능한 실제 환경 데이터 수집의 유망한 경로임을 확립한다. 프로젝트 페이지: https://vidihand.github.io.

비전-언어-행동(Vision-Language-Action, VLA) 모델은 명령 기반 로봇 조작을 가능하게 하지만, 사전 학습된 VLM으로부터 과도하게 큰 언어 백본을 상속받으며, 이 백본의 용량은 짧은 로봇 명령에 필요한 수준을 훨씬 초과한다. 이는 근본적인 질문을 제기한다: 폐루프 제어를 위해 VLA 모델의 어느 정도가 실제로 필요한가? 본 연구에서는 트랜스포머 블록 제거를 통제된 개입으로 활용하여 VLA 모델의 구조적 중복성을 연구한다. 우리는 Drop-Then-Recovery(DTR)라는 분석 프로토콜을 도입한다. 이는 사전 학습된 VLA 모델에서 선택된 블록을 제거한 후, 결과 모델을 미세 조정하여 제거된 용량이 하류 제어에 필수적이었는지 측정한다. 이 개입을 신뢰할 수 있게 만들기 위해, 하류 행동 손실에 대한 블록의 기여도를 순위화하는 원샷 가상 게이트 민감도 지표인 GateProbe를 제안한다. 여러 VLA 아키텍처, 조작 벤치마크, 심지어 실제 로봇 산업 시나리오에 걸쳐, 제거 후 회복 가능성에서 강한 비대칭성이 관찰된다: *언어 백본은 표준 로봇 조작 작업에 대해 매우 중복적인 반면, 비전 및 행동 경로는 제거에 훨씬 덜 관대하다*. LIBERO에서는 동일한 하향 미세 조정 예산 하에서 LLM 블록의 절반을 제거하면 오히려 OpenVLA-OFT가 95.0%에서 98.3%로 향상되며, 단 두 개의 언어 블록만 유지해도 기준 성능을 회복한다. 이러한 결과는 현재의 VLA 벤치마크가 심층 언어 접지 및 구성적 명령 이해에 제한적인 압력을 가하고 있음을 시사하며, 향후 VLA 아키텍처는 언어, 비전, 행동 구성 요소 간에 용량을 더 의도적으로 할당해야 함을 암시한다. 코드는 https://github.com/s1ghhh/VLADrop에서 확인할 수 있다.

다중 에이전트 대규모 언어 모델(LLM) 시스템은 종종 검증 에이전트와 비평 에이전트를 활용하여 환각을 억제하지만, 검증 과정에는 지연이 발생한다. 이 지연 동안 거짓 주장이 에이전트 네트워크를 통해 전파될 수 있다. 우리는 이 과정을 접지된 교정 노드가 있는 그래프 상의 지연된 합의로 모델링한다. 접지 라플라시안에 의한 스펙트럼 분해는 검증 용량에 대한 닫힌 형태의 안정성 임계값을 제공한다. 즉, 너무 강하거나 너무 지연된 교정은 합의를 진동으로 전환시킬 수 있다. 가장 불안정한 영역은 통신 지연과 검증 지연이 일치할 때 발생하며, 지연이 2인 경우 임계값은 역 황금비이다. 동일한 프레임워크는 초모듈러 배치 목적 함수와 제한된 교정 자원을 영향력 있는 노드에 할당하기 위한 탐욕적 (1-1/e) 근사 규칙을 제공한다. 5개의 공개 모델을 대상으로 한 실험은 예측된 용량-지연 진동을 확인한다. 이와 대조적으로, 접지된 사실 기반 응답은 진리를 흡수 경계로 만들어 그 효과를 제거하며, 이는 불안정성이 부호화된 신념 작업에 특화되어 있고 접지된 검증은 여전히 안정화한다는 것을 시사한다.

최근 연구는 프로그래밍 언어의 핵심 과제인 프로그램 최적화를 위한 대규모 언어 모델(LLM)의 잠재력을 입증했다. 본 논문에서는 Retrieval Augmented Search(RAS)라는 블랙박스 적응 방법을 제안한다. 이 방법은 후보 최적화에 대해 빔 서치를 수행하며, 각 단계에서 느린-빠른 프로그램 쌍으로 구성된 주어진 훈련 데이터셋에서 문맥 내 예제를 검색하여 LLM을 안내한다. 중요한 점은, LLM이 생성한 자연어 설명을 기반으로 문맥 검색을 수행하는 것이 소스 코드 기반 검색보다 훨씬 우수하다는 것을 발견했다는 것이다. 또한 훈련 예제를 본질적으로 훨씬 더 점진적인 '원자적 편집'으로 분해하여 해석 가능성을 개선하는 방법인 AEGIS를 제안한다. RAS가 C++ 프로그램 최적화에서 이전 최신 블랙박스 적응 전략보다 최대 2.06배 더 우수한 성능을 보이며, AEGIS는 훨씬 더 작은 편집을 수행하면서 최대 1.37배 더 우수함을 보여준다. 또한 RAS를 사용하면 기준선 대비 Python 프로그램의 평균 실행 시간 백분위수가 10.27 향상됨을 보여준다.

텍스트와 이미지를 생성할 수 있는 생성형 AI 모델의 발전은 특히 두 양식이 교차된 작업에서 멀티모달 지능의 중요한 진전을 의미한다. 이러한 지능을 다음 단계로 발전시키기 위해서는 모델이 자율적으로 자유 형식의 교차된 텍스트-이미지 시퀀스를 생성할 수 있어야 한다. 본 논문에서는 ILLUME-X를 소개한다. 이는 멀티모달 데이터 효율성을 개선하고 멀티모달 훈련 과정을 안정화함으로써 고품질의 자유 형식 교차 텍스트-이미지 생성을 가능하게 하는 진보된 통합 멀티모달 패러다임이다. ILLUME-X는 세 가지 핵심 구성 요소로 이루어진다: (i) 교차 텍스트-이미지 생성에 최적화된 확장된 훈련 데이터 파이프라인, (ii) 자유 길이 멀티모달 토큰 시퀀스를 위한 자기 적응적 목표를 갖춘 점진적 훈련 전략, (iii) 교차 텍스트-이미지 시퀀스에 대한 객관적이고 포괄적인 평가 방법인 ILScore. 특히, ILLUME-X는 스타일 전이, 이미지 분해 및 스토리텔링과 같은 여러 교차 텍스트-이미지 생성 작업에서 이전 통합 모델보다 우수한 성능을 보인다.

자기충돌은 SMPL 기반 인간 포즈 추정 및 움직임 생성에서 지속적인 난제로 남아 있다. 극단적인 관절 움직임이나 확률적 움직임 합성 하에서 생성된 메시는 종종 자기침투를 보여주며, 물리적으로 타당하지 않은 결과를 초래한다. 우리는 SMPL 포즈 공간에서 직접 정의된 신경 충돌 제약 조건인 PoseShield를 제안한다. 충돌 보정을 제약 최적화 문제로 정식화하고, 학습된 제약 조건을 에이코날 방정식과 연결한다. 에이코날 정칙화를 적용하면 충돌 경계 근처에서 기울기가 사라지지 않도록 보장하여 최적화 과정의 수치적 안정성과 강건성을 향상시킨다. 메시 공간에서 작동하거나 휴리스틱 패널티에 의존하는 기존 방법과 달리, 우리의 접근 방식은 인간 포즈의 저차원 공간에서 직접 작동하며 이론적 기반을 갖춘다. 동일한 학습된 제약 조건은 인간 움직임 시퀀스로 확장되어, 기본 움직임 모델을 재학습하지 않고도 생성기와 무관한 사후 충돌 보정기를 제공한다. 새로 구축된 SMPL 포즈 벤치마크에 대한 실험에서 우리 방법은 95.8%의 성공률을 달성하며 최신 기준선을 능가한다.

현재 신경 집단에서의 표현 신뢰도 모델은 시간적 안정성, 즉 집단 중심이 세션과 날짜에 걸쳐 보존되는지 여부에 초점을 맞추고 있다. 이러한 틀은 근본적인 질문을 남겨둔다: 자극 간 쌍별 거리 구조가 세션 내 독립적 관찰에서 얼마나 신뢰롭게 재현되는가? 우리는 이 속성, 즉 기하적 안정성이 기존 프레임워크가 포착하지 못하는 표현 분석의 독립적인 축을 구성한다고 주장한다. 우리는 기하적 안정성을 분할-반분 표현 유사성 행렬 간의 스피어만 순위 상관계수(Shesha)로 정식화하고, 이것이 시간적 안정성 및 디코딩 정확도와 경험적으로 분리 가능함을 보여준다. 시각 변별 과제(Steinmetz et al., 2019)에서 68개 뇌 영역에 걸친 229개의 영역-세션 관찰을 통해, 기하적 안정성은 시행별 신경-행동 결합을 예측하는 반면(ρ=0.18, p=0.005), 중심 표류는 그렇지 않았다(ρ=0.002, p=0.976). 줄무늬체가 가장 안정적이고(S=0.44) 해마가 가장 덜 안정적인(S=0.19) 영역 계층 구조는 시간적 안정성 계층 구조와 대략 반대 방향으로 나타난다. 방향적으로 일관된 후각 데이터(Bolding & Franks, 2018)는 재귀적 흥분성 결합이 희박한 피드포워드 입력으로부터 자극 패턴을 완성함으로써 분할-반분 RDM 일관성을 증폭시키는(ρ=+0.64, p=0.010) 끌개 네트워크 모델을 동기부여하며, 이는 기하적 안정성이 어떻게 발생하는지에 대한 회로 수준의 설명을 제공한다. 이러한 결과는 기하적 안정성을 시간적 표류 측정과 직교하고 재귀적 연결성이 해마 회로에서 표현 안정성과 순차적 역학을 어떻게 균형 맞추는지에 대한 최근 설명을 보완하는, 기능적으로 관련 있고 회로 의존적인 신경 집단 코드의 속성으로 확립한다.

우리는 로봇 학습을 위한 전이 가능한 역학 사전 지식을 학습하는 확장 가능한 방법으로서, 행동 조건화된 세계 모델링(action-conditioned world modeling)을 연구한다. 모델이 행동이 시각 장면의 진화를 어떻게 유도하는지 예측하도록 사전 훈련함으로써, 결과적으로 얻어진 세계 모델은 외관 수준의 비디오 생성 이상으로 재사용 가능한 상호작용 역학을 포착한다. 구체적으로, 우리는 실제 행동 주석이 포함된 대규모 로봇 조작 데이터에 대해 다중 뷰 상호작용 기반 확산 세계 모델인 A2World를 사전 훈련한다. 학습된 역학 사전 지식을 두 가지 상호 보완적 관점에서 검증한다. 첫째, A2World를 작업 또는 장면 특화된 실제 세계 시뮬레이터인 A2World-sim으로 변환한다. 이 시뮬레이터의 장기 롤아웃(long-horizon rollout)은 실제 로봇 롤아웃을 세계 모델 롤아웃으로 대체함으로써, 시뮬레이터 기반 정책 평가와 확장 가능한 가상 시나리오 분석(what-if analysis)을 지원한다. 둘째, 동일한 사전 훈련 가중치에서 출발하여 A2World를 시각 및 지시 조건 하에서 행동을 예측하는 비디오-행동 공동 예측 모델인 A2World-policy로 변환한다. 시뮬레이션 벤치마크와 실제 로봇 환경에 걸친 실험은 행동 조건화된 세계 모델 사전 훈련이 시뮬레이터 중심 및 정책 중심 로봇 학습 모두에 이점을 주는 전이 가능한 역학 사전 지식을 생성함을 보여준다.

텍스트 유도 이미지 편집은 놀라운 발전을 이루었지만, 구조적 인물 사진 보정(structural portrait retouching)에는 여전히 한계가 있습니다. 텍스트 설명만으로는 얼굴 특징과 신체 비율에 대한 미세한 변화를 전달하기 어렵습니다. 이러한 격차를 해소하기 위해, 본 논문은 예시 기반 인물 사진 보정(Exemplar-Based Portrait Photo Retouching)을 도입합니다. 이 방법에서는 모델이 예시 쌍(exemplar pair)을 제공받고, 동일한 보정 작업을 새로운 질의 이미지(query image)에 추론 및 적용하는 과제를 수행합니다. 기존의 예시 기반 편집 방법은 주로 뚜렷한 시각적 변환이 있는 작업에 초점을 맞춥니다. 반면, 구조적 인물 사진 보정은 매우 섬세하고 국소적인 수정을 수반하므로, 이러한 편집을 정확하게 추출하고 전이하는 것이 어렵습니다. 이를 해결하기 위해, 본 연구는 미묘한 구조적 보정 작업을 포착하고 전이하도록 설계된 새로운 프레임워크인 MirrorPPR을 제안합니다. 본 방법은 보정 작업 추출기(Retouching Operation Extractor)를 사용하여 예시 쌍 간의 미세한 차이를 포착합니다. 추출된 표현은 커넥터(connector)와 Low-Rank Adaptation(LoRA) 모듈을 통해 사전 학습된 확산 변환기(Diffusion Transformer, DiT)에 주입됩니다. 또한, 완벽하게 정렬된 교차 동일인(cross-identity) 훈련 쌍을 구성하는 것은 작업 정렬(operation misalignment) 문제로 인해 심각한 제약을 받습니다. 이를 극복하기 위해, 엄격하게 정렬된 보정 작업을 보장하는 고급 데이터 자가 증강 패러다임(advanced data self-augmentation paradigm)을 제안합니다. 데이터 부족 문제를 완화하고 이 새로운 작업을 지원하기 위해, 4,700만 개 이상의 보정 쌍으로 구성된 대규모 데이터셋인 MirrorPPR47M을 소개합니다. 데이터셋을 시뮬레이션(simulated) 및 전문가(professional) 하위 집합으로 구조화하여 점진적 커리큘럼 학습(progressive curriculum learning)을 통해 네트워크를 원활하게 최적화할 수 있도록 합니다. 광범위한 실험 결과, MirrorPPR이 보정 품질과 정체성 보존(identity preservation) 측면에서 기존 기준선들을 크게 능가함을 입증했습니다. 프로젝트 페이지는 https://sjtu-deng-lab.github.io/MirrorPPR에서 확인할 수 있습니다.

정확한 3D 세계 표현은 단일 카메라 광선이 여러 개의 가시적이면서 기하학적으로 타당한 표면을 포함할 수 있는 층상 기하 구조를 반영해야 한다. 그러나 단안 깊이 추정은 이러한 구조를 픽셀당 하나의 스칼라 깊이로 축소한다. 투명 장면은 이러한 모호성을 측정 가능하게 만든다. 동일한 광선이 전경 유리를 통과하여 배경을 관찰할 수 있으므로, 지도 학습의 목표는 장면 자체의 본질적 진리가 아닌 주석, 데이터, 학습의 관습으로 전환된다. 학습된 예측기는 이러한 관습을 깊이 레이어 선호도로 드러낸다. 본 논문에서는 깊이 레이어 선호도와 다중 레이어 공간 관계 정확도(ML-SRA)를 측정하기 위한 희소 이중 레이어 순서형 벤치마크인 MultiDepth-3k (MD-3k)를 소개한다. MD-3k에서 주요 깊이 기초 모델들은 표준 RGB 입력 하에서 다양한 레이어 선호도를 보이며, 동일한 층상 기하 구조가 모델마다 다르게 해석될 수 있음을 보여준다. 또한, 학습이 필요 없는 스펙트럼 입력 변환인 라플라시안 시각적 프롬프팅(LVP)이 특정 고정 모델의 보고된 레이어를 상당히 변경할 수 있음을 발견했다. 가장 강력한 RGB/LVP 쌍인 DAv2-L은 75.5%의 ML-SRA를 달성한다. 이러한 결과는 깊이 기초 모델이 표준 RGB 추론에서 표현되지 않은 상보적 기하 가설을 표현할 수 있음을 시사한다. 우리는 연구 커뮤니티가 모호성 인식 렌즈를 통해 깊이 감독 및 평가를 재고하도록 초대한다. 여기서 다수의 타당한 3D 해석은 측정, 보존, 표현되어야 할 기하 구조로 취급된다.

무해한 데이터에 대한 미세 조정은 훈련 초기에 습득된 행동을 부분적으로 되돌릴 수 있다. 안전성은 사소한 정렬 후 업데이트 아래에서 침식될 수 있고, 학습 취소된 능력은 재등장할 수 있으며, 잠재적 특성은 겉보기에 무관한 지도 학습을 통해 전이될 수 있으며, 관련된 정렬 후 취약성은 다른 생성 모델 환경에서도 나타난다. 우리는 이러한 현상들을 공통의 훈련 이력 관점을 통해 바라보는 것이 유용하다고 주장한다. 우리의 가설은 기하학적이다: 초기의 큰 훈련 단계는 지배적인 행동 매니폴드를 생성하는 반면, 이후의 정렬 또는 전문화 단계는 이들로부터의 얕은 변위에 불과하다. 따라서 후속 미세 조정은 지배적 매니폴드의 증인을 향해 되돌아가는 지속적인 복귀 성분을 물려받을 수 있다. 우리는 이를 미세 조정 복귀의 중력적 해석이라고 부른다. 주요 설정 전반에 걸쳐, 표현 표류는 이력에 의해 정의된 복귀 방향(v_rev)을 따라 빠르게 성분을 획득한다. 주요 경로에서, v_rev와의 정렬은 첫 번째 업데이트 후 cos = 0.429 ± 0.052에서 20단계까지 0.647 ± 0.021로 상승한다. 24개의 실행-단계 쌍에 걸쳐, 관측된 모든 정렬은 등방성 활성화 공간 귀무 분포의 99번째 백분위수를 초과한다. 우리는 v_rev를 따른 움직임을 선택적으로 차단하면 T=100에서 최종 정렬이 0.648 ± 0.009에서 -0.211 ± 0.021로 변화하고, 유해성이 19.0% ± 4.0%에서 8.5% ± 1.5%로 감소하며 작업 비용은 거의 들지 않음을 보여준다. 이러한 결과는 v_rev가 우리 설정에서 정렬 후 초기 복귀의 인과적으로 관련된 매개체임을 뒷받침한다. 중요한 점은, 우리가 v_rev가 유일한 안전 방향이라고 주장하지 않으며, 지배적 매니폴드가 직접 관찰된다고 주장하지도 않는다는 것이다. 오히려, 우리는 초기 복귀 동역학을 설명하고 부분적으로 제어하는 강건하고 이력에 의해 정의된 방향을 식별한다.

수력 터널 검사는 기반 시설의 무결성에 중요하지만, 수동 방법을 사용할 경우 비효율적이고 위험합니다. 본 논문에서는 협업 UGV-UAV 검사를 위한 무지도(mapless) 계획 프레임워크인 FLISP(Fast LiDAR-IMU Synchronized Path Planner)를 제안합니다. 기존의 지도 기반 패러다임과 달리 FLISP는 세 가지 핵심 기여를 제공합니다: (1) 단일 UGV 탑재 LiDAR-IMU 장치가 두 플랫폼 모두에 대해 동기화된 경로 생성을 구동하는 통합 아키텍처; (2) UGV 장애물 회피를 위한 개선된 반딧불이 알고리즘(Enhanced Firefly Algorithm)과 UAV 비행을 위한 동적 반복 최적화기를 활용한 플랫폼별 솔버; (3) 상태 추정 드리프트 없이 운동학적 실현 가능성을 보장하는 계층적 정제 전략. 1.2km의 운영 터널에서 수행된 벤치마크는 FLISP가 지도 기반 방법의 구조적 병목 현상을 우회하여, 지도 래스터화 오버헤드(Fast-LIO2 + A*)와 샘플링 불안정성(LIO-SAM + RRT*)을 제거함을 입증합니다. FLISP는 7ms의 지연 시간으로 100% 성공률을 달성하며, 이는 그리드 기반 기준선 대비 7배, 샘플링 기반 기준선 대비 3자릿수 이상의 속도 향상을 나타냅니다. 운영 중인 수력 터널에서 검증된 이 접근법은 특징이 저하된 선형 기반 시설에서의 로봇 검사를 위한 확장 가능한 솔루션을 제공합니다. 데모 영상은 https://youtu.be/Y_ezs1PfLJ4에서, 코드는 https://github.com/ArchibaldGuo/FLISP.git에서 확인할 수 있습니다.

사전 훈련된 비전 기반 모델(VFM)은 강력한 의미 표현과 뛰어난 일반화 능력으로 인해 현대 컴퓨터 비전의 핵심이 되었다. 그러나 패치화되거나 풀링된 출력은 본질적으로 저해상도이므로, 세밀한 픽셀 수준 추론이 필요한 작업에서 효과가 제한적이다. 기존의 특징 업샘플링 접근법은 의미 정확도를 저하시키거나 VFM별 재훈련과 무거운 아키텍처에 의존하여 효율성과 확장성을 저해한다. 이러한 문제를 해결하기 위해, 우리는 RaysUp을 제안한다. 이는 초경량, 작업 비의존적, VFM 비의존적 특징 업샘플링 프레임워크로, 임의 해상도에서 고해상도 특징 맵을 재구성한다. 기존의 2D 보간법이나 어텐션 기반 방식과 달리, RaysUp은 특징 재구성을 기하학 인식 광선(ray) 영역으로 끌어올린다. 구체적으로, 방향 인식 안내 인코딩을 위한 공간 분리형 안내 인코더, 해상도에 유연한 재구성을 위한 임의 해상도 교차 어텐션, 그리고 6D 플뤼커(Plücker) 광선 좌표를 통해 암시적 3D 기하 사전 정보를 주입하는 새로운 광선 위치 인코딩(RayPE)을 도입한다. 마지막으로, 기하학 인식 이웃 어텐션 모듈이 기하학적 일관성을 유지하면서 내용 적응형 양방향 집계를 보장한다. 다양한 밀집 예측 작업에 걸친 광범위한 실험 결과, RaysUp은 AnyUp 대비 16%의 파라미터만을 사용하면서도 최첨단 성능을 달성하고 약 7배 빠른 추론 속도를 제공한다. 이러한 결과는 정확도-효율성 트레이드오프의 실질적인 개선을 강조하며, RaysUp을 범용 특징 업샘플링을 위한 실용적이고 확장 가능한 솔루션으로 자리매김한다. 코드는 https://github.com/MAP-RaysUp/RaysUp에서 확인할 수 있다.

표현 정렬(representation alignment)은 외부 비전 인코더의 내부 표현 쪽으로 다중 모드 대규모 언어 모델(Multimodal Large Language Models, MLLMs)의 내부 표현을 정규화함으로써 이를 개선하는 효과적인 접근 방식으로 부상했다. 그러나 기존 방법들은 일반적으로 언어 백본의 고정된 계층을 정렬할 뿐, Transformer 모델의 세밀한 구조를 간과한다. 본 연구에서는 개별 어텐션 헤드 수준에서 교차 모달 정렬을 강제하는 방법인 헤드별 표현 정렬(Head-Wise Representation Alignment, HeRA)을 제안한다. 우리의 접근 방식은 플라토닉 표현 가설(Platonic Representation Hypothesis)에 기반을 두며, 모달리티 간 표현의 위상적 구조(즉, 국소 이웃 관계)를 보존하는 데 초점을 맞춘다. 상호 K-최근접 이웃(Mutual K-Nearest Neighbor, MKNN) 정렬 지표에 따라, 국소 구조 일치를 위한 미분 가능한 대리 함수 역할을 하는 대조적 목적 함수를 도입한다. HeRA는 다중 모드 훈련 중에 이 목적 함수를 LLM의 특정 어텐션 헤드에 적용하며, 이 헤드들은 MKNN 지표에 따른 정렬 점수로 선택된다. 직관에 반하여, 가장 덜 정렬된 헤드들을 정렬하는 것이 가장 큰 성능 향상을 가져온다는 사실을 발견했다. 다양한 MLLM과 18개의 벤치마크에 걸친 광범위한 평가는 HeRA가 까다로운 시각 중심 작업에서 일관된 성능 개선을 제공하며, 언어적 사전 지식에 대한 과도한 의존을 자연스럽게 억제함으로써 시각적 환각에 대한 효과적인 정규화자 역할을 함을 입증한다. 우리의 코드는 공개적으로 배포되었다.