일간 논문

대규모 모델 학습을 위한 최적화기 선택은 연산, 메모리, 튜닝 예산, 작업 다양성에 의해 공동으로 제약되는 시스템 수준 설계 결정이 되었지만, 백 가지가 넘는 방법들이 산재해 있는 상황은 여전히 분산된 상태로 남아 있다. 이에 우리는 연구 커뮤니티를 위한 최적화기의 통합된 조사 및 벤치마크 안내서인 OmniOpt를 제시한다. OmniOpt는 네 가지 상호 연결된 구성 요소에 기반한다. 첫째, 모든 최적화기 갱신을 5단계 메타 파이프라인을 통한 구조적 변환으로 간주하며, 대부분의 방법이 이러한 단계 중 하나 또는 두 개만 활용한다는 것을 보여준다. 둘째, 노름 제약 선형 최소화 오라클(LMO)을 사용하여 서로 다른 최적화기를 통합한다. 셋째, 이 두 관점은 이중 차원 분류 체계의 근거를 마련하는데, 한 차원은 각 방법을 메커니즘 패밀리에 할당하고 다른 차원은 개선하고자 하는 측정 가능한 학습 목표를 기록한다. 넷째, 이 논문의 핵심으로, 전체 분류 체계를 언어 모델 사전 학습부터 이미지 분류까지 대표적인 최적화기, 모델 규모, 학습 체계를 포괄하는 통합된 교차 도메인 벤치마크로 구현하여, 각 방법 패밀리를 여러 효과 목표에 걸쳐 체계적으로 분석하고 절충점을 제시한다. 따라서 OmniOpt는 연구 커뮤니티에 명시적 메커니즘 및 목표 가정 하에 최적화기를 선택할 수 있는 운영 좌표계를 제공하며, 최적화기 커뮤니티의 미래 발전 방향을 제시한다.

최근 멀티모달 기반 모델과 에이전트 시스템의 발전으로 GUI 에이전트는 단일 플랫폼 작업 수행에서 플랫폼 간 상호작용으로 나아가고 있다. 그러나 다중 플랫폼 GUI 에이전트를 구축하는 것은 여전히 어려운 과제이다. 한편으로는 고품질의 실행 가능한 플랫폼 간 상호작용 궤적이 여전히 부족하며, 기존 데이터는 종종 제한된 플랫폼 범위로 인해 어려움을 겪는다. 다른 한편으로는 서로 다른 플랫폼이 상이한 상호작용 규칙을 나타내므로, 공동 학습이나 지속적 학습 시 행동 패턴 혼합, 플랫폼 특화 능력 저하, 그리고 파국적 망각이 발생하기 쉽다. 이러한 문제를 해결하기 위해 우리는 고품질의 플랫폼 간 GUI 상호작용 데이터셋인 Uni-GUI를 구축하고, GUI 에이전트를 위한 지속적 학습에 다중 교사 온-폴리시 증류(multi-teacher on-policy distillation)를 최초로 통합한 방법인 UI-MOPD를 제안한다. UI-MOPD는 현재 환경에 따라 플랫폼 특화 교사를 동적으로 선택하고, 플랫폼 조건부 증류(platform-conditioned distillation)를 통해 플랫폼 특화 행동 사전 정보를 공유 정책에 전달함으로써 기존 플랫폼의 능력을 유지하면서 새로운 플랫폼에 적응할 수 있도록 한다. OSWorld와 MobileWorld에서의 실험 결과, UI-MOPD는 각각 38.2%와 12.0%의 작업 성공률을 달성하여 플랫폼 간 능력 유지와 새로운 플랫폼 적응의 균형을 맞추는 데 효과적임을 입증한다. 프로젝트 페이지: https://elispectre.github.io/UI-MOPD/.

연구 결과 배포, 즉 논문을 포스터, 발표 영상, 블로그 게시글로 변환하는 과정은 여전히 수동으로 이루어지는 최종 단계입니다. 기존의 자동화 방식은 각 결과물을 개별적으로 처리하여 매번 논문을 처음부터 다시 추출하고, 일반적으로 일방향 렌더링을 제공하여 작성자가 PowerPoint나 Word에서 다시 열 수 없게 하며, 핵심 섹션이 여전히 빈 내용으로 읽히는 상황에서 정체되는 부드러운 VLM 선호도 점수에 따라 품질을 평가합니다. 본 논문에서는 이 최종 단계가 기술(skill)의 구성으로 구축되는 것이 가장 바람직하다고 주장합니다. 즉, 하나의 업스트림 추출기를 공유하고 결정론적 프리미티브를 측정-채움 루프로 감싸며, 그 루프의 종료 지점은 엄격한 통과/실패 렌더링 게이트인, 얇은 에이전트 판독 가능 계약(agent-readable contracts)을 사용하는 것입니다. 우리는 이를 ResearchStudio-Reel로 구현했습니다. 이는 5개의 Claude Code 및 Codex skill로 구성되며, 하나의 공유 추출기(Paper2Assets), 세 개의 편집 가능한 생성기(Paper2Poster, Paper2Video, Paper2Blog), 그리고 하나의 대화형 수렴 계층(Paper2Reel)으로 조직됩니다. Paper2Assets는 각 논문을 한 번 추출하여 모든 다운스트림 skill이 재사용할 수 있는 공유 번들로 만듭니다. 세 개의 생성기는 인쇄 준비가 완료된 포스터, 동기화된 발표 영상, 그리고 사실적으로 일관되며 PowerPoint나 Word를 통해 왕복 가능한 이중 언어 블로그를 제작합니다. Paper2Reel은 이 세 가지를 자체 포함된 HTML 뷰어로 결합하여, 섹션 수준의 클릭으로 비디오, 슬라이드, 캡션, 블로그가 일치하는 콘텐츠로 이동합니다. Paper2Poster 벤치마크에서 우리의 포스터는 기존 자동화 시스템과 단일 시도 최첨단 LLM 모두에 대해 모든 미적 및 정보적 하위 기준에서 앞서며, 두 명의 비공개 VLM 평가자 하에서 저자 자신의 포스터보다 미적 측면에서 우수하고, 전체적으로 84%에서 93%의 논문에서 승리했습니다. 또한 기능 감사를 통해, 내레이션에 맞춘 슬라이드 하이라이트와 레이아웃 인식 DOCX 복구로 제어되는 이중 언어 블로그를 독특하게 결합함으로써 ResearchStudio-Reel이 세 가지 편집 가능한 결과물을 모두 제공하는 유일한 파이프라인임을 보여줍니다. 프로젝트는 https://aka.ms/ResearchStudio에서 확인할 수 있습니다.

3D 재구성과 생성은 일반적으로 픽셀 기반 회귀를 통한 재구성과 잠재 확산을 통한 생성이라는 별도의 패러다임으로 다루어져 왔다. 최근 연구들은 이를 잠재 공간에서 통합하려 시도했지만, 확산 목적 함수가 기본 3D 표현이 아닌 잠재 특징에 대해 정의되고, 두 분기 모두 잠재 인코딩으로 인한 정보 손실을 겪으며 사전 훈련된 변분 오토인코더(VAE) 또는 표현 오토인코더(RAE)를 필요로 한다는 뚜렷한 단점이 있다. 본 논문에서는 이 두 작업을 통합된 픽셀 공간 확산 패러다임으로 재정립하고, 3D 재구성과 생성 문제를 공동으로 해결하는 단일 모델인 PixWorld를 제안한다. 확산 과정을 렌더링된 이미지에 직접 감독함으로써 PixWorld는 위의 한계를 제거하고 최적화를 3D 장면 충실도와 정렬시킨다. 2D 이미지 수준에서 작동하여 3D 기하학적 인식이 부족한 측광 및 지각적 감독을 넘어, 사전 훈련된 3D 기반 모델의 기하학 인식 특징 공간에서 렌더링된 뷰를 실제 값과 정렬하는 기하학 지각 손실을 추가로 도입하여 3D 구조적 감독을 제공한다. PixWorld는 기존의 잠재 공간 생성 방법보다 일관되게 우수한 성능을 보이며 최첨단 재구성 방법과 동등한 수준을 달성함으로써 통합된 픽셀 공간 접근 방식의 우월성을 입증한다.

대규모 언어 모델은 연구 아이디어 발상에 대한 접근성을 높였지만, 효과적인 아이디어 개발은 단순히 후보 방향을 생성하는 것 이상을 요구한다. 연구자는 문제를 현재 문헌에 근거시키고, 의미 있는 병목 지점을 식별하며, 기존 해결책과의 차별성을 확보하고, 구현에 착수하기 전에 위험을 평가해야 한다. 본 연구에서는 연구 아이디어 발상의 첫 단계를 위한 재사용 가능한 스킬 제품군으로 ResearchStudio-Idea를 제시한다. 이 제품군에는 독립형 다중 소스 문헌 검색 스킬인 Paper-Search, 참신성 주장에 대한 독립형 선행 기술 충돌 검사기인 Scoop-Check, 그리고 증거 근거 부여, 패턴 기반 생성, 충돌 검색, 감사, 아이디어 카드 렌더링을 하나의 워크플로우로 구성하는 종단 간 스킬인 IdeaSpark가 포함된다. IdeaSpark는 2021년부터 2025년 사이 ICLR, ICML, NeurIPS에서 수집된 1,947개의 머신러닝 학회 논문(구두 논문, 별도로 추적된 고인용 하위 집합, 그리고 불합격된 제출물 포함)으로 구성된 말뭉치를 기반으로 구축되었다. 이러한 결과물에 대한 분석을 통해 31개의 반복적인 아이디어 발상 하위 패턴이 발견되었고, 이는 15개의 재사용 가능한 아이디어 발상 패턴으로 통합되었다. 각 패턴은 연구 맥락, 병목 유형, 차별화 전략, 지원 선례, 그리고 일반적인 실패 모드를 포함하는 구조화된 카드로 구현된다. IdeaSpark는 주어진 연구 문제와 증거 묶음을 바탕으로 증거의 준비 상태를 평가하고, 주변 연구 맥락을 재구성하며, 해결되지 않은 병목 지점을 식별하고, 관련 패턴을 선택하며, 하나의 후보 방향을 구체화하고, 잠재적으로 충돌하는 선행 연구를 검색하며, 결과 기반 감사를 수행한다. 이 워크플로우는 재사용 가능한 아이디어 발상 패턴을 추적 가능한 연구 제안서로 변환한다. 블라인드 자동 평가 결과, IdeaSpark는 스킬이 없거나 일반 스킬을 사용한 기준선보다 일관되게 더 강력한 연구 제안서를 생성하면서도 경쟁력 있는 참신성을 유지함을 보여준다.

개념 제거는 표현(representation)에서 특정 대상 개념을 제거하면서도 표현에 인코딩된 다른 정보들은 보존하는 것을 목표로 한다. 이는 표현이 종종 제거 대상 개념과 상관관계가 있는 많은 개념들을 인코딩하기 때문에 어려운 작업이며, 따라서 대상 개념을 제거하면 다른 정보들이 손상될 위험이 있다. 우리는 다양체 제약 가설(Manifold Constraint Hypothesis, MCH)을 제안한다: 만약 자연적 표현들이 구조화된 저차원 다양체에 집중된다면, 중재(intervention)는 해당 다양체로 제약되어야 하며 중재 과정에서 표현에 인코딩된 다른 정보를 더 잘 보존할 수 있다는 것이다. 우리는 MCH를 새로운 개념 제거 방법인 MANCE(Manifold aware Concept Erasure)에 구현한다. MANCE는 대상 개념을 예측하는 분류기에서 얻은 신호를 사용하여 표현에 대한 반복적 업데이트를 수행한다. 자연 입력으로부터 얻은 표현을 사용해 다양체를 추정한 후, 개념 제거 업데이트를 추정된 다양체로 투영한다. 우리는 텍스트와 비전을 아우르는 119개 설정(13개 언어 모델, 3개 NLP 개념, 40개 CelebA-CLIP 속성 포함)에 대해 광범위한 평가를 수행했다. 기존 방법들 위에 MANCE를 적용한 결과, 누출(leakage) 결과가 일관되게 개선되었다. 또한 MANCE+와 MANCE++를 도입했는데, 이들은 MANCE를 적용하기 전에 닫힌 형태 제거 알고리즘을 먼저 수행함으로써, 동일한 전체 공간 업데이트와 비교하여 더 나은 누출-정밀성(surgicality) 상충 관계를 달성한다. 우리의 최고 방법인 MANCE++는 비선형 개념 제거에서 최첨단 결과를 달성한다. 이러한 결과는 제거 설정에서 MCH를 지지한다: 중재는 자연적 표현 다양체로 제약되어야 한다.

구현된 로봇 기반 모델을 평가하는 것은 여전히 중요한 병목 현상으로 남아 있다. 디지털 벤치마크를 통해 효율적으로 평가되는 대규모 언어 모델과 달리, 로봇 정책은 하드웨어와 인간의 감독에 의해 제한되는 느리고 비용이 많이 드는 실제 롤아웃을 필요로 하며, 이는 대리 정책 평가자로서 세계 모델에 대한 관심을 불러일으켰다. 그러나 정책 평가를 위해 세계 모델을 신뢰할 수 있게 만드는 핵심 속성은 여전히 제대로 이해되지 않고 있다. 본 연구는 로봇 정책 평가를 위한 세계 모델에 대한 체계적인 연구를 제시하고, WMBench를 소개한다. WMBench는 실제 로봇 원격 조작 데이터와 일치하는 정책 롤아웃으로 구성된 벤치마크로, 다양한 조작 작업을 포괄하여 모델 군, 행동 인코딩, 롤아웃 수평선 및 평가 지표 간 통제된 비교를 가능하게 한다. WMBench를 사용하여 7개의 비디오 세계 모델, 4가지 행동 표현 방식, 실제 로봇 실행과 짝을 이루는 324,000개 이상의 시뮬레이션 정책 롤아웃을 분석하며, CVPR 2026 GigaBrain Challenge의 대규모 커뮤니티 제출물, 선별된 합성 궤적, 12,000시간이 넘는 훈련 비디오를 추가하여 분석을 더욱 풍부하게 한다. 실험을 통해 세 가지 핵심 통찰을 얻었다. 평가자 품질은 단기적 시각적 사실성보다 장기적이고 행동에 충실한 롤아웃 일관성에 의해 좌우된다. 사전 훈련의 이점은 데이터 규모뿐만 아니라 일반적인 세계 지식과 로봇 특화 제어 가능성 간의 균형에서 비롯된다. 행동 인코딩, 메모리 설계, 평가자 중심 사후 훈련을 포함한 아키텍처 선택은 실제 로봇 행동과의 정렬을 강하게 결정한다. 이러한 결과를 바탕으로 실용적인 설계 로드맵을 도출하고, 정책 평가에 특별히 최적화된 세계 모델인 GigaWorld-1에서 이를 구현한다. 구현된 기반 모델을 위한 확장 가능한 평가 연구를 발전시키기 위해 코드, 모델, 데이터 세트 및 도구 키트를 완전히 공개한다.

밀집 공간 지각은 물리적 지능에 필수적이며, 시각 시스템은 픽셀 관측값으로부터 구조화되고 정량적이며 실행 가능한 표현을 복원할 것으로 기대된다. 현대의 시각 기반 모델은 종종 상세한 공간 이해를 희생하면서 의미 불변성을 우선시하는 경향이 있다. 본 연구에서는 경계와 형상 불연속성이 기하학적 속성을 인지하는 데 필수적인 단서를 제공한다는 전제에 기반하여, 경계 중심 렌즈를 통해 시각 사전 학습을 조사한다. 구체적으로, 서브픽셀 경계 표현을 동적으로 학습하고, 이후 발견된 경계 포함 토큰을 마스크 대상으로 활용하여 밀집 시각 토큰 학습을 촉진하는 자기지도 패러다임인 마스크 경계 모델링을 제안한다. 이 프레임워크를 확장하여 LingBot-Vision을 개발하고, DINOv3를 강력한 기준선으로 삼아 다양한 하위 시각 과제에서 효용성을 입증한다. 주목할 점은, LingBot-Vision이 깊이 완성을 위한 LingBot-Depth 1.0에서 LingBot-Depth 2.0으로의 발전을 주도하여, 구현 인공지능의 핵심 축인 향상된 깊이 추정을 제공한다는 것이다. 우리의 발견은 경계 모델링이 단순한 선분을 넘어 공간적으로 구조화된 시각 표현을 학습하기 위한 확장 가능한 사전 학습 원리로 기능함을 보여준다.

본 논문에서는 Wan-Streamer v0.2를 소개한다. 이는 기본 스트리밍 방식의 종단 간 오디오-비주얼 상호작용 모델의 지연 시간을 유지하면서 성능을 개선한 버전이다. v0.2는 v0.1의 모델링 구조를 유지하지만, 상호작용 출력 스트림의 해상도를 192×336에서 640×368로 높이면서도 25 FPS에서 약 200ms의 모델 측 신호 간 지연 시간을 유지한다. 향상된 해상도의 스트림은 실시간 대화 중에도 자세, 시선, 손, 주변 사물 및 로컬 장면 구성이 식별 가능한 장면 기반 미드샷 에이전트를 지원한다. 더 큰 비주얼 스트림을 사용자 체감 지연 시간 없이 지원하기 위해, v0.2는 싱글 GPU 저지연 경로를 통해 스트리밍 인지를 담당하는 thinker, 생성 캐시를 구축하는 짧은 언어/상태 Transformer 패스, 그리고 최종 디코딩을 유지한다. performer는 값비싼 다음 유닛 잠재 생성(unit latent generation)을 위한 멀티 GPU Ulysses 스타일의 컨텍스트 병렬 그룹이 된다. 각 performer rank는 수신된 K/V를 사전 샤딩된 로컬 캐시에 기록한다. 긴 고해상도 잠재 비디오 시퀀스는 노이즈 제거를 위해 rank 간에 분할되고 Ulysses 통신을 통해 집계되는 반면, 훨씬 짧은 오디오 잠재 시퀀스는 시퀀스 샤딩 없이 생성된다. 이러한 분할에서 thinker의 언어/상태 연산은 K/V 조건으로만 performer에 도달하므로, performer 그룹 내에서 별도의 언어 시퀀스를 통신할 필요가 없다. 이는 thinker-performer 간의 컴팩트한 경계를 유지하면서 추가 하드웨어를 비주얼 생성에 집중시키며, 350ms 양방향 네트워크 예산을 포함할 때 총 원격 상호작용 지연 시간을 약 550ms로 유지한다.

본 논문에서는 훈련된 조작 정책을 실제 로봇에 배포, 데이터 수집, 평가하기 위한 오픈소스 프레임워크인 EVA-Client를 제시한다. EVA-Client는 정책 서버와 물리적 하드웨어 사이에 위치하며, 정책 반복 루프의 실제 로봇 단계를 단일 코드베이스 내에서 통합한다. 본 프레임워크는 세 가지 기여를 한다. 첫째, 로봇 백엔드, 추론 전략, 전송 미들웨어가 직교 격자를 형성하는 구성 요소 분리 아키텍처를 제공하여, 로봇이나 전략을 추가할 때 해당 계층만 수정하면 된다. 둘째, 디버그(Debug), 수집(Collect), 평가(Eval) 워크플로를 통해 검사 가능한 실행을 지원하며, 개루프 시뮬레이션에서 연속 실시간 제어에 이르기까지 다양한 모드를 제공한다. 셋째, 모든 평가 실행은 동시에 데이터 수집의 역할을 수행하여, 훈련 준비 형식의 전체 롤아웃, 상세 로그, 그리고 병렬 비교 뷰어를 함께 기록함으로써, 각 평가가 기록되지 않은 인상으로 끝나지 않고 다음 훈련 라운드에 기여하도록 한다. EVA-Client는 또한 주요 실시간 추론 전략들, 즉 동기 및 비동기 실행, ACT 스타일의 시간적 앙상블, 실시간 청킹(Real-Time Chunking), 그리고 나이브-어싱크 절제 베이스라인을 단일 구성 인터페이스 뒤에 통합한다.

로봇 조작을 위한 통합 모델은 사전 학습된 VLM의 의미적 사전 정보와 미래 예측을 통해 학습된 물리적 동역학을 하나의 정책에 탑재하는 것을 목표로 한다. 실제로 기존 설계들은 사전 학습된 백본의 의미를 약화시키고, 이질적인 목표들 간 간섭을 초래하며, 픽셀 공간에서 미래 예측을 처음부터 학습함으로써 사전 학습된 비디오 생성기의 동역학 사전 정보를 활용하지 못하는 경향이 있다. 본 연구는 InternVLA-A1.5를 제시하며, 이는 VQA 및 하위 작업 예측을 지속적으로 학습하는 네이티브 VLM 백본 위에 정책을 구축하고, 연속적인 행동 생성을 위한 경량화된 통합 전문가 모듈을 부착한다. 미래 예측은 잠재 질의 문제로 재정의되며, 소규모의 학습 가능한 예견 토큰(foresight tokens)이 동결된 사전 학습된 비디오 생성 모델의 감독 하에 작업 관련 미래를 간결한 잠재 코드로 압축함으로써, 정책은 픽셀 수준의 생성을 전혀 학습하지 않고도 세계 모델 동역학 사전 정보를 계승한다. 비디오 분기는 추론 시 제거되어 실시간 제어를 유지한다. 120만 개의 로봇 에피소드와 300만 개의 멀티모달 샘플로 사전 학습된 InternVLA-A1.5는 6개 시뮬레이션 벤치마크 전반에서 최고의 종합 성능을 달성한다. 실제 환경에서는 보존된 의미 정보가 보류된 명령 결합에 대해 가장 강력한 조합 일반화를 제공하며, 두 설계가 함께 장기 수행을 유지한다.

과학 문헌 검색은 종종 단일 질의로 논문을 검색하는 것만으로는 충분하지 않다. 사용자의 의도는 불완전하게 명시되어 있고, 선호에 의존적이며, 상호작용을 통해 진화한다. 기존의 검색 에이전트는 일반적으로 고정된 파이프라인 또는 암묵적인 언어 기반 추론에 의존하여, 검색 전략을 제어, 검사 및 개선하기 어렵게 만든다. 본 논문에서는 과학적 검색을 워크플로우 유도(workflow induction)로 구성하는 다중 턴 문헌 검색 에이전트인 PaperPilot을 소개한다. 앵커 논문과 사용자 질의가 주어지면 PaperPilot은 키워드 검색, 인용 확장, 필터링, 점수화, 재순위화, 증거 추출을 포함한 논문 검색 연산자의 실행 가능한 DAG을 구축한다. 이후 사용자 피드백을 활용하여 질의와 워크플로우 자체를 모두 개선한다. PaperPilot은 지도 워크플로우 모방과 통제된 워크플로우 변형에 대한 선호 최적화를 통해 훈련된다. 실험 결과, PaperPilot-9B는 다중 턴 상호작용에서 기본 Qwen3.5-9B 도구 세트 에이전트보다 성능이 향상되어 Hit@5가 58.0에서 77.0으로, MRR이 47.5에서 59.4로, nDCG@10이 26.8에서 32.5로 증가했으며, 워크플로우 실행 오류는 9.5%에서 0%로 감소했다. 이러한 결과는 명시적이고 편집 가능한 검색 워크플로우가 복잡한 과학적 의도에 따라 문헌 검색 에이전트를 정렬하는 효과적이고 제어 가능한 인터페이스를 제공함을 보여준다.

키-값(KV) 캐시 증가는 자동회귀 디코딩의 주요 병목 현상으로, 메모리와 대역폭이 컨텍스트 길이에 비례하여 선형적으로 증가합니다. 기존의 KV 제거 방법은 종종 정적 휴리스틱 또는 대리 점수에 의존하는데, 이는 미래 토큰의 유용성을 제대로 추적하지 못하고 관련성이 변화함에 따라 취약한 제거를 초래합니다. 이러한 문제를 해결하기 위해, 우리는 유지 또는 제거 결정을 직접 지도하여 고정 예산의 KV 제거 정책을 학습하는 KVpop을 소개합니다. 점수화기는 새로운 미래-어텐션 목표에 대해 학습되며, 이는 조밀한 어텐션 맵을 구체화하지 않고 효율적으로 계산됩니다. 또한, 학습 기반 제거 방법 중에서 유일하게, 근미래 컨텍스트를 활용하기 위해 점수화를 고정된 스텝 수만큼 지연시키는 지연된 메모리 기반 점수화기를 도입합니다. AIME 및 HMMT 수학적 추론 과제에서 KVpop은 Qwen3-4B 모델의 75% KV 캐시 압축 시 전체 어텐션 성능의 98%를 유지하고, 88% 압축 시 97%를 유지하며, 기존의 제거 기준 방법들을 일관되게 능가합니다. Qwen3-8B 모델은 더욱 강력한 결과를 보여주며, 거의 완전한 교사 성능에 도달합니다. 이러한 결과는 미래-어텐션 신호로 제거를 지도함으로써 품질을 유지하면서 메모리 비용을 절감할 수 있음을 보여줍니다.

다중 벡터 시각-언어 검색은 최대 유사도 후기 상호작용을 통해 세분화된 시각적 증거를 보존하지만, 밀집된 이미지 측 토큰으로 인해 저장 및 점수 계산 비용이 높다. 기존 토큰 압축 방법은 이러한 비용을 줄이지만, 향후 쿼리 토큰이 선택해야 할 객체 및 영역 수준의 증거를 제거하거나 붕괴시킬 수 있다. 본 논문에서는 SaMer를 제안한다. SaMer는 객체 인식 토큰 병합 프레임워크로서, 이미지 측 프로젝터 이후 토큰을 K개의 대표 중심점으로 압축하면서도 기존 후기 상호작용 인터페이스를 유지한다. SaMer는 학습 시에만 객체 주석을 병합 사전 정보로 사용하여 교차 인스턴스 혼합을 억제하며, 추론 시에는 실제 경계 상자나 검출기를 필요로 하지 않고, 비전 및 언어 백본은 고정한 채 공유 투영 레이어만 조정한다. K=64에서 SaMer는 이미지 측 토큰의 93% 이상을 제거하고 ColPali 저장 공간을 16.09배 줄이면서도 Flickr30K 및 MSCOCO에서 R@1을 향상시킨다. 이러한 성능 향상은 객체 인식 병합이 가지치기나 특징 전용 풀링으로 제거되거나 붕괴될 수 있는 쿼리 선택 가능한 객체 증거를 보존하기 때문에 발생한다. SaMer는 또한 압축 기준선보다 우수한 성능을 보이며 더 강력한 구문 수준 정렬을 나타내는데, 이는 효율적인 다중 벡터 검색이 단순히 토큰 수를 줄이는 것뿐만 아니라 향후 쿼리 토큰이 선택해야 할 증거를 보존하는 데 달려 있음을 시사한다.

확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 잡음 제거하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬적 대안을 제공한다. 그러나 사후 훈련을 통해 강력한 추론 능력을 유도하는 것은 여전히 어렵다. 지도 미세 조정은 오프-정책(off-policy)이며 노출 편향(exposure bias)을 겪는 반면, 강화 학습은 드문 시퀀스 수준의 보상만을 제공하고 계산 가능한 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생이자 교사로 사용하여 밀집된 토큰 수준의 온-정책 감독을 제공하는 유망한 대안을 제시하지만, 그 효과는 교사에게 특권 정보(PI)를 부여하는 데 달려 있다. 일반적으로 이는 추론 시 사용할 수 없는 인스턴스별 실제 정답 참조인데, 그 결과 학생은 PI 없는 약한 합의 정책을 증류하게 되어 dLLM 추론에 거의 개선을 가져오지 못한다. 우리는 dOPSD를 도입하며, 이는 교사의 특권을 학생 자신의 잡음 제거 궤적으로부터 직접 도출한다. 즉, 외부 레이블 대신 동일한 궤적의 이후의 더 많이 디코딩된 단계를 사용하여 마스킹된 위치를 평가함으로써, 교사의 이점이 모델 자체의 디코딩 과정에서 발생하게 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학적 추론과 도메인 외 코드 생성을 모두 개선하며, 지도 및 온-정책 기준선을 능가한다.

우리는 복잡한 물리적 상호작용이 지배하는 고도로 동적인 환경을 위한 최초의 멀티플레이어 월드 모델을 소개한다. 싱글플레이어 월드 모델이 다른 에이전트를 환경의 일부로 취급하는 반면, 우리의 모델은 여러 에이전트의 행동 스트림에 조건화되어 장면의 변화를 올바른 플레이어에게 귀속시키고 이들의 행동이 임의로 결합된 상황에서도 일관성을 유지하는 방법을 학습한다. 우리는 플레이어들이 빠르고 긴밀하게 결합된 역학 하에서 경쟁하고 협력하는 게임인 Rocket League에서 이 문제를 연구한다. 공개적으로 이용 가능한 봇을 통해 수집된 10,000시간의 게임플레이로 훈련된 우리의 50억 파라미터 잠재 확산 모델은 실시간으로 4인 매치를 생성하며, 단일 Nvidia B200 GPU에서 초당 20프레임을 생성한다. 짧은 클립으로만 훈련되었지만, 그 롤아웃은 훈련 지평을 훨씬 넘어서도 안정적으로 유지된다: 분포 품질은 우리가 측정한 가장 긴 지평인 5분까지 안정적으로 유지되며, 실제로 우리는 롤아웃이 붕괴 징후 없이 몇 시간 동안 지속되는 것을 관찰한다. 우리는 비디오 코덱, 생성 목적 함수, 멀티플레이어 조건화 방식이라는 핵심 설계 선택을 체계적으로 조사한다. 또한 모델 및 데이터 규모에 따라 행동이 어떻게 변화하는지, 즉 나타나는 능력과 지속되는 실패 모드를 특성화한다. 나아가 시각적 외관만이 아닌 모델의 물리적 이해를 평가하는 맞춤형 평가를 개발한다. 멀티플레이어 월드 모델에 대한 지속적인 연구를 지원하기 위해, 우리는 데이터셋, 전체 훈련 및 추론 코드베이스, 그리고 라이브 데모를 공개한다.

사전 학습 스케일링 법칙은 모델의 성능이 데이터와 연산량에 따라 예측 가능하게 향상됨을 보여준다. 그러나 배포 후 실제 환경에서의 학습은 여전히 훨씬 덜 이해되고 있다. 134개의 실제 세계 과제에서 약 38,000시간의 에이전트-환경 상호작용을 분석한 결과, 우리가 아는 한, 환경 학습 중 전반적 성능이 놀라울 정도로 높은 정밀도(R² = 0.998)를 보이며 로그-시그모이드 스케일링 법칙을 따른다는 최초의 증거를 발견했다. 또한 모델 세대를 거치면서 에이전트 학습 속도가 약 3개월마다 두 배로 증가함을 발견했다. 이러한 발견은 EdgeBench에서 비롯되었는데, EdgeBench는 과학 발견, 소프트웨어 공학, 조합 최적화, 전문 지식 작업, 형식 수학, 대화형 게임에 걸친 초장기 지평을 가진 134개의 실제 세계 과제 모음이다. 각 과제는 풍부한 다단계 피드백 하에 최소 12시간의 연속적인 에이전트 작동을 유지하며, 상당한 전문가 노력을 통해 구축되었다. 우리는 51개의 과제와 전체 평가 프레임워크를 공개하여 에이전트가 실제 경험으로부터 학습하는 방식을 연구하는 것을 가속화하고자 한다.

본 논문에서는 흐름 매칭 모델의 소수 단계 생성을 위한 간단하면서도 효과적인 프레임워크인 지각 흐름 매칭(Perceptual Flow Matching, PFM)을 제안한다. 기존의 VAE 잠재 공간에서 속도 회귀를 수행하는 대신, PFM은 사전 훈련된 지각 모델을 활용하여 지각 특징 공간에서 흐름 매칭을 감독한다. 이러한 간단한 변경만으로도 흐름 매칭 모델의 소수 단계 생성 성능이 크게 향상되어, 샘플링 단계를 35~50회에서 4~8회로 줄이면서도 생성 품질을 유지한다. 기존의 가속화 및 증류 접근법과 달리, PFM은 교사 모델이나 보조 점수 네트워크가 필요하지 않으며, 최소한의 수정만으로 표준 흐름 매칭 훈련 파이프라인에 통합될 수 있다. 이미지 생성, 비디오 생성, 이미지 편집 작업에 대한 광범위한 실험을 통해 PFM이 기존 증류 기반 방법보다 적은 인공물을 생성하면서 일관되게 고품질 결과를 산출함을 입증한다. 또한, 지각 감독이 회귀 최소화기를 평균 추구에서 모드 추구로 전환시켜 예측을 다양체 상의 모드로 편향시키며, 이는 거친 소수 단계 통합 하에서도 정확성을 유지함을 보여준다. 본 연구 결과는 표준 흐름 매칭 훈련이 적절한 표현 공간에서 감독될 때 자연스럽게 고품질의 소수 단계 생성기를 도출할 수 있음을 시사한다. 이러한 통찰이 효율적인 생성 모델링을 위한 표현 인식 목적 함수에 대한 향후 연구에 영감을 주기를 기대한다.

사전 학습, 사후 학습 및 테스트 시점 연산의 확장은 LLM의 성능을 향상시키기 위한 핵심 패러다임이 되었다. 본 연구에서는 새로운 확장 축으로서 솔루션의 정확성을 판단하는 능력, 즉 검증(verification)을 식별한다. 이를 구현하고 효과를 입증하기 위해, 추가 학습 없이 에이전트 작업에 대해 세분화된 피드백을 제공하는 범용 검증 프레임워크인 LLM-as-a-Verifier를 도입한다. 후보 솔루션에 대해 이산 점수를 생성하기 위해 LLM을 프롬프트하는 표준 LM 판사와 달리, LLM-as-a-Verifier는 점수 부여 토큰 로짓(logit) 분포에 대한 기대값을 계산하여 연속 점수를 생성한다. 이 확률적 공식화는 (1) 점수 세분성, (2) 반복 평가, (3) 기준 분해의 여러 차원에 걸쳐 검증의 확장을 가능하게 한다. 특히, 점수 세분성을 확장하면 양성 솔루션과 음성 솔루션 간의 분리가 개선되어 더 잘 보정된 비교가 가능함을 보여준다. 또한, 반복 평가와 기준 분해를 확장하면 분산 및 복잡성 감소를 통해 검증 정확도에서 추가적인 이득을 일관되게 얻을 수 있다. 검증기의 연속 점수를 사용하여 후보 중 최적 솔루션을 선택하기 위한 비용 효율적인 순위 알고리즘을 추가로 도입한다. LLM-as-a-Verifier는 Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최첨단 성능을 달성한다. 검증 외에도 LLM-as-a-Verifier의 세분화된 신호는 작업 진행 상황을 추정하는 프록시 역할을 할 수 있다. Claude Code용 확장 기능을 구축하여 개발자가 자신의 에이전트 시스템을 모니터링하고 개선할 수 있도록 한다. 마지막으로, LLM-as-a-Verifier가 강화 학습(RL)에 조밀한 피드백을 제공하여 로봇공학 및 수학적 추론 벤치마크에서 SAC와 GRPO의 샘플 효율성을 향상시킬 수 있음을 보여준다.

오디오 인텔리전스는 오디오와 음성의 이해, 추론 및 생성을 포괄한다. 본 연구에서는 강력한 텍스트 전용 MoE LLM인 Nemotron-Cascade-2-30B-A3B 기반의 통합 오디오-텍스트 LLM인 Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 단순한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 균일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 훈련 및 추론 인프라와의 호환성을 가능하게 한다. 훈련을 위해 우리는 1,574억 개의 오디오 토큰과 3,205억 개의 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 선별했다. 이 데이터셋에 대해 다단계 지도 훈련을 적용한 후, 텍스트 전용 Cascade RL 및 다중 도메인 온폴리시 증류를 수행했다. Audex는 오디오 이해, 음성 인식 및 번역, 텍스트-음성 변환, 오디오 생성, 음성-음성 생성 분야에서 최첨단 성능을 제공하면서도, 텍스트 전용 LLM 백본의 매우 강력한 추론, 정렬, 지식, 장문 맥락 및 에이전트 능력을 미미한 퇴보 또는 전혀 퇴보 없이 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

최근 비디오 확산 모델의 발전으로 시간적 자기회귀를 통한 긴 단일 시점 생성 또는 양방향 어텐션을 통한 짧은 다중 시점 합성이 가능해졌다. 그러나 동적 장면의 길고 다중 시점에서 일관된 비디오를 생성하는 문제는 아직 해결되지 않았다. 본 연구에서는 순차적으로 생성된 시점들 사이에 4D 기하학적 브리지를 도입하여 단일 확산 모델 내에서 시간적 및 시점별 자기회귀를 구성하는 프레임워크인 MV-Forcing을 제시한다. 우리의 핵심 통찰은 자기회귀적 3D 복원 모델이 자기회귀적으로 생성된 시점들 사이를 자연스럽게 연결한다는 점이다. 완성된 원본 시점이 주어지면, 우리는 해당 시점의 3D 구조를 복원하고 다음 목표 시점의 기하학적 사전 정보를 렌더링하며, 확산 모델이 이를 고품질 비디오로 정제한다. 교사 모델의 고정된 시간 창을 넘어 생성을 확장하기 위해, 우리는 훈련 중 두 시점 슬롯 모두를 잡음으로 초기화하여 시간적으로 무제한적인 생성을 가능하게 하는 공동 잡음 제거 방식을 도입한다. 우리는 시공간 자기 강제를 적용한 분포 정합 증류를 통해 모델을 증류하여, 시간적 및 시점별 순차 자기회귀 모두에 대한 훈련-추론 노출 편향 차이를 해소한다. 합성 데이터와 실제 데이터 모두에 대한 광범위한 실험을 통해 MV-Forcing이 단일 소수 단계 학생 모델을 사용하여 임의의 길이와 시점 수에서 동적 장면의 기하학적으로 일관된 다중 시점 비디오를 생성함을 입증한다.

LLM 에이전트는 점점 더 외부 도구를 통해 자율적인 행동을 수행하며, 이로 인해 복잡하고 진화하는 안전 위험이 발생한다. 그러나 기존의 안전 테스트는 전문가가 설계한 안전 위반을 대상으로 하며, 해당 결과는 하드코딩된 규칙에 의해 평가되므로 에이전트가 진화함에 따라 확장하는 데 비용이 많이 든다. 이를 위해 우리는 Vera를 제안한다. Vera는 3단계 자체 강화 파이프라인을 통해 비결정론적 에이전트에 대한 소프트웨어 공학 테스트 원리를 구현하는 종단 간 자동화된 안전 테스트 프레임워크이다. 첫째, 문헌 기반 탐색은 지속적으로 새로운 위험을 발견하고 이를 안전 위험, 공격 방법 및 도구 실행 환경에 대한 분류 체계로 구조화한다. 둘째, 분류 체계 차원 간의 조합 구성을 통해 실행 가능한 안전 케이스를 생성하며, 각 케이스는 구체적인 안전 목표, 프로그래밍 방식으로 구성된 초기 상태, 그리고 관찰 가능한 아티팩트에 기반한 결정론적 검증 조건을 명시한다. 셋째, 적응형 실행은 격리된 샌드박스에서 이기종 에이전트를 실행하며, 제어 에이전트는 런타임 관찰을 기반으로 다중 턴 상호작용을 조정하고, 증거 기반 검증자는 모델 자체 보고가 아닌 환경 상태와 도구 호출 증거로부터 결과를 판단한다. 우리는 Vera를 네 가지 프로덕션 에이전트 프레임워크(OpenClaw, Hermes, Codex, Claude Code)에서 평가하여 상당한 안전 취약점을 발견했으며, 다중 채널 공격에서 평균 공격 성공률이 93.9%에 달했다. 또한 세 가지 실행 환경에서 124개의 위험 범주를 포괄하는 1600개의 실행 가능한 안전 케이스로 구성된 Vera-Bench를 공개한다. 이러한 결과는 모듈화되고 실행 가능한 테스트 인프라가 빠르게 진화하는 에이전트 시스템을 대규모로 엄격하고 유지 관리 가능하게 평가하는 데 필수적임을 시사한다. 코드는 https://github.com/Yunhao-Feng/Vera에서 공개적으로 이용 가능하다.

장기 행동 예측은 긴 과거 시퀀스를 기반으로 사용자의 다음 행동을 추론하는 것을 목표로 하며, 인공지능 분야에서 중요한 역할을 한다. 대규모 언어 모델(LLM)의 부상은 순차적 행동 예측을 위한 유망한 방향을 제시하지만, LLM은 장기 행동 예측을 다룰 때 잠재적 행동 패턴 유도와 모델 내재적 인지 편향에서 어려움을 겪는다. 기존의 메모리 관리 방법은 맥락 압축 패러다임을 따라 이 과제를 과거 시퀀스 부담을 완화함으로써 해결하려 하지만, 핵심적인 도전 과제를 해결하지는 못한다. 본 논문에서는 긴 과거 시퀀스를 부담에서 활용해야 할 가치 있는 자원으로 재구성하는 패러다임 전환을 주장하며, 이에 따라 긴 과거 시퀀스에 대한 사전 연습을 통해 경험적 메모리를 구축하여 정확한 장기 행동 예측을 위한 보조 입력으로 활용하는 PraMem을 제안한다. 다양한 과제에 걸친 광범위한 실험은 PraMem이 기존 방법보다 우수한 성능을 달성함을 보여주며, 더 깊이 있는 분석은 경험적 메모리의 메커니즘과 진화에 대한 귀중한 통찰력을 제공한다. 코드: https://github.com/icip-cas/PraMem.

대규모 언어 모델은 점점 더 긴 컨텍스트에서 동작하며, 이때 KV 캐시가 주요 메모리 병목 현상이 된다. KV 캐시의 크기는 시퀀스 길이에 따라 선형적으로 증가하며 디코딩 전반에 걸쳐 유지되어야 하므로, 압축 없이는 전체 GPU 캐싱이 엄청나게 비용이 많이 든다. 기존의 KV 캐시 압축 방법은 효율성과 정확한 맥락 보존 사이에서 균형을 맞추기 어렵다. 토큰 제거는 정보를 폐기하는 반면, 의미 기반 그룹화는 프리필 시점에 압축 결정을 고정한다. 두 방법 모두 생성 중에 압축된 범위가 관련성을 갖게 되면 그 범위에서 토큰 수준의 세부 정보를 복구할 수 없다. 이에 대한 해결책으로, 우리는 정보를 폐기하지 않고 컨텍스트를 엔트로피 기반 의미 범위로 구성하여 GPU-CPU 메모리 계층 구조에 저장하는 해상도 적응형 의미론적 KV 캐시인 SeKV를 제안한다. 각 범위는 GPU에 경량 요약 벡터를 유지하여 대략적인 라우팅을 수행하고, CPU에는 저차원 SVD 기반을 유지하여 요청 시 토큰 수준 재구성을 지원한다. 학습된 줌인 메커니즘은 디코딩 중에 쿼리와 관련된 범위를 선택적으로 확장하여, 전체 KV 캐시를 GPU에 구체화하지 않고도 정밀한 검색을 가능하게 한다. SeKV는 기본 LLM을 완전히 고정한 상태에서 0.05% 미만의 학습 가능한 파라미터만 추가하여 적응형 토큰 수준 재구성을 가능하게 한다. 네 가지 벤치마크에서 SeKV는 가장 강력한 의미 기반 압축 기준선보다 평균 5.9% 향상된 성능을 보이며, 128K 컨텍스트에서 전체 KV 캐싱 대비 GPU 메모리를 53.3% 절감한다. 코드는 https://github.com/AmirAbaskohi/SeKV 에서 확인할 수 있다.

물체 동역학 예측(즉, 세계 모델링)은 로봇 조작의 근본적인 과제이며, 변형 가능한 객체는 고차원 상태 공간과 복잡한 재료 특성으로 인해 특히 어려운 사례에 해당한다. 현재의 세계 모델은 2D 픽셀 공간 또는 보다 명시적인 3D 기하학적 공간에서의 동역학 학습이라는 두 가지 뚜렷한 패러다임을 통해 접근하고 있다. 그러나 이들 각각의 상대적 강점과 한계에 대한 체계적 이해는 다양하고 대규모의 실제 데이터가 부족하여 아직 불분명하다. 이를 해결하기 위해 우리는 Deform360을 제시한다. 이는 198가지 일상 물체, 1,980개의 상호작용 시퀀스, 그리고 41개의 전방위 카메라와 양손 촉각 그리퍼로부터 수집된 215시간 이상의 관찰 데이터를 포함하는 대규모 시각-촉각 데이터셋으로, 전역적 움직임과 접촉에 의한 국소적 변형을 모두 포착한다. 새로운 마커 없는 시각-촉각 3D 추적 파이프라인을 활용하여 조밀한 기하학과 움직임을 추출한 후, 2D 비디오 모델과 3D 입자 모델을 비교하며 현재 최첨단 세계 모델을 체계적으로 평가한다. 마지막으로, 변형 가능한 객체에 대한 로봇 계획 작업을 수행함으로써 데이터셋의 실제 적용 가능성을 보여주는 예비 시연을 제공한다. 우리의 분석은 구조적 사전 정보와 확장성 사이의 상충 관계에 대한 핵심 통찰을 밝혀내며, 일반화 가능한 변형 객체 중심 세계 모델링의 미래 연구를 위한 견고한 벤치마크를 제공한다. 프로젝트 웹사이트: https://deform360.lhy.xyz

저장소 수준 취약점 재현은 까다로운 소프트웨어 공학(SE) 작업이다: 에이전트는 코드베이스를 검사하고, 취약 경로에 도달하는 입력 문법을 추론하며, 개념 증명(PoC)을 구성하고, 패치된 빌드에서 충돌이 사라지는지 확인해야 한다. 최근 LLM 에이전트는 접근 방식이 올바를 때 이러한 단계를 자주 수행할 수 있지만, 여전히 잘못된 전략을 선택하여 실패한다. 본 논문은 이러한 SE 에이전트에게 전체 행동 경로가 아닌 전략이 올바른 학습 단위라고 주장한다: 전략은 최적화하기에 충분히 간결하고, 실행을 안내하기에 구체적이며, 시도 간 저장 및 재사용하기에 안정적이다. 우리는 전이 가능한 전략 학습과 작업별 경험을 분리하는 이중 루프 프레임워크인 Mastermind를 제시한다. 학습 가능한 플래너는 SFT와 마일스톤 기반 GRPO를 통해 재사용 가능한 취약점 재현 전략을 학습하며, 경험 루프는 후속 시도를 안내하는 작업-로컬 전략 기록을 유지한다. 플래너는 실행기와 독립적으로 훈련되므로, 전략 학습은 실행기의 행동 생성 능력을 수정하지 않고 여러 고정 실행기를 개선할 수 있다. 우리는 CyberGym에서 260개의 훈련 작업과 200개의 평가용 미공개 작업을 사용하여 Mastermind를 평가한다. GPT-5.5를 고정 실행기로 사용할 때, Mastermind는 84.5%의 통과율을 달성하며, 오픈북 PoC 컨텍스트(60.0%), Best-of-8 샘플링(63.0%), 반복적 개선(77.0%)보다 우수한 성능을 보인다. 동일한 플래너는 GPT-5.4 mini와 GLM~5.1의 통과율을 각각 45.0%와 58.5%에서 60.0%와 71.0%로 향상시킨다. 이러한 결과는 고수준 전략을 학습하는 것이 저장소 규모 SE 에이전트를 개선하기 위한 효과적이고 전이 가능한 메커니즘임을 입증한다.

종적 임상 실무에서 모든 흉부 X선은 이전 검사의 맥락에서 판독되며, 방사선 전문의가 전달하는 정보의 대부분은 한 방문에서 다음 방문으로의 변화입니다. 본 연구에서는, 알려진 바로는 최초로, 사전 훈련된 흉부 X선 판독문 생성기를 위한 훈련 없는 최상의 N 샘플링 기법을 제시하며, 이는 이러한 종적 사전 정보에서 현재 전이로의 변화를 명시적으로 인식합니다. 이를 전이 인식 최상의 N 샘플링(transition-aware best-of-N sampling)이라 명명하며, 각 판독문은 문장 단위로 분할되어 R^d의 비순서 집합으로 임베딩되고, 각 (사전, 현재) 쌍은 두 집합 간의 변화를 인코딩하도록 설계된 집합 간 거리(set-to-set distance)를 통해 고정 차원의 방향 벡터(directional vector)로 축소됩니다. 후보들은 해당 후보 전이 벡터와 실제 훈련 전이 벡터의 캐시된 저장소(cached bank) 간의 코사인 거리를 기준으로 점수가 매겨지며, 이는 최소값(min) 또는 k-최근접 이웃(kNN)으로 집계됩니다. 우리는 이 프레임워크를 네 가지 방향 집합 거리(평균 이동(mean-shift), 참신 잔차(novelty residual), 방향성 하우스도르프 앵커(directed-Hausdorff anchor), 비용 가중 최적 수송(cost-weighted optimal transport))로 구체화하고, 다중 방문 AP-PA 코호트에서 평가하여 세 가지 프롬프트로 세 가지 시각-언어 생성기에서 추론을 실행합니다. 전이 인식 최상의 N 샘플링은 전반적으로 무작위 선택보다 성능이 우수하며, 특히 소견(Impression) 섹션에서 가장 큰 상대적 이득을 보였습니다.

점점 더 많은 LLM 추론 서비스들이 클라이언트 요청을 전 세계에 분산된 엔진 복제본에 프록시하고 있다. 부하 분산 정책은 지연 시간 및 TTFT와 같은 지표를 최적화할 때 KV-캐시의 지역성, 복제본 부하, 가변적인 네트워크 지연 등 요소들을 함께 고려해야 한다. 그러나 기존 시스템은 비용 모델에서 이러한 요소들의 일부분만 평가하여 복제본 전체에 걸쳐 부하와 KV-캐시가 불균등하게 집중되는 현상을 초래한다. 본 논문에서는 조정 가능한 파라미터를 사용하여 네트워크 지연, 프리필 비용, 큐잉 지연을 전체적으로 반영하는 프록시 아키텍처 GORGO를 제시한다. LMSYS-Chat1M 및 WildChat-4.8M과 같은 오픈소스 채팅 데이터셋은 긴 컨텍스트와 높은 프리픽스 재사용률을 가진 데이터가 부족하기 때문에, 장문 컨텍스트의 프로덕션 메타데이터로부터 합성 데이터셋 ART-Chat-2.5M을 공개한다. ART-Chat-2.5M의 튜닝 윈도우에서 진화 전략을 통해 GORGO 정책의 파라미터를 유도하여 p95 TTFT를 직접 최적화한다. 홀드아웃 평가 윈도우에서는 튜닝을 통해 학습된 파라미터 값을 고정한 상태에서, 단순 세션 어피니티 및 프리픽스 캐시와 같은 기준 부하 분산 정책 대비 p95 TTFT를 6.9–15.5%, p95 종단 간(E2E) 지연 시간을 14.3–30.9% 개선한다. 코드와 ART-Chat-2.5M 데이터셋은 https://github.com/Arcadia-Research-Team/GORGO에서 확인할 수 있다.

통합 멀티모달 모델(UMMs)은 텍스트와 이미지가 혼합된 추론 능력을 보여주고 있지만, 강화 학습(RL)을 통해 이러한 다중 턴 생성을 효과적으로 최적화하는 것은 여전히 미해결 과제로 남아 있다. 기존 접근법은 RL을 텍스트 단계에만 적용하고 이미지 생성은 지도 학습 기반 대리 모델에 의존함으로써, 정책 그래디언트가 이질적 모달리티를 가로지르는 전체 혼합 궤적을 통해 전파되는 것을 방지한다. 이는 UMMs에 대한 RL의 잠재력을 대부분 활용하지 못하게 한다. 본 논문에서는 BRAID(Bridging inteRleAved multI-modal reasoning as a unified Decision process)를 소개한다. 이는 다중 턴 텍스트-이미지-텍스트 추론을 통합 마르코프 결정 과정(MDP)으로 간주하여, 단일하고 원칙적인 RL 목표를 통해 텍스트 및 시각적 생성을 공동으로 최적화할 수 있는 간단한 프레임워크이다. BRAID는 공유된 궤적 수준의 어드밴티지를 계산하고, 이를 텍스트 토큰과 이미지 디노이징 경로 모두에 일관되게 전파하며, 각 모달리티 고유의 정책 그래디언트 메커니즘을 통해 최적화한다. 또한 장기간에 걸친 신용 할당 문제를 해결하기 위해, BRAID는 각 중간 이미지의 추론 유용성을 평가하는 비전-언어 모델(VLM) 판별기를 사용하여 중요한 시각적 분기점에서 조밀한 턴 수준의 피드백을 제공함으로써 학습을 강화한다. 공간 추론 및 시각적 인식 벤치마크 실험에서 BRAID는 다양한 기준 모델을 일관되게 능가하며, 비전-사고 지침을 갖춘 통합 MDP 공식이 효과적인 멀티모달 추론에 필수적임을 확인한다.

본 논문은 밈(Meme)에서의 다중모드 성차별 식별을 위한 EXIST 2026 대회에 제출한 AI Wizards의 접근법을 소개한다. 해당 과제는 난이도가 점차 증가하는 세 개의 하위 과제로 구성되어 있으며, 이들을 경험적 주석 분포에 대한 조건부 소프트 레이블 예측으로 계층적으로 모델링한다. 본 시스템은 경량화된 Gated MLP를 통해 고정된 Gemini Embedding 2 시각-언어 표현을 매핑하며, KL 발산과 동질적 불확실성 가중치를 활용하여 학습한다. 본 제출 모델은 공식 Soft-Soft 리더보드에서 Task 2.3에서 1위, Task 2.1과 2.2에서 각각 4위를 기록했다. 코드는 https://github.com/NLP-AI-Wizards/EXIST-2026에서 확인할 수 있다.

비전-언어-행동(VLA) 모델은 대규모 사전 학습을 통해 광범위한 체화된 능력을 획득하지만, 그 일반화 성능은 LLM 및 VLM에 비해 훨씬 취약하다. 현재의 주된 해결책은 지도 미세 조정이나 강화 학습을 통한 사후 학습(post-training)으로, 이는 특정 작업 성능을 향상시키지만 사전 학습의 가치를 만드는 일반화 능력을 좁힌다. 우리는 핵심 병목 현상을 식별한다: VLA의 실패는 행동 생성(action generation)뿐만 아니라 행동 평가(action evaluation)에서도 비롯된다. 진단적 pass@k 연구는 고정된 VLA가 이미 출력 분포 내에서 유능한 행동을 포함하고 있음을 확인하며, 전체 성공률이 pass@1에서 33%에서 pass@32에서 92%로 상승한다. 이에 영감을 받아, 우리는 SVA(Search, Value, Act)라는 간단한 프레임워크를 제안한다. 이는 고정된 VLA 정책에 장기적 결과 인식 능력을 부여한다. SVA는 먼저 시뮬레이션에서 몬테카를로 트리 탐색을 사용하여 VLA의 출력 분포를 완전히 탐색하고, 경험적 수익(empirical return)으로 주석이 달린 다양한 궤적을 수집한다. 이 지식은 이후 경량 Q-값 모델로 증류되어 후보 행동의 예상 결과를 예측한다. 배포 시에는 고정된 VLA가 여러 후보를 제안하고, 평가자가 불확실성 정규화된 Q-값이 가장 높은 것을 선택하며, 시뮬레이터 접근이 필요하지 않다. 행동 제안과 결과 평가를 분리함으로써 SVA는 VLA 백본의 일반화 능력을 보존하면서 작업 성공률을 크게 향상시킨다. 체화된 벤치마크 전반에 걸친 실험은 SVA가 보지 못한 작업에 대한 일반화를 지속적으로 개선하고, 강력한 테스트 시간 스케일링(test-time scaling) 동작을 보여준다. 놀랍게도, SVA는 9B VLA가 27B VLA보다 7포인트 더 높은 성능을 27% 낮은 추론 지연 시간으로 달성할 수 있게 하며, 이는 모델 크기를 확장하는 것보다 테스트 시간 평가를 확장하는 것이 더 비용 효율적임을 시사한다.

음성 기반 우울증 탐지는 짧은 오디오 세그먼트의 특징을 화자 단위 결정으로 압축하는 과정을 포함하며, 이 단계를 시간적 집계(temporal aggregation)라고 하는데, 이 자체만으로는 거의 연구되지 않았다. 대부분의 벤치마크는 단일 자기 지도 인코더와 단일 수동 선택 층을 고정하기 때문에, 보고된 성능 향상은 집계 방법 자체보다는 전체 파이프라인을 반영할 수 있다. 우리는 DEPOOL을 도입하는데, 이는 여섯 개의 집계 아키텍처와 여섯 개의 고정된 음성 백본(backbone)을 비교하는 통제된 벤치마크로, 영어 및 중국어 우울증 말뭉치에서 각 구성이 수동으로 층을 고정하는 대신 어떤 백본 층이 중요한지 학습하도록 한다. 결과적으로 72개 구성의 격자에서, 구성의 3분의 1은 모든 화자에 대해 단일 클래스를 예측하는 붕괴(collapse) 현상을 보였는데, 이는 집계 방법뿐만 아니라 백본에도 기인한 실패이다. 또한 단일 시드(single-seed) 실행에서 가장 안정적인 아키텍처는 시드를 반복하여 훈련할 때 신뢰할 수 없게 된다. 단일 파이프라인에서의 평균 정확도보다는 백본과 시드에 대한 강건성(robustness)이 임상 음성에서의 시간적 집계에 대한 일차적인 벤치마킹 기준이 되어야 한다.

제어 가능한 3D 의료 영상 생성 모델은 특정 임상 속성을 가진 볼륨을 합성할 수 있지만, 이를 위해서는 동시에 고충실도, 네이티브 3D, 요청된 조건에 부합하는 샘플이 필요하다. 우리는 CONFLUX를 제시한다. 이는 흉부 전산화 단층촬영(CT)을 위한 잠재 확산 모델로, 3D 변분 오토인코더가 각 볼륨을 압축하고 정류 흐름 트랜스포머가 잠재 공간에서 생성한다. 생성은 적응형 레이어 정규화를 통해 구조화된 방사선학적 메타데이터(18개 이상 소견, 성별, 연령, 재구성 커널)에 의해 조건화된다. 이 모델은 삼평면 프레셰 거리(FID 32.3 대 MAISI의 74.6)에서 강력한 체적 기반 기준선을 능가하면서 임상 속성에 대한 직접적인 제어를 제공한다. 이러한 제어를 강화하기 위해, 생성된 각 볼륨에서 요청된 소견을 분류기가 얼마나 신뢰성 있게 복원하는지에 보상하는 온라인 강화학습 사후 훈련 단계(그룹 상대 정책 최적화)를 추가한다. 별도의 독립적인 분류기로 평가한 결과, 사후 훈련은 실제 스캔 신뢰도 대비 부족분의 47%를 제거한다. 우리는 모델과 다양한 임상 소견에 걸친 조건화 메타데이터를 포함하는 약 20만 개의 합성 흉부 CT 데이터셋을 공개한다.

SynCity 3000을 제시한다. 이 프레임워크는 전역적으로 일관된 3D 장면을 생성하면서도 세밀한 배치 제어를 가능하게 한다. 단일 이미지로부터 복잡한 3D 자산을 생성할 수 있는 현재의 이미지-3D 생성기의 능력을 바탕으로, 생성기를 합성곱 연산자로 적용할 수 있도록 조정하여 이러한 능력을 전체 장면 규모로 확장한다. 이를 위해 훈련용 3D 장면 데이터의 부족 문제를 해결하기 위해 제안하는 새로운 합성 데이터 엔진으로 생성된 장면 유사 데이터에 모델을 미세 조정한다. 그런 다음 합성곱 생성기를 사용자 프롬프트로부터 생성된 전체 장면의 이측면 이미지에 적용하여 임의의 크기와 복잡성을 가진 3D 장면을 생성한다. 다양한 프롬프트와 배치에 걸쳐 SynCity 3000은 크고 일관되며 세부적인 장면을 생성하여 기존 3D 장면 생성 접근 방식의 한계를 해결한다.

소리와 미각 간의 교차 양상 대응(crossmodal correspondence)은 심리학과 신경과학에서 잘 정립되어 있으나, 콘텐츠 기반 멀티미디어 검색에서는 거의 존재하지 않는다. 본 연구에서는 음향에서 미각을 예측하는 문제를 지각적으로 검증된 다중 출처 코퍼스를 대상으로 한 콘텐츠 기반 음악 정보 검색 벤치마크로 정형화하며, 네 가지 HEAR 계열의 열 가지 고정된 오디오 인코더를 공유된 다중 작업 회귀 헤드 아래에서 비교하고, 게이트 지연 융합(gated late-fusion)을 구성 가능한 변형으로 도입한다. 모델의 효과성을 평가하기 위해 절대 오차와 순위 상관계수를 계산한다. 가장 강력한 시스템은 다섯 가지 미각을 매크로 RMSE 0.134 이내로 예측하며, 보류된 실제 음악에 대한 오차는 단일 평가자의 합의 편차의 절반 미만(RMSE 0.13 대 0.28)이므로, 모델은 평균 인간 평가자보다 더 정밀하게 그룹 합의를 추적하며, 이전 최고 수준의 기준선(0.219)보다 훨씬 낮은 오차를 보인다. 절대 오차 측면에서 인코더들은 통계적으로 평탄하며, 단일 VGGish가 최상의 융합과 일치하지만, 게이트 지연 융합의 장점은 순위 상관계수(매크로 Pearson r 0.724 대 0.666)에 국한된다. 콘텐츠 기반 검색 인덱스로 운영될 때, 예측된 미각 공간은 309개 항목 풀을 CLAP-텍스트 기준선(이는 우연 수준에 그침)보다 훨씬 충실하게 순위를 매긴다; 능형 프로브(ridge probe)와 오디오 대역저지 넉아웃(knockout)은 문서화된 소리-미각 대응에 대해 가장 강력한 표현을 판독한다.

행동 조건부 세계 모델을 활용한 결정 시점 계획은 구현형 제어(embodied control)에서 널리 사용되는 패러다임이 되었다. 그러나 표준 계획 비용은 예측된 최종 상태가 목표에 얼마나 근접한지만으로 후보를 평가할 뿐, 중간 전이의 실현 가능성은 확인하지 않는다. 즉, 예측된 궤적은 그럴듯해 보일 수 있지만 실제 환경 롤아웃은 이 궤적으로부터 벗어나게 된다. 본 논문에서는 순환 행동 일관성(cycle action consistency)을 도입한 결정 시점 계획 프레임워크 ACID를 제안한다. 역동역학 모델에 의해 예측된 전이로부터 역으로 추론된 행동은 원래 조건부로 주어졌던 행동을 복원해야 한다는 원리이다. 이 단계별 잔차를 축척 불변 적응 가중치를 통해 계획 비용에 통합한다. 강체 및 변형체 조작, 관절 제어, 시각적 내비게이션을 포함한 네 가지 행동 조건부 세계 모델과 여섯 가지 과제에서 ACID는 계획 성능을 지속적으로 개선하였으며, 계획 계산량을 크게 줄이면서도 기준 방법과 동등한 정확도를 달성하였다.

로봇이 상업 및 산업 응용 분야에서 신뢰성 있게 작동하려면, 최근의 에이전틱 코딩 시스템(agentic coding systems)이 해석 가능한 로봇 프로그래밍과 모델 프리 정책(model-free policies)의 개방형 환경 적응성을 결합할 수 있을까? 본 연구는 고정 자동화보다 객체 형상 및 자세의 변동이 큰 작업 클래스인 "변동 자동화(Variational Automation, VA)"에 초점을 맞춘다. 모델 프리 정책은 상업 및 산업 응용에서 지속적이고 신뢰성 있게 실행되어야 하는 VA 작업에 대해 신뢰성 격차를 해소하는 데 어려움을 겪는 경우가 많다. 작업 및 동작 계획(TAMP)과 로봇 운영 체제(ROS)에 관한 선행 연구에서 영감을 받아, 본 논문에서는 Graph-as-Policy(GaP)를 소개한다. 이는 모듈형 개방형 로봇 스킬 라이브러리(MORSL)로부터 인식, 계획 및 제어 노드를 포함하는 방향성 계산 그래프를 생성하는 다중 에이전트 코딩 하네스(multi-agent coding harness)이다. 또한 GaP는 내부 시뮬레이션 환경을 생성하여 서로 다른 그래프를 가진 작업 인스턴스를 병렬로 시뮬레이션하고, 그래프 구조와 매개변수를 반복적으로 개선함으로써 성공률과 처리량을 향상시킨다. 8개의 새로운 공개 VA 작업 벤치마크(시뮬레이션 4개, 실제 환경 4개)에 대한 평가 결과, GaP가 기준선보다 현저히 높은 성공률을 달성할 수 있음을 보여준다. 자세한 내용, 코드 및 데이터는 온라인(https://graph-robots.github.io/gap)에서 확인할 수 있다.

비지도 음절 토큰화는 원시 음성으로부터 언어적 내용 관련 잠재 구조를 포착하는 이산 음절 토큰을 학습하는 것을 목표로 한다. 최근 음절 토큰화 방법은 사전 학습된 HuBERT의 교사-학생 증류를 활용하여 잠재 음성 프레임 표현을 음절 단위로 구성한다. 그러나 발화 수준의 교차 엔트로피 목적 함수로 훈련할 경우, 모델은 언어적 내용보다 화자 정체성을 예측하게 되어 음절 토큰의 순수성을 저해한다. 이 문제를 해결하기 위해, 우리는 고정 길이 청크 내에서 화자 교란된 학생 표현을 깨끗한 교사 목표로 회귀시키는 화자 분리 음절 토크나이저를 제안한다. 실험 결과, 제안된 방법이 음절 경계 검출 및 음절 세그먼트 클러스터링에서 최첨단 성능을 달성함을 보여준다. 또한, 우리의 음절 토큰으로 훈련된 음성 언어 모델은 음소 수준의 SpiRit-LM 대비 구문 및 의미 이해에서 7%의 상대적 개선을 달성한다.

준지도 의미 분할(SSSS)은 오랫동안 어떤 의사 레이블을 신뢰할 것인지라는 하나의 질문에 집중해 왔으며, 이에 대해 점점 더 세심한 신뢰도 필터링으로 답해 왔다. 기반 백본은 이러한 체제를 변화시킨다: DINOv2 교사를 사용하면 엄격한 임계값만으로도 측정된 98% 청정 의사 레이블 집합을 유지할 수 있으므로, 남은 정확도는 필터에 있는 것이 아니라 임베딩 공간이 클래스별로 어떻게 구조화되는지에 달려 있다. 우리는 PixCon, 즉 청정 양성 픽셀 대비 프레임워크를 제안한다. PixCon은 학생이 이미 올바르게 분류한 레이블이 있는 픽셀만 허용하는 클래스별 메모리 뱅크를 유지하여, 구성상 오염되지 않은 양성 집합(ρ_F=0)을 보장한다. 이는 신뢰도 필터링된 의사 레이블로 구축된 이전의 대비적 SSSS 뱅크(ReCo, U^2PL)와는 대조적이다. 이는 일관성 백본 위의 단일 분기로, 추론 시간 매개변수를 추가하지 않으며, 뱅크 특정 임계값이 필요하지 않다. 지도 InfoNCE 그래디언트의 1차 분석은 오염이 해로운 이유를 설명한다: 그 거짓 양성 항은 ρ_F/(1-ρ_F)로 확장되며, 우리는 이를 가정하지 않고 측정한다(파스칼에서 0.018, ADE20K에서 0.106). Pascal VOC, Cityscapes, ADE20K 전반에 걸쳐 PixCon은 계산량이 일치하는 단일 스위치 프로토콜에서 강력한 DINOv2 기반 UniMatch V2 기준과 일치하거나 이를 능가한다: 모든 Pascal-1/8 시드에서 개선되며(시드당 약 +0.2 mIoU 향상), 세 시드 평균이 87.90에 도달하는데, 이는 공개된 UniMatch V2-B 수치이다. 기반 모델 교사 아래에서는 오염이 이미 드물기 때문에, 우리의 분석은 ρ_F=0 보장이 주로 교사가 약화될 때 강건성으로 작용하는 반면, 정확도 향상은 더 깨끗한 양성 감독에서 비롯된다는 것을 시사하며, 이는 청정 양성 대비를 기반 모델 SSSS를 위한 강건하고 저비용의 기본값으로 만든다.

고처리량 과학 시설, 예를 들어 대형 강입자 충돌기(Large Hadron Collider)는 대역폭, 지연 시간, 저장 공간에 대한 엄격한 제약 조건 하에서 실시간 이벤트 필터링(트리거링)에 의존한다. 실제로 트리거 메뉴는 대부분 정적이며 수동으로 조정되어, 검출기 조건, 파일업(pileup), 배경 구성이 시간에 따라 변함에 따라 최적이 아닐 수 있다. 본 연구에서는 온라인 임계값 조정을 순차적 의사 결정 문제로 구성한다. 즉, 강화 학습 에이전트가 최근 속도와 신호 민감 특성에 대한 스트리밍 요약을 입력받아, 허용 오차 대역 내에서 목표 배경률을 추적하면서 신호 효율을 최대화하도록 트리거 임계값을 업데이트한다. 그룹 필터 정책 최적화(Group-Filtered Policy Optimization, GFPO)를 스트리밍 제어에 적용하고, 훈련 중 배경률 실현 가능성을 강제하는 두 가지 변형(GFPO-F, GFPO-FR)을 도입한다. 실제적인 충돌기 운용을 모사하는 벤치마크에서, 파일업 변동에 민감한 총 횡방향 에너지(H_T) 트리거와 드물거나 비표준 신호를 위한 재구성 손실 기반 이상 탐지(AD) 트리거라는 두 가지 대표적인 트리거를 연구한다. 몬테카를로 스트림에서, 본 연구의 에이전트는 허용 오차 내 시간 구간 비율을 H_T의 경우 48%, AD의 경우 28% 증가시켰으며, 해당 허용 오차 내 구간에서 신호 효율의 누적 이득은 최대 2%에 달했다. 시뮬레이션에서 실제 충돌 데이터(CMS 실행 283408)로 전환했을 때, 동일한 에이전트는 미세 조정 없이도 기준선 대비 H_T에서 56%, AD에서 28%의 허용 오차 내 개선을 달성했으며, 두 트리거 모두에서 추가적인 신호 효율 이득을 보였다. 본 연구가 실제 대형 강입자 충돌기 충돌 데이터에 강화 학습 기반 트리거 제어를 적용한 최초의 사례라고 할 수 있다. 코드는 https://github.com/Zixind/GFPO_LHC에서 확인할 수 있다(세부 사항은 저장소 참조).