일간 논문

검증 가능한 보상을 사용하는 강화 학습(RL)은 궤적 수준의 어드밴티지 추정치를 구성하지만, 장기 지평의 다중 턴 에이전트 작업에서 결과를 결정짓는 소수의 핵심 결정에 신용을 제대로 부여하지 못하는 경우가 많다. 최근 연구는 신용 할당을 위해 특권 자기 증류를 도입하여 더 조밀한 지도 신호를 제공하지만, 이러한 로컬 신호가 순차적 신용을 어떻게 표현해야 하는지는 여전히 불분명하다. 우리는 에이전트 강화 학습에서 턴 수준 신용 할당을 위한 비평가 없는 재귀적 방법인 AgentOPSD를 제안한다. AgentOPSD는 토큰 수준의 교사-학생 로그 확률 차이를 턴 수준 증거로 집계하고, 로그 오즈 공간에서 베이지안 신념 상태를 재귀적으로 갱신한다. 이를 통해 희소한 결과 감독을 턴 수준 신용 신호로 변환하는 원리적인 재가중 방식을 도출하며, 연속된 상태 간의 한계 신념 개정을 통해 핵심 턴을 식별한다. 이 방법은 표준 정책 최적화와 완전히 호환되며 추가 비평가도 추가 롤아웃도 요구하지 않는다. 우리는 Qwen2.5 모델을 두 가지 규모(3B 및 7B)로 사용하여 ALFWorld, WebShop, Search-QA에서 AgentOPSD를 평가한다. AgentOPSD는 GRPO 및 강력한 자기 증류 기준선보다 우수한 성능을 보이며, Qwen2.5-7B로 ALFWorld에서 89.1%의 성공률을 달성한다. 절제 연구는 이러한 성과가 턴 수준 집계와 이력 의존적 재귀 신념 갱신에 기인함을 보여준다.

컴퓨터 사용 에이전트(CUA)는 디지털 세계 전반에 걸쳐 빠르게 발전하고 있다. CUA 궤적은 에이전트의 행동, 상태, 추론 과정을 기록한다. 작업 지시를 실제로 수행했는지 검증하는 것은 CUA 평가, 데이터 큐레이션, 강화 학습의 핵심이다. 인간이 작성한 검증기나 인간 주석자 모두 이러한 검증을 대규모로 제공할 수 없기 때문에, 연구계에서는 CUA 궤적을 평가하는 심판으로서 비전-언어 모델(VLM)을 점차 활용하고 있다. 그러나 “이러한 VLM 심판이 충분히 신뢰할 수 있는가”라는 근본적인 질문은 오랫동안 검토되지 않았다. 이를 체계적으로 연구하기 위해 우리는 실제적이고 고품질의 벤치마크인 OSReward를 도입한다. OSReward는 CUA 궤적에 대한 VLM 심판을 평가한다. 궤적은 다양한 플랫폼에서 인간이 검증한 지시문을 실행하는 다양한 에이전트 백본으로부터 수집되었으며, 이후 다단계 인간 주석을 통해 엄격하게 실측 판정(ground-truth verdict)으로 라벨링되었다. 이를 기반으로 우리는 진정으로 어려운 사례에 집중하는 챌린지 세트인 OSReward-Hard와 세분화된 효율성 및 정렬 점수를 위한 OSReward-Multi를 도출한다. 지금까지 이루어진 VLM 심판에 대한 가장 포괄적인 평가에서, 최첨단 모델조차도 이상적인 심판에는 미치지 못하며, 실패한 실행을 성공으로 잘못 분류하는 체계적인 관대함 편향을 공유한다는 사실을 발견했다. 신뢰할 만한 소수 모델은 대규모로 실행하기에는 비용이 너무 높은 반면, 저렴한 오픈 모델은 성능이 크게 뒤처진다. 이러한 격차를 해소하기 위해 우리는 CUA 커뮤니티를 위한 추론이 주석된 궤적 판정 오픈 코퍼스인 OS-Shepherd-100K를 구축하고 공개한다. 이를 바탕으로 우리는 오픈 보상 모델인 OS-Shepherd(9B 및 35B)를 학습시킨다. 이 모델은 저비용·안정적·신뢰할 수 있는 보상 신호를 제공하며, 최첨단 모델보다 30~60% 낮은 비용으로 상용 심판 모델에 필적하는 성능을 낸다. 광범위한 분석은 대규모 신뢰 가능한 CUA 보상 설계에 대한 추가적인 시사점을 제공한다. 우리의 코드, 벤치마크, 데이터셋, 모델 체크포인트는 https://os-copilot.github.io/OSReward-Home/에서 확인할 수 있다.

인지된 음성의 짧은 구간은 CLIP 방식의 목적 함수로 wav2vec 2.0 오디오 임베딩에 대해 학습된 심층 네트워크를 통해 비침습적 뇌자도(MEG) 기록에서 검색할 수 있다. 그러나 해당 네트워크의 가중치는 전기생리학적 양과 직접적으로 대응되지 않으며, 어떤 음성 속성이 검색을 유도하는지도 여전히 불분명하다. 본 연구는 고성능 MEG-대-오디오 검색 아키텍처를 기반으로 하되 전단부와 디코더를 모두 재설계한다. 기존의 공간 주의 메커니즘은 평면화된 센서 배치에 작동하지만, 본 연구는 이를 3차원 MEG 헬멧 형상에 정의된 구면 조화 함수로 대체한다. 피험자 특이적 표현을 270개에서 25개 분기(branch)로 줄이고, 각 분기에 시간 필터를 추가하여 공간적·시간적으로 신경원 소스와 정합시키며, 합성곱 디코더는 더 얕게 구성한다. 훈련 전에 안구 및 심장 성분을 제거하여 자극 고정 지름길(shortcut)의 위험을 줄인다. MEG-MASC에서 이 모델은 1,005개 후보 중 39.75 ± 0.34%의 Top-1 정확도를 달성하며, 6개의 훈련된 솔루션에 걸쳐 약 20배 더 적은 디코더 파라미터를 사용한다. 모델 가중치는 소스 공간에 매핑되어 언어 지각 네트워크와 일치하는 생성원(generator)을 복구하며, 좌반구 편측화된 분기는 우반구에서는 뚜렷하지 않은 더 높은 주파수의 리듬 성분을 운반한다. 짝지어진 MEG 가림(occlusion) 실험에서는 19개 자극 특징 중 15개가 검색에 기여하며, 침묵, 소리 강도, 모음, 음향 시작점에서 가장 큰 효과가 나타난다. 무작위 단어 목록은 반대 양상을 보인다. 즉, 내러티브 MEG를 무작위 단어 목록에 대입하면 검색이 향상되는데, 이는 내러티브 구조가 없는 활동이 일관된 음성 중의 활동보다 복구 가능한 정보를 덜 담고 있음을 시사한다. wav2vec 표적은 정확도 손실 없이 약 12개의 학습된 특징 차원으로 축소될 수 있는 반면, 강한 시간 압축은 명확한 손실을 초래한다. 종합하면, 소스 매핑과 입력 개입은 검색을 유도하는 요인이 무엇인지를 밝혀준다.

대규모의 자유 탐험 가능한 3D 세계를 개방형 텍스트로부터 생성하는 것은 시스템이 전역적 공간 일관성, 풍부한 로컬 콘텐츠, 그리고 후속 편집 및 재사용에 적합한 명시적 자산을 동시에 유지해야 하기 때문에 여전히 어려운 과제이다. 본 논문에서는 개방형 3D 장면 생성을 위한 완전한 에이전트 기반의 조대-정밀(coarse-to-fine) 프레임워크인 WorldClaw를 제시한다. 계획 에이전트는 텍스트 프롬프트를 영역, 지형, 자산, 머티리얼, 공간 관계에 대한 구조화된 명세로 변환한다. 이후 WorldClaw는 의미론적 레이아웃, 재사용 가능한 자산, 생성적 또는 절차적 머티리얼, 그리고 영역 인식 높이 필드로부터 전역적으로 일관된 지형 기반을 구축한다. 세부 묘사가 요구되는 영역의 경우, 지형 조건부 구성을 생성하고, 편집 가능한 텍스처 메시를 재구성하며, 지형 상에서의 배치를 복원한다. 렌더 기반 에이전트는 지형, 객체, 외관, 접촉을 추가로 정제한다. 다양한 개방형 세계 프롬프트에 걸쳐 WorldClaw는 일관된 전역 지형 구조를 유지하면서, 공간적으로 정합적인 구성을 갖춘 대규모 장면, 시각적으로 매력적인 로컬 콘텐츠, 그리고 편집 가능한 인스턴스 수준 자산을 생성한다.

공간 지능은 구현 에이전트의 기본 요소이지만, 기존 벤치마크는 단일 또는 소수의 시점에서의 국소적 공간 지각에 초점을 맞추어, 연속적이고 장기간의 시각적 스트림에 대한 전역적 공간 인식을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 비디오 이해에서의 전역적 공간 지능을 위한 VQA 벤치마크인 GST-Bench(Global-Spatial-Temporal Benchmark)를 소개한다. GST-Bench는 합성 생성된 6,790분의 비디오에서 도출된 인간 검증 질문으로 구성된다. 이 벤치마크는 모델이 입력 비디오에서 보이지 않는 새로운 시점에서의 정확한 공간 추론을 수행하고, 자기중심적 관찰을 전역적 탑다운 이미지에 매핑할 것을 요구한다. 22개의 최첨단 VLM에 대한 포괄적 평가는 모델과 인간 사이의 현저한 격차를 드러낸다: 가장 강력한 제로샷 모델은 42.68점에 그친 반면, 인간의 점수는 79.08점에 달한다. 이러한 격차의 원인을 조사하기 위해, 우리는 GST-Bench-Local을 구축하였고, 동일한 과제 구성 하에서 강력한 국소적 공간 이해 능력을 보임에도 불구하고 모델들이 장기간의 관찰을 전역적으로 일관된 장면 표현으로 통합하지 못한다는 것을 발견하였다. 또한, 이 과제에 대한 향후 연구를 촉진하기 위한 보완 자원으로서 전역적 공간 추론 데이터셋인 GST-Train을 제공한다.

대규모 언어 모델 에이전트를 장기적 도구 사용 작업에 훈련하는 것은 일반적으로 구축과 검증에 비용이 많이 드는 실제 또는 합성된 실행 가능 환경과의 상호작용, 또는 실세계에 접지하기 어려운 외부 시뮬레이터에 의존한다. 우리는 훈련 중 외부 환경과의 상호작용을 세계 리허설(world rehearsal)로 대체하는 에이전트형 강화 학습 방법인 EnvACE를 제안한다. 정책은 행동과 리허설을 번갈아 수행한다. 먼저 도구 호출을 생성한 다음 환경의 역할을 수행하여 해당 행동이 유발하는 응답을 생성하고, 리허설된 응답을 조건으로 후속 결정을 내린다. 두 역할은 모두 작업 성공 보상을 사용하여 종단 간에 공동으로 최적화된다. 세계 리허설을 통해 정책은 행동과 그에 대한 환경 응답의 관계를 파라미터에 내재화하여 의사 결정을 직접 지원하는 에이전트 세계 모델을 산출한다. BFCL-v4, tau^2-Bench, VitaBench, FinMCP-Bench 전반에 걸쳐 EnvACE는 강력하고 전이 가능한 성능을 달성하며, 전체 평가에서 환경 확장 기준선들을 능가한다. 통제 연구는 또한 세계 리허설이 모델 규모와 관계없이 정책 학습을 일관되게 향상시킴을 보여준다. 테스트 시점에는 내재화된 세계 모델이 실행 확정 전 내부 리허설을 가능하게 하여, 추가적인 외부 상호작용 없이도 적당한 리허설 예산 하에서 추가적인 성능 향상을 가져온다. 우리의 연구 결과는 세계 리허설이 외부 환경의 제약을 넘어 LLM 에이전트 훈련을 확장할 수 있는 새로운 경로를 확립함을 보여준다. 코드는 https://github.com/Within-yao/EnvACE에서 공개적으로 이용 가능하다.

멀티모달 대규모 언어 모델은 수동적 지각에는 뛰어나지만, 다단계 시간적 추론을 요구하는 복잡한 시각적 인지 과제에는 어려움을 겪는다. 이러한 성능 저하의 주요 원인은 언어 기반 추론의 본질적 모호성에 있으며, 이는 연속적인 시각적 변환을 정확하게 표현하지 못하는 경우가 많다. 이 문제를 해결하기 위해 우리는 잠재 이미지와 시각적 논리를 정렬하도록 설계된 멀티모달 프레임워크인 ChronoVision을 제안한다. 지도 미세조정 단계에서 재구성적 시각 헤드(Reconstructive Visual Head)는 최종 변환 상태의 잠재 표현을 예측하고, ROI 주의 국소화 모듈(ROI Attention Locating module)은 의미적 범위 질의를 통해 핵심 시각적 증거에 모델이 집중하도록 유도한다. 사후 훈련 단계에서는 결과 정확성, 잠재 과정 정렬, 비지도 시각적 집중을 평가하는 복합 보상 함수에 기반한 암시적 과정 근거 부여 메커니즘을 갖춘 강화 학습을 적용한다. 또한, 비디오 추론을 엄격한 이미지 순서화 과제로 재구성하여 시간적 추적을 평가하는 새로운 데이터셋인 Vbvr-VQA를 도입한다. 실험 결과 ChronoVision은 Vbvr-VQA에서 도메인 내 정확도 74.8%, 도메인 외 정확도 71.6%로 최첨단 성능을 달성했으며, 매우 도전적인 교차 도메인 벤치마크인 IntPhys2에서도 55.0%의 높은 정확도를 달성함을 보여준다.

통합 멀티모달 검색은 이질적 입력으로 표현된 복잡한 사용자 의도를 충족하는 후보를 식별하는 것을 목표로 한다. 대규모 비전-언어 모델(LVLM) 기반 검색기는 효율적이고 확장 가능하지만, 원시 멀티모달 입력을 직접 인코딩하는 방식은 종종 미세한 변별 단서를 놓쳐 의미적으로 유사한 후보 간의 혼동을 초래한다. 최근 방법들은 사고 사슬(CoT) 근거를 생성하여 질의 표현을 풍부하게 함으로써 이러한 한계를 완화한다. 그러나 이러한 추론은 일반적으로 질의만으로부터 도출되며, 질의가 무엇을 설명하는지는 나타내지만 검색기가 무엇을 오해하는지는 설명하지 못한다. 우리는 효과적인 검색 추론이 오히려 검색 피드백에 조건화되어야 한다고 주장한다. 이 통찰에 기반하여, 우리는 초기 검색 후보들에 대해 추론하고 검색 중심 사고 사슬(RC-CoT)을 생성하는 방법을 학습하는 임베더-어드바이저 프레임워크인 UniME-R1을 제안한다. 어드바이저는 후보들을 개별적으로 분석하여 임베더가 혼동하는 변별 단서를 식별한다. 목표가 초기 상위 k 집합에 존재하면 UniME-R1은 후보들을 직접 재순위화하고, 그렇지 않으면 RC-CoT를 생성하여 검색 방향을 정제한 후 이중 모드 임베더로 전체 말뭉치를 재검색한다. 이 프레임워크를 훈련하기 위해 우리는 하드 네거티브를 마이닝하여 실제적인 검색 실패를 시뮬레이션하고, 직접 검색과 RC-CoT 강화 검색을 공동으로 최적화하며, 지도 학습과 검색 지향 강화 학습을 통해 어드바이저를 검색 결과와 정렬한다. MMEB-V2 및 다양한 일반 멀티모달 검색 벤치마크에 대한 광범위한 실험을 통해 UniME-R1이 강력한 기준선 대비 검색 성능을 일관되게 향상시킴을 보여준다.

경제 세계 모델(EWM)은 이질적 에이전트, 그들의 신념과 행동, 그리고 이들의 상호작용이 총체적 결과를 산출하는 시장 및 제도적 메커니즘을 모델링함으로써 경제가 내부로부터 어떻게 진화하는지를 시뮬레이션하는 생성적 경제 모델이다. 본 논문은 이질적 에이전트가 행동하고, 상호작용하며, 적응하고, 시장 및 제도와 공진화함으로써 경제 역학을 내부로부터 생성하는 생성 엔진으로서 경제 세계 모델을 구축하기 위한 구현 로드맵을 개발한다. 우리는 EWM 시스템을 고정 규칙 기반 에이전트 세계에서 적응형 및 LLM 기반 에이전트 세계, 자기 진화 에이전트, 진화하는 제도적 세계, 그리고 실제 관측과 정합되는 시뮬레이션-실제 경제 트윈에 이르기까지 6단계 역량 사다리로 체계화한다. 이러한 단계에 걸친 체계적 문헌 조사는 기존 연구가 하위 수준의 에이전트 및 시뮬레이션 환경에 집중되어 있는 반면, 자기 진화 에이전트, 내생적 제도, 지속적 실증 정합, 그리고 검증된 경제 메커니즘을 갖춘 시스템은 여전히 드물다는 것을 보여준다. 본 논문은 EWM 의제를 구현 청사진으로 전환함으로써, 인간 의사결정자를 위한 고충실도 샌드박스이자 AI 에이전트를 위한 훈련, 계획, 평가 및 안전성 기반으로 기능할 수 있는 차세대 경제 시뮬레이션 환경의 개발을 가속화하는 것을 목표로 한다. 우리는 향후 연구를 지원하기 위해 선별된 논문 목록과 관련 자원을 공개한다.

LLM이 에이전트 시스템에 점점 더 많이 배포됨에 따라, 그 능력은 모델 가중치뿐만 아니라 하네스, 즉 이를 둘러싼 프롬프트, 도구, 제어 흐름, 메모리 및 오케스트레이션 코드에 의존한다. 이에 따라 자동화된 하네스 최적화, 즉 AI 시스템이 하네스를 반복적으로 평가에 기반하여 개선하는 과정은 AI 시스템을 개선하는 중요한 경로이자 AI 시스템 자체에 요구되는 까다로운 능력이 된다. 그러나 커뮤니티에는 최첨단 LLM이 이 작업을 얼마나 잘 수행하는지 측정하기 위한 공통 프로토콜이 부족하다. 우리는 비용이 많이 들고 확률적인 평가 환경에서의 종단 간 하네스 최적화를 위한 벤치마크인 HarnessOpt-Bench를 소개한다. 최적화기, 즉 코딩 하네스와 결합된 LLM은 대상 에이전트의 시드 하네스, 채점된 평가 피드백, 그리고 고정된 대상 평가 예산을 입력으로 받는다. 최적화기는 하네스를 편집하고 최종 후보를 지명하며, 이 후보는 탐색 과정 내내 접근할 수 없는 분리된 테스트 파티션에서 시드 대비 정규화된 개선으로 평가된다. 신뢰 실행 환경은 평가 경계를 강제하고, 대상 에이전트의 리소스 사용량을 측정하며, 감사를 위해 후보 버전을 보존한다. 우리는 4개의 다운스트림 태스크에 걸쳐 공유 코딩 하네스와 각자의 기본 하네스에서 5개의 최첨단 LLM을 최적화기로 평가하였으며, 총 111회의 점수 매겨진 실행을 수행했다. 실험 결과는 최적화 모델 간 성능 차이가 이들이 작동하는 코딩 하네스 간 성능 차이보다 더 크며, 기본 하네스가 일관되게 우월하지 않고, 개선 효과가 태스크와 시드 체계에 걸쳐 상당히 다름을 보여준다. 이러한 결과는 하네스 최적화를 개선의 여지가 큰 측정 가능하고 변별력 있는 능력으로 확립한다.

데이터 에이전트는 조직 작업 공간에서 자연어 기반 분석을 가능하게 하며, 관련 증거는 데이터베이스, 구조화된 파일, 장문 문서, 멀티미디어에 분산되어 있을 수 있다. 기존 벤치마크는 구조화된 질의, 검색, 또는 개방형 분석을 대부분 개별적으로 다루어, 이종 증거 발견, 완전한 표 형식 출력, 결정론적 평가를 충분히 통합하지 못하였다. 본 논문에서는 데이터 에이전트가 태스크별 이종 작업 공간에서 검증 가능한 표 형식 결과를 생성하는 벤치마크인 DataSpace를 소개한다. DataSpace는 410개의 교차 형식 태스크와 7,439개의 아티팩트를 포함하며, CSV, JSON, SQLite, Markdown, PDF, 비디오를 아우르는 총 15.01GB 규모이다. DataSpace는 또한 KDD Cup 2026 Data Agents for Complex Data Analysis 대회의 공식 평가 벤치마크로 활용되었다. 각 에이전트는 질문과 작업 공간만을 입력으로 받아 요청된 결과를 완전한 표 형식으로 반환한다. DataSpace는 실행 기반 프레임워크인 DataSpace-Builder를 통해 구축되었으며, 이는 교차 형식 변환, 제약 인식 관계형 샘플링, 모달리티 라우팅 및 아티팩트 렌더링, 그리고 11명의 도메인 전문가에 의한 인간 검토 및 태스크 수정을 포함한다. 결정론적 평가기는 헤더 불변 열 정렬, 유형 및 정밀도 인식 정규화, 순서 인식 행 비교를 수행한다. 최근 공개된 6개의 프론티어 멀티모달 모델과 널리 사용되는 5개의 에이전트 하네스를 평가한 결과, 최고 정확도는 66.34%에 도달했으며, 백본이 고정된 조건에서 하네스 선택에 따라 15.36포인트의 격차가 발생했다. 멀티모달 증거 통합과 조인은 6개 백본 모두에서 정확도를 일관되게 감소시켰다. 이러한 결과는 DataSpace가 아직 포화되지 않았음을 보여주며, 데이터 에이전트의 신뢰성 향상을 위한 핵심 과제를 식별한다.

현대 그리스어는 법률, 에너지, 금융, 의료 응용 분야에서 검색 증강 생성(RAG)에 중요함에도 불구하고 NVIDIA의 Nemotron 검색 모델과 주요 다국어 검색 벤치마크에서 누락되어 있다. 본 연구는 코퍼스 마이닝, 합성 지도 학습, 검색 모델 훈련, 리랭커 적응, 리더 미세 조정, 그리고 HERA라는 새로운 벤치마크를 포함하여 현대 그리스어를 위한 Nemotron 검색 스택의 종단 간 적응을 제시한다. 본 연구는 파라미터가 없는 BM25 기준선이 전문 그리스어 코퍼스에서 여러 오프더셸 다국어 밀집 검색 모델을 능가함을 보여준다. 65,773개의 그리스어 검색 쌍으로 미세 조정한 후, Nemotron 1B 임베더는 nDCG@10을 0.362에서 0.835로 개선하며 적응되지 않은 대응 모델을 상당히 능가한다. 학습된 언어 능력은 일반 영역 그리스어로 전이되지만, BM25에 대한 우위는 도메인에 따라 달라진다. 또한 교차 인코더 리랭커를 적응시켜 전문 도메인 전반에 걸쳐 일관된 개선을 입증한다. 마지막으로, 근거 기반 생성을 위해 Nemotron 30B-A3B 혼합 전문가 리더를 LoRA 튜닝하여 판정된 답변 정확도를 29.4%에서 66.9%로 향상시키는 동시에 충실도와 인용 품질을 유의미하게 개선한다. 또한 그리스어 RAG를 위한 최초의 대규모 벤치마크인 HERA를 도입하고, 그리스어 RAG 시스템에 대한 향후 연구를 지원하기 위해 적응된 모델과 벤치마크를 공개한다.

온-폴리시 증류(On-Policy Distillation, OPD)는 LLM 사후 훈련에서 강화학습의 유망한 대안으로 부상하고 있으나, 다국어 환경에서의 효용성은 여전히 충분히 탐구되지 않았다. 본 연구는 영어, 한국어, 일본어 수학적 추론에서 OPD와 그 고급 변형인 온-폴리시 델타 증류(OPD²)를 분석한다. OPD²는 사후 훈련된 교사 모델과 기본 모델 간의 확률 격차를 학습 신호로 활용하여 OPD를 개선한다. Qwen3 실험 결과, OPD²는 원래의 OPD보다 일관되게 우수한 성능을 보였으며, 특히 한국어와 일본어에서 두드러진 향상을 나타냈고 전반적으로 영어-한국어 성능 격차를 축소하였다. 또한 영어 전용 OPD도 한국어와 일본어의 성능을 향상시킬 수 있지만, 응답이 영어로 전환되는 경향이 자주 나타나 목표 언어 응답을 보존하는 데 다국어 데이터의 중요성을 강조하였다.

비전-언어-행동(VLA) 모델은 종종 메인 뷰와 손목 뷰 관측값을 병렬적인 시각 입력으로 취급하며, 로봇 조작에서 두 관측값이 지니는 서로 다른 역할을 간과한다. 그러나 정밀 조작은 전역적 과제 맥락 하에서 손목 국소 상호작용이 어떻게 전개될지 예측함으로써 이점을 얻을 수 있다. 이러한 한계를 해결하기 위해, 본 논문에서는 과제 조건부 미래 손목 모델링을 적용한 정밀 로봇 조작용 VLA 모델인 W2-VLA(World-to-Wrist VLA)를 제시한다. 현재의 다중 뷰 관측값과 과제 지시가 주어졌을 때, W2-VLA는 비전-언어 모델과 손목 예측기 사이의 간결한 인터페이스 역할을 하는 일련의 잠재 모델링 토큰을 맥락화한다. 이 인터페이스와 관측된 손목 이력에 조건부로, 예측기는 미래 손목 잠재 표현을 예측하며, 예측된 표현은 행동 예측을 위한 미래 인식 컨텍스트로 변환된다. 또한, 본 연구는 조작 진행 상황, 물리적 전환 단서, 손목 국소 증거를 설명하는 구조화된 주석을 생성하는 합성 파이프라인인 W2-CoT를 도입한다. 이러한 주석은 과제 조건부 잠재 인터페이스를 형성하는 보조 감독을 제공한다. LIBERO, RoboTwin 2.0 및 실제 로봇 조작 과제에 대한 실험 결과, 단일 팔 및 양팔 설정 모두에서 정밀하고 접촉에 민감한 조작 성능이 개선되었으며, 행동 생성 속도는 80Hz 이상을 유지하였다.

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작을 위한 강력한 패러다임이 되었지만, 이질적인 로봇 구현(embodiment)을 위한 단일 범용 정책(generalist policy)을 훈련하는 것은 여전히 미해결 문제이다. 기존 방법들은 두 가지 주요 한계를 가진다. 첫째, 다양한 시각 및 상호작용 데이터에 걸쳐 공유되는 동역학 사전(dynamics priors)을 충분히 활용하지 못하여 교차 구현 전이(cross-embodiment transfer)를 제한한다. 둘째, 구현별 행동을 공통 형식으로 변환하기 위해 광범위한 수동 전처리를 요구한다. 이러한 한계를 극복하기 위해, 우리는 공유 동역학 사전(shared Dynamics Priors)과 구현별 제어(Embodiment-Specific control)를 학습하는 교차 구현 VLA인 DyPES-VLA를 제안한다. 첫째, 우리는 교차 구현 데이터에 대한 미래 예측 목적 함수(future-prediction objective)를 사용하여 비전-언어 모델(VLM)을 훈련함으로써 공유 동역학 사전을 학습하며, 이를 통해 공유 쿼리 표현이 객체 운동, 접촉, 상호작용으로 유발된 장면 변화를 포착하도록 한다. 둘째, 구현별 전문가 혼합(Mixture-of-Experts, MoE) 행동 헤드는 이 공유 동역학 사전을 각 구현의 고유 행동 공간(native action space)에서 직접 실행 가능한 제어로 변환하며, 이질적인 행동을 공통 형식으로 수동 사전 정렬할 필요가 없다. 이 헤드는 공통된 시간적 행동 구조를 포착하기 위해 어텐션 계층을 공유하는 반면, 구현별 피드포워드 전문가는 서로 다른 구현의 고유한 운동학적 제약과 제어 의미론을 해결한다. 범용 정책으로서, 우리의 DyPES-VLA는 시뮬레이션 및 실제 환경 평가 전반에서 최첨단 성능을 달성하여 LIBERO에서 98.0%, RoboCasa-GR1에서 59.25%, RoboTwin 2.0에서 89.02%의 성공률을 기록한다.

3D 장면을 이해하는 것은 체화된 지능의 근간이며, 시각적 및 기하학적 단서를 포함한 여러 모달리티의 이질적 정보에 대한 통합적 추론을 요구한다. 그러나 이러한 모달리티들의 관련성은 쿼리에 따라 종종 달라진다. 기존의 다중 모달 대형 언어 모델(MLLM)은 일반적으로 고정된 모달리티 조합에 의존하여 쿼리 의존적 모달리티 요구를 간과한다. 이러한 경직된 설계는 관련 없는 모달리티로부터 의미적 노이즈를 유발하는 동시에 더 유익한 모달리티의 활용을 저하시켜 계산 낭비와 추론 희석을 초래한다. 이러한 문제를 해결하기 위해 본 논문은 의미 인식 3D 장면 이해를 위해 이질적 모달리티를 동적으로 조정하는 통합 MLLM인 SmartMage를 제안한다. 구체적으로, SmartMage는 다음을 포함한다: (1) 의미적 사전 지식, 텍스트-모달리티 정렬 및 모달리티 품질을 활용하여 작업 관련 모달리티를 선택하는 의미 기반 모달리티 적응 라우팅(SMART) 모듈, 그리고 (2) 모달리티 사전 지식을 활용하여 전문가 활성화를 안내함으로써 다중 모달 추론의 적응적 전문화를 촉진하는 모달리티 인식 게이팅 전문가(MAGE) 모듈. 실험적으로, SmartMage는 5개의 3D 장면 이해 벤치마크에서 최고 수준의 성능을 달성하며, RGB 전용 비디오 이해 벤치마크에서도 경쟁력 있는 결과를 얻는다. 우리의 진단 벤치마크인 ScanFacet에서는 작업이 세분화된 의미 범주로 나뉘며, 이를 통해 각 의미 유형이 선호하는 모달리티 조합을 분석할 수 있다. 관찰된 모달리티-의미 패턴은 SmartMage의 효율성에 대한 추가적인 증거를 제공한다. 프로젝트 페이지: https://yuecheong.github.io/SmartMage/.

컴퓨터 사용 에이전트는 사용자가 이미 수행한 루틴을 재도출하기 위해 최첨단 추론(frontier inference) 비용 전체를 지불한다. 오늘날 에이전트의 메모리는 사용자가 말한 것을 기록할 뿐, 사용자가 실제로 한 행동을 기록하지 않기 때문이다. 우리는 결정적(deterministic) 제로-모델 파이프라인을 통해 수동적으로 캡처된 화면 활동을 에이전트 메모리로 컴파일한다. 이 파이프라인은 로컬 캡처 스트림을 유형화된 활동 프레임(typed activity frames), 즉 애플리케이션, 사이트, 타이밍, 입력량, 그리고 원시 행으로의 증거 포인터를 포함하는 경계화된(bounded) 에피소드들로 분할한다. 루프에 모델이 개입하지 않으므로 출력은 바이트 단위로 동일하며, 캐시 가능하고 기계적으로 감사 가능하다. 51일의 활성 사용 기간 동안 수집된 128,756개 프레임으로 구성된 한 전문가의 단일 사용자 코퍼스에서, 컴파일러는 하루 분량의 원시 캡처를 68ms 만에 86배 더 작은 프롬프트 준비 완료 컨텍스트 블록으로 축소한다. 해당 블록을 읽는 에이전트는 독립적인 오라클 대비 그날에 관한 질문에 98.4%의 정확도(윌슨 95% 신뢰구간 91.7-99.7%)로 응답하며, 이는 동일 캡처의 LLM 요약을 읽는 경우의 66-80%보다 높은 수치이다. 블록을 읽는 중급 모델은 최첨단 모델과 동등한 성능을 보인다. 동일한 컴파일러는 수요 측면 비용 도구로도 기능한다. 에이전트 롤아웃(rollout)이 아닌 위임 이전의 수동적 인간 활동으로부터 판독함으로써, 에이전트 비용 모델이 가정하지만 우리가 아는 한 아직 측정된 적 없는 두 매개변수, 즉 루틴 오버헤드 비율 R과 루틴 재발률 h를 제공한다. 우리는 모델링된 상한인 R의 첫 값을 60-343배로 보고하며, 위임 가능한 재발률은 표본 내 9.0%, 표본 외 7.7%로 나타나 현실적인 전체 플릿(fleet) 토큰 상한이 8%에 근접한다. 컴파일된 루틴은 모델이 루프에서 제외된 채 결정적으로 재생되며, 가드 일치 적중(guard-matched hit)에서 제로 모델 토큰으로 실시간 시연되었다. 스키마, 컴파일러 및 평가 하네스(harness)는 모두 공개되어 있다.

비디오 객체 제거는 대상 객체뿐만 아니라 그로 인해 유발된 효과까지 제거하면서, 고충실도와 시공간적으로 일관된 복원을 유지해야 한다. 기존 방법들은 주로 사전 정의된 효과 범주와 고정된 데이터 분포로부터 객체-효과 대응 관계를 암시적으로 학습하므로, 복합적 효과, 공간적으로 분리되거나 약하게 상관된 효과, 롱테일 물리 현상, 동적으로 진화하는 상호작용을 포함하는 복잡한 실제 장면에 대한 일반화에 한계가 있다. 본 논문에서는 VLM 기반 객체-효과 추론기(Reasoner)와 DiT 기반 비디오 지우개(Video Eraser)를 결합한 의미론적 추론 강화 프레임워크인 EffectLearner를 제안한다. 구조화된 효과 분석 프롬프트의 안내에 따라 추론기는 대상 객체가 강조된 비디오에 대해 교차 모달 추론을 수행하고 간결한 효과 인식 컨텍스트를 추출하며, 이는 비디오 지우개가 포괄적인 객체-효과 제거를 수행하도록 안내한다. 모션 인식 마스크 가이드와 모션 일관성 감독은 객체의 움직임과 장면 역학의 진화 하에서 제거 범위와 시공간적 안정성을 추가로 향상시킨다. 복잡한 실제 시나리오에서 프레임워크를 완전히 활용하기 위해, 복잡한 객체 유발 효과를 위해 특별히 설계된 짝지어진 비디오 데이터셋인 EffectWorld를 구축하고, 공통 감독과 복합 효과 데이터를 결합한 점진적 훈련 커리큘럼을 도입한다. 표준 ROSE-Bench에서 EffectLearner는 대부분의 지표에서 기존 베이스라인을 능가하며, EffectWorld-Eval과 도전적인 EffectWorld-Wild에서도 명확한 우위를 보여 복잡한 실제 장면에서 고품질 비디오 객체 제거를 달성할 수 있음을 입증한다.

터미널 에이전트를 훈련하려면 실행 가능하고 검증 가능한 태스크가 필요하며, 이는 단순히 해결 가능할 뿐만 아니라 학습에 적절한 도전 수준을 갖추어야 한다. 실행 가능한 검증은 실현 가능성을 확립하지만, 주어진 솔버 설정에서 태스크가 어떻게 작동하는지는 드러내지 않는다. 본 논문에서는 검증된 솔버 동작을 활용하여 적대적 솔버 캘리브레이션을 통해 후보 태스크를 수정하는 자율 터미널 태스크 합성 시스템인 CalibForge를 제시한다. 다중 솔버 캘리브레이션은 이질적 솔버 풀 내에서의 불일치를 목표로 하는 반면, 대조적 솔버 캘리브레이션은 지정된 강-통과/약-실패 관계를 목표로 하며, 두 전략 모두 입증된 해결 가능성에 기반한 솔버 상대적 학습 가능 영역을 작동화한다. CalibForge를 사용하여 5,431개의 캘리브레이션된 터미널 태스크를 구축하였다. 절제 실험 결과, 두 전략 모두 작성 및 검증 단독이나 일반적인 단일 솔버 피드백보다 더 효과적인 지도를 제공하는 것으로 나타났다. 전체 컬렉션으로 훈련된 모델은 Terminal-Bench 2.0에서 32.58%와 47.57%를 달성하였다. 해당 기본 모델 대비 가장 큰 개선 폭은 Terminal-Bench 2.0에서 24.71퍼센트 포인트, SWE-bench Pro에서 27.68포인트, Doc2Repo에서 30.04포인트에 달한다. 종합적으로, 이러한 결과는 효과적이고 전이 가능한 에이전트 훈련 데이터를 구축하기 위한 실용적 목표로서 솔버 상대적 학습 가능성을 뒷받침한다.

우리는 이디시어를 위해 특별히 구축된 최초의 오픈소스 80억 파라미터 언어 모델인 MameLoshnLM을 제시한다. 이디시어의 풍부한 텍스트 전통에도 불구하고, 제한된 디지털 존재감과 신뢰할 수 있는 평가 자원의 부족은 이디시어 언어 모델링의 발전을 제약해 왔다. 기존의 다국어 코퍼스와 벤치마크는 종종 해당 언어에 대한 부실한 대리물로서, 상당량의 노이즈가 섞인 기계 번역 텍스트와 잘못 분류된 텍스트를 포함하고 있다. 우리는 이러한 공백을 해결하기 위해 현대의 웹 기반 자료와 문학 자료를 결합한 고품질 이디시어 사전학습 코퍼스인 Oytser와 번역, 언어 분석, 정보 추출, 언어 이해를 아우르는 다중 작업 벤치마크인 Kashes를 소개한다. 이러한 자원을 사용하여 우리는 Llama 3.1 8B에 대한 사전학습을 지속함으로써 MameLoshnLM을 얻는다. 벤치마크의 작업 전반에 걸쳐 MameLoshnLM은 유사한 규모의 오픈 베이스라인을 능가한다. 우리의 분석은 이러한 성과가 단지 양적인 것만이 아님을 보여준다: 범용 다국어 모델과 비교할 때, MameLoshnLM은 언어를 정의하는 어휘적 및 형태적 패턴을 더 잘 포착하며, 이는 저자원 언어에 대한 노이즈가 있는 웹 규모 다국어 데이터의 광범위한 실패 양상을 시사한다. 우리의 결과는 이디시어 NLP를 위한 기반과 역사적으로 풍부하지만 디지털에서 과소 대표되는 언어들에서의 언어 모델 개발을 위한 실용적인 템플릿을 모두 제공한다.

종단 간(end-to-end) 문서 파서는 통합 인터페이스를 제공하지만 페이지 레이아웃과 영역별 내용을 하나의 자기회귀(autoregressive) 시퀀스로 직렬화한다. 이러한 공식화는 독립적인 영역들을 전체 콘텐츠 길이에 비례하여 길어지는 디코딩 경로에 강제한다. 반면, 크롭 기반 2단계 파서는 반복적인 시각적 프리필(prefill)과 분할된 페이지 컨텍스트를 대가로 영역 수준 병렬성을 노출한다. 의존성을 제거하면서 전체 페이지 컨텍스트를 유지하기 위해, 우리는 예측된 레이아웃을 공유 페이지 표현 위의 분기 구조로 취급하는 레이아웃 기반 파서 PaDoc을 제안한다. 영역 충분성 가정 하에, 우리는 레이아웃 스트림과 영역별 콘텐츠 분기가 동시에 진행되는 접두사 조건부 인수분해(prefix-conditioned factorization)를 유도하며, 디코딩 깊이를 가장 긴 레이아웃-콘텐츠 경로로 줄인다. 우리는 이 인수분해를 단일 MLLM(멀티모달 대규모 언어 모델) 내에서 구현한다. 패킹된 가변 길이 조상 어텐션(packed variable-length ancestor attention)은 표준 다음 토큰 학습 하에서 가시성을 보존하고, 마스킹된 병렬 디코딩은 평가된 vLLM 백엔드가 캐시 상주 공유 접두사 재사용을 통해 동시 요청으로 처리하는 분기를 생성한다. OmniDocBench Full에서 PaDoc은 Overall 레이아웃 F1 91.1을 달성하고, 종단 간 파서 중 최상위권 Overall 점수 94.24와 함께 최고의 Text Edit(0.038) 및 Formula CDM(95.59)을 기록한다. 384페이지 하위 집합과 A800 GPU 1개 환경에서, PaDoc은 5가지 동시성 수준에서 가장 빠른 종단 간 파서로, 동일 백본을 사용하는 순차 SFT 베이스라인 대비 유효 페이지 처리량(valid-page throughput)을 67.4~118% 개선하고 P95 지연 시간을 39.2~54.9% 감소시킨다. 코드는 https://github.com/Longin-Yu/Padoc에서 확인할 수 있다.

잠재 확산 모델링(LDM)은 주요 패러다임으로, 입력 신호를 압축된 표현으로 매핑하기 위해 토크나이저를 활용한다. 이러한 의존성은 토크나이저가 생성 과정 자체의 필수적인 부분이 되게 하며, 이는 학습 속도와 합성 샘플의 품질에 영향을 미치고 이후 응용의 기반을 마련하기 때문이다. 본 보고서는 후속 텍스트 조건 생성을 위해 설계된 오디오, 이미지, 비디오용 일련의 KVAE 토크나이저를 제시한다: KVAE-Audio는 64채널의 50Hz 잠재 표현을 갖춘 연속 풀밴드 48kHz 토크나이저이고, KVAE-3D는 4x16x16 및 4x8x8 압축을 위한 두 가지 인과적 비디오 토크나이저이며, KVAE-2D는 이미지 모델로서 32채널로 입력을 8배 압축한다. 우리는 재구성(PSNR, LPIPS, PESQ 등) 및 생성 결과가 객관적(Frechet Distance, CLIP score, CLAP score 등) 및 주관적(나란히 비교 평가) 지표에서 Wan-2.2, HunyuanVideo-1.5, FLUX.2, MovieGen, StableAudio 및 MMAudio의 VAE와 같은 최첨단 오픈소스 토크나이저와 동등하거나 능가함을 입증한다. 개발의 어려움을 고려하여, 우리는 커뮤니티와 훈련 세부 사항, 모델 선택 방법 및 설계 선택에 대한 절제 실험을 공유한다. 코드는 https://github.com/kandinskylab/kvae 및 https://github.com/kandinskylab/kvae-audio에서 공개적으로 이용 가능하다.

고전적인 지속 학습(CL)은 주로 훈련 전략, 아키텍처 설계, 가중치 적응과 같은 매개변수 중심 메커니즘, 예컨대를 통해 모델이 지식을 갱신하고 유지할 수 있게 하는 데 초점을 맞춰 왔다. 그러나 새로운 패러다임들은 이러한 전통적인 모델 적응 관점을 넘어 CL의 범위를 재편하고 있다. 예를 들어, 온-정책 학습은 갱신 메커니즘의 공간을 확장하고, 테스트 시점 훈련은 CL을 훈련 단계에서 추론 단계로 확장하며, 메모리, 기술 라이브러리, 상호작용 프로토콜과 같은 외부 하네스 구성 요소들은 모델 역량의 진화 경계를 정적 매개변수 공간을 훨씬 넘어 확장한다. 종합하면, 이러한 발전들은 매개변수 중심 학습에서 시스템 수준 적응으로의 전환을 시사한다. 이러한 전환의 특성을 규명하기 위해, 우리는 학습이 언제(When), 어떻게(How), 어디서(Where) 발생하는지라는 세 가지 차원을 통해 지속 학습의 진화를 살펴본다. How 차원은 오프-정책, 온-정책, 그리고 경사 기반을 넘어선 최적화 메커니즘을 포괄한다. When 차원은 사전 훈련, 사후 훈련, 추론 시점 단계에 걸친 진화를 포착한다. Where 차원은 내부 매개변수 내에서 발생하는 갱신과 외부 구조적 제약에서 발생하는 갱신을 구분한다. 이 삼축 프레임워크에 기반하여, 우리는 대표적인 방법들을 체계적으로 조사하고, 지속 학습의 진행 중인 전환을 추적하며, 이러한 패러다임 전환에서 비롯된 핵심 과제, 광범위한 시사점, 그리고 향후 방향을 논의한다.

심층 비전 모델은 지도 신호와 상관관계를 이루는 단서에 의존하여 지름길(shortcut)을 활용한다. 기존 연구는 객체-배경 또는 질감 상관관계와 같은 가시적 편향에 초점을 맞춰 왔다. 우리는 지름길 학습의 또 다른 원천을 식별한다: 이미지 처리 및 촬영 획득과 같은 메타데이터가 픽셀 수준에 내재된 보이지 않는 메타데이터 흔적이다. 우리는 범주형 레이블(ImageNet) 또는 수십억 규모 캡션(LAION)을 통한 대규모 의미론적 지도가 사전 학습 중 자연스럽게 메타데이터-의미론 상관관계를 유도하여, 모델이 저수준 신호를 예측적 특징으로 변환하게 한다는 가설을 세운다. 통제된 메타데이터-의미론 상관관계를 도입함으로써, 상관관계가 강할수록 메타데이터 흔적에 대한 민감도가 체계적으로 높아지고 메타데이터 분포 변화 하에서 성능 저하가 더 커짐을 보인다. 또한 사전 학습 중 및 이후에 적용되는 완화 전략이 대상 메타데이터뿐만 아니라 미지의 메타데이터에 대한 민감도도 줄이면서 다운스트림 작업 성능을 희생하지 않음을 탐구한다. 메타데이터 민감도는 또한 긍정적 측면을 지닌다: 이는 일부 인코더의 강력한 생성 이미지 탐지 능력을 부분적으로 설명하며, 그 완화는 분포 외 일반화를 향상시킬 수 있다. 코드: https://github.com/ryan-caesar-ramos/visual-encoder-traces

최근 비디오 모델들은 점차 단일 모델 내에서 생성, 레퍼런스 조건화, 편집을 지원하지만, 일반적으로 이를 고정된 입력에 대한 별개의 연산으로 노출한다. 실제 창작은 여러 샷에 걸쳐 이루어지며, 하나의 모델이 공유 히스토리를 유지하면서 텍스트로부터 생성하고, 레퍼런스를 따르고, 소스 푸티지를 편집할 수 있어야 한다. 우리는 이 설정을 인터랙티브 멀티샷 비디오 생성(IMVC)으로 공식화하고, 이러한 연산을 위한 역할 인식 컨텍스트 표현을 갖춘 통합 모델 ContextMaster를 제안한다. 인터랙티브 모델은 각 디노이징 단계의 컨텍스트 읽기 비용이 증가하지 않으면서 확장되는 히스토리에 대한 접근을 유지해야 한다. ContextMaster는 재사용 가능한 클린 컨텍스트 상태와 고정 예산의 희소 컨텍스트 라우팅을 결합하고, ConstraintSink를 사용하여 작업 제약 조건의 가시성을 유지한다. 희소 컨텍스트 접근과 소수의 디노이징 단계를 통한 추론이라는 이중 과제를 해결하기 위해, 우리는 2단계 특권 컨텍스트 증류 프레임워크를 제안한다. 이는 일관성 증류를 통해 밀집 교사로부터 전체 컨텍스트 동작을 전이한 후, 분포 정합으로 배포 롤아웃을 정제한다. 세 가지 기본 작업에 대한 실험은 특화된 베이스라인 대비 작업 수행 및 샷 간 일관성 개선을 보여준다. 사용자 연구는 유연하게 구성된 워크플로우를 추가로 검증하며, 모델은 단일 GPU에서 16 FPS를 달성한다.

현재의 비디오 세계 모델은 멀티플레이어 환경에서 세계 상태와 시점 의존적 시각 잠재 변수를 서로 얽히게 함으로써 중복 계산, 시점 불일치, 낮은 확장성을 초래한다. 우리는 이러한 한계를 해결하기 위해 MAS(권위적 공유 상태를 갖는 멀티플레이어 세계 모델, Multiplayer world models with Authoritative Shared State)를 제안한다. 멀티플레이어 게임 아키텍처에서 영감을 얻은 MAS는 세계 역학과 시점 렌더링을 분리한다. 학습된 논리 엔진(Logic Engine)은 수작업으로 작성된 전이 함수 없이 공동 행동으로부터 전역적이고 권위적인 유형화된 상태를 진행시키며, 유일한 순환 메모리이자 동기화 기준으로 작동한다. 이 공유 상태로부터 학습된 렌더링 엔진(Rendering Engine)은 요청된 임의의 카메라에 대해 독립적이고 일관된 시점을 온디맨드로 생성한다. 이러한 명시적 분리를 통해 MAS는 대응되는 멀티플레이어 Snake 벤치마크에서 최첨단 다중 시점 기준 모델 대비 우수한 상태 정확도와 낮은 시점 간 불일치를 달성한다. 또한 1,024명의 동시 플레이어가 참여하는 예측 세계를 10,000개의 순환 단계로 진행시킨다. 우리의 결과는 명시적이고 권위적인 상태 모델링이 확장 가능하고 일관된 다중 에이전트 세계 시뮬레이션을 위한 실용적인 기반을 제공함을 보여준다.

로봇 학습은 두 가지 방향으로 분기하고 있다: 고정된 가중치에 능력을 구워 넣는 정책(비전-언어-행동, 즉 VLA 모델)과, 에이전트가 자신의 실행 가능한 스킬을 코드로 직접 작성하고 개선해 나가는 접근법이 그것이다. 본 서베이는 가중치 대(對) 스킬이라는 축을 기준으로 해당 분야를 체계화한다. 이 논문의 핵심적 분석 기여는 코드-기반 정책 방법들을 자기 개선의 정도에 따라 배열한 심층 분석으로, 제로샷 프로그램 합성에서부터 폐루프 자가 수리, 지속적 스킬 메모리를 거쳐, 실행 피드백과 스킬 메모리, 진화 탐색이 하나의 개방형 루프로 결합되는 매우 드문 영역에 이르기까지를 다룬다. 이 마지막 영역을 차지하는 시스템은 ASPIRE, ENPIRE, RoboClaw 등 극히 최근의 소수에 불과하다. 또한 본 논문은 비지도 강화학습 기반 스킬 발견에서 대규모 언어 모델 스킬 라이브러리에 이르는 상보적 '스킬' 축을 매핑하고, '스킬'이라는 용어가 최소한 다섯 가지 서로 다른 의미로 사용되며, 그중 코드 의미에서만 경사 업데이트 없이 자기 개선이 가능함을 보여준다. 이후 본 논문은 이 분류체계를 부상하는 스킬 경제와 연결한다: 상업용 로봇 스킬 마켓플레이스는 이제 다양한 로봇에 원탭 스킬을 배포하지만 정적 재생만을 제공할 뿐이며, 이는 적응, 교차 구현 이식성, 출처 추적, 안전성 검증, 구성, 표준화라는 미해결 과제를 표면화한다. 이는 의도적으로 초점을 좁힌 서베이다. 본 논문은 분야를 망라하여 목록화하는 대신, 여섯 가지 기법 계열에 걸친 77개의 대표 시스템을 하나의 분류체계와 대조 표들을 통해 검토하고, 자기 개선 메커니즘에 대한 작동적 정의와 각 계열이 수행할 수 없는 기능에 대한 진술을 함께 제시한다.

세계 모델은 물리적 세계의 구조와 역학을 포착하고 예측하는 능력으로 큰 주목을 받아왔다. 이러한 새로운 연구 지형에서 공동 임베딩 예측 구조(JEPA)는 특히 매력적인 방향을 제시한다. 우리는 DENSEWORLD라고 부르는, 인구가 많고 혼잡하며 혼란스러운 글로벌 사우스(Global South) 도시 환경이라는 거의 탐구되지 않은 영역을 연구한다. 기존 평가를 주도하는 저밀도·차선 구조 환경과 달리, 이러한 장면들은 불분명한 공간 경계, 극단적인 에이전트 이질성, 지속적인 가림, 그리고 혼합 교통에서의 빠른 사회적 협상을 보인다. 우리는 이 영역에 대한 최초의 대규모 데이터셋인 22개 도시에 걸친 1,000시간 분량의 주행·보행·항공 영상을 소개한다. 기존 JEPA 방식들은 이질성과 부분 관측 가능성 하에서 밀집된 상호작용 역학을 보존하는 데 어려움을 겪는다. 우리는 세계 구조를 일급 예측 기본 요소로 만드는 FactorJEPA를 제안한다. 이는 미래를 단일(모놀리식) 잠재 표현으로 인코딩하는 대신, 가시성 게이트와 분리된 부분공간을 사용하여 부분적으로 관측된 에이전트를 보존하고 교차 요인 지름길을 억제함으로써 레이아웃, 개체, 그리고 상호작용을 구성한다. FactorJEPA는 (i) 미래 잠재 표현 정확도(Future-frame L1), (ii) 개입 민감 예측(Causal L1), (iii) 감소된 시각적 증거에 대한 강건성(Mask-ratio slope)을 개선하며, 동시에 (iv) 재현 가능한 모션-정보 트레이드오프(Motion cosine)를 드러낸다. 방법 순위는 2B 및 1B V-JEPA 2.1 백본에서도 재현되며, rho = 0.895~0.978이다. 우리는 DENSEWORLD-115k 데이터셋(https://huggingface.co/datasets/anonymousML123/denseworld-115k)과 surgery 방식으로 훈련된 FactorJEPA 체크포인트(https://huggingface.co/datasets/anonymousML123/factorjepa-outputs/tree/main/outputs/full/vjepa_2_1_vitg_1B/train/m09c_surgery_3stage_DI_diheavy_encoder)를 공개한다.

다국어 텍스트 임베딩 모델은 다양한 작업이 근본적으로 다른 최적화 전략을 요구함에도 불구하고, 일반적으로 다양한 작업에 걸쳐 단일 학습 목적 함수를 사용하여 적응된다. 본 논문에서는 다국어 임베딩 적응 프레임워크인 Task-Conditional Flow Matching(TCFM)을 제안한다. TCFM은 번역 작업에는 Flow Matching을 선택적으로 적용하고, 검색, 분류, 쌍 분류 작업에는 해당 학습 역학에 더 적합한 목적 함수를 사용하여 최적화한다. 또한, TCFM은 교사 기반 표현 보존(teacher-guided representation preservation)을 3단계 커리큘럼과 결합하여 안정적인 적응을 가능하게 한다. Indic Massive Text Embedding Benchmark에서 평가한 결과, TCFM은 다양한 다국어 작업 전반에 걸쳐 임베딩 품질을 일관되게 개선하고 여러 임베딩 모델 군에 일반화되며 새로운 최첨단 성능을 달성한다. 본 논문이 채택되면 코드베이스와 데이터셋을 공개할 예정이다.

재구성된 장면에서 최소한의 사용자 조작으로 완전한 3D 객체를 선택하는 것은 실용적인 장면 편집 및 실감 상호작용에 필수적이다. 기존의 3DGS 기반 방법들은 객체별 라벨을 임베딩하기 위해 가우시안 표현을 재학습하거나, 조밀한 다중 뷰 SAM 관측치를 구축하는데, 둘 다 막대한 계산 비용과 실제로는 거의 확보하기 어려운 조밀한 시점 커버리지를 요구한다. 본 논문에서는 희소 뷰와 희소 낙서(scrawl) 안내만으로 상호작용적 3D 객체 선택을 가능하게 하는 학습 불필요(training-free) 프레임워크인 GaussianSelector를 제안한다. 우리는 네이티브 가우시안 프리미티브에 직접 작동하며, 조밀한 가우시안을 기하학적으로 일관된 슈퍼포인트로 조밀화하고, 외관 및 공간 단서를 이용한 연속성 가중치 그래프를 구축한다. 희소 사용자 낙서는 가시성 기반 투과율(transmittance) 커버리지를 통해 3D로 승격되며, 선택은 희소 증거를 완전한 3D 객체로 전파하는 전역 그래프 컷 에너지 최소화 문제로 해결된다. 이 설계는 사용자가 추가 시점에서 선택을 반복적으로 수정하여 결과를 점진적으로 개선하는 다중 라운드 정제(refinement)를 자연스럽게 지원한다. 실험 결과, GaussianSelector는 최첨단 다중 뷰 SAM 기반 방법들과 대등한 선택 품질을 달성하면서도 훨씬 적은 상호작용 시점과 상당히 낮은 계산 오버헤드를 요구함을 보여준다. 이러한 특성은 실제 배포 시나리오에서 인간-인-더-루프(human-in-the-loop) 3D 장면 편집 및 3D 자산 추출에 매우 적합함을 시사한다.