번역이 포함된 일일 선별된 AI 연구 논문
온-폴리시 증류(OPD)는 검증 가능한 보상을 이용한 강화학습(RLVR)의 희소한 결과 수준 이점에 대한 대안으로 밀집된 토큰 수준의 지도를 제공한다. 그러나 교사는 본질적으로 자신에게 오프-폴리시인 학생 생성 궤적을 채점하므로, 교사 지도의 신뢰성과 그에 따른 학생 성능 향상의 원천은 여전히 불분명하다. 우리는 OPD 훈련 중 교사 지도를 정량적으로 분석하여, 교사 규모가 커질수록 더 많이 나타나는 상당한 노이즈를 발견한다. 놀랍게도 학생 정책은 이러한 노이즈에 둔감하여, 노이즈가 포함된 지도를 유지하든 제거하든 유사한 성능으로 수렴한다. OPD는 과연 증류를 하는 것인가? 성능 향상을 이끄는 요인을 분석한 결과, 학습이 낮은 로그 확률을 가진 토큰에 집중되며, 단일 고정 음의 이점을 사용하는 것이 교사가 제공하는 이점과 동등한 성능을 보인다는 것을 발견한다. 이는 OPD가 주로 낮은 로그 확률 토큰을 억제함으로써 작동하며, 이 과정에 교사가 필요하지 않음을 시사한다. 이러한 발견은 엔트로피 적응형 음의 이점을 사용하는 지도-비의존 방법인 온-폴리시 자기 적응(OPSA)의 동기가 된다. OPSA는 높은 엔트로피 위치에 더 강한 학습 신호를 할당하여 꼬리 토큰을 억제하고, 머리 토큰들 사이에 확률 질량을 고르게 재분배한다. 기본 Qwen3-1.7B와 비교하여 OPSA는 AIME24에서 Avg@32를 35.41포인트 개선하며, 이는 263%의 상대적 향상에 해당하고, 세 벤치마크 모두에서 Pass@32를 두 배 이상 증가시킨다. 또한 AIME24의 Avg@32에서 OPD를 16.77포인트 능가한다. 다양한 모델 계열과 과제에 걸친 광범위한 실험과 분석은 OPSA의 효과성과 일반화 가능성을 추가로 입증한다.
최근 비디오 생성기는 오디오를 생략하거나 별도의 단계에서 합성하는 경우가 많아, 시각적 역학과 음향 사건의 상호 모델링에 제한이 있다. 본 논문에서는 7B 생성기를 중심으로 한 소형의 네이티브 통합 오디오-비디오 생성 시스템인 DreamX-Creator 1.0을 제시한다. 첫 번째 프레임과 텍스트 프롬프트를 조건으로 하여, 생성기는 양식별 오디오 및 비디오 스트림을 공동으로 노이즈 제거한다. 이 스트림들은 네트워크 전반부에서 독립적으로 처리되며, 후반부에서는 게이티드 크로스모달 어텐션(Gated Cross-Modal Attention)을 통해 결합되는데, 이때 토큰별 및 헤드별 출력 게이트가 각 활성 크로스모달 어텐션 헤드 출력을 조정한다. 통합 오디오-비디오 데이터 시스템은 시간적으로 정합적인 클립을 구축하고 필터링하며, 구조화된 멀티모달 주석을 생성하고, 클립을 기능 중심 데이터 풀로 구성한다. 점진적 공동 학습(Progressive Joint Training)은 두 단계의 오디오-비디오 사전 학습과 고품질 미세 조정(High-Quality Finetuning)으로 구성된다. 오디오-비디오 강화 학습(Audio-Video Reinforcement Learning)은 비디오, 오디오 및 크로스모달 피드백을 해당 스트림에 라우팅하는 양식 인지 멀티모달 피드백(Modality-Aware Multimodal Feedback)을 통해 생성기를 추가 학습시킨다. 고해상도 출력을 위해, 본 논문의 자기회귀 1-스텝 2K 정제 파이프라인(Autoregressive 1-Step 2K Refinement)은 양방향 다중 스텝 교사를 자기회귀 다중 스텝 정제기로 변환하고, 이를 시간적 청크당 단일 노이즈 제거 평가만을 요구하는 학생 모델로 증류한다. 전반적으로 DreamX-Creator 1.0은 최첨단 오픈소스 시스템과 경쟁력 있는 성능으로 네이티브하고 동기화된 오디오-비디오 생성을 달성한다. 본 논문은 소형 7B 생성기와 2K 정제기를 공개함으로써 네이티브 오디오-비디오 생성을 민주화하고, 통합 오디오-비디오 생성 모델링에 대한 향후 연구를 위한 접근 가능한 기반을 제공하고자 한다.
구성 가능한 장면 모델링은 실제 실내 장면을 관찰된 대로 배치된 완전하고 편집 가능한 객체 에셋으로 복원하여, 로봇 시뮬레이션과 체화 AI에 객체를 개별적으로 조작할 수 있는 시뮬레이션 준비 복제본을 제공하는 것을 목표로 한다. 기존 파이프라인은 이 작업을 세 단계, 즉 관측을 인스턴스로 분해하고, 각각에 대한 에셋을 생성하고, 각 에셋을 다시 배치하는 단계로 분해하지만, 모든 단계는 어수선한 캡처가 거의 제공하지 못하는 입력, 즉 정확한 인스턴스 지오메트리, 가려짐 없는 뷰, 관측과 정확히 일치하는 에셋을 전제로 한다. 우리는 이 순서를 유지하면서 요구사항을 재분배하는 Lucida를 제안한다. Lucida는 각 단계가 실제 캡처가 안정적으로 제공하는 것만을 소비하며, 정밀도는 파이프라인의 시작에서 요구되는 대신 끝에서 달성된다. Lucida는 비디오를 장면 그래프로 파싱하여 각 노드가 인스턴스별 다중 뷰 증거를 담게 하고, 각 인스턴스에 대해 해당 증거로부터 완전한 에셋을 생성하며, 배치를 다중 턴 GUI 상호작용으로 간주하는 VLM 정책인 GizmoAct를 통해 에셋을 배치한다. GizmoAct는 폐루프에서 객체의 기즈모를 조작하고 정렬이 달성된 시점을 스스로 결정한다. 장면 수준 3D 객체 검출, 객체 자세 추정, 장면 재구성에 걸쳐 Lucida는 R2S-Scene에서 Boxer 대비 mAP를 69% 향상시키고, CA-1M에서 ADD-SB@0.05를 57.8%에서 83.4%로 끌어올리며, 장면 F-Score를 SAM3D의 0.794에서 0.924로 증가시킨다.
잠재 생성 모델은 일반적으로 재구성을 위해 변분 오토인코더를 훈련한 다음, 고정된 잠재 공간에서 생성 모델을 훈련하는 2단계 파이프라인을 따른다. 재구성에 최적화된 잠재 표현이 반드시 생성에 적합한 것은 아니므로, 두 모델을 공동으로 훈련하는 것은 매력적인 대안이 된다. 그러나 직접적인 종단간 훈련은 잠재 붕괴가 발생하기 쉽고 생성-재구성 충돌에 직면하기 때문에 여전히 어려운 과제이다. 우리는 다양한 목적 함수가 잠재 공간을 어떻게 형성하는지 분석함으로써 이 문제를 재검토하고, 두 가지 핵심 통찰을 도출한다. 첫째, 쿨백-라이블러 발산 목적 함수의 엔트로피 항은 붕괴를 방지하는 데 필수적이다. 재구성과 사전 분포 적합은 사후 분포를 축소하는 경향이 있는 반면, 엔트로피는 비퇴화된 잠재 불확실성을 유지한다. 둘째, 재구성과 생성은 비대칭적 학습 동역학을 보인다. 재구성은 빠르게 진행되며 강한 지도 학습이 적용되는 반면, 생성은 더 느리고 최적화하기 어렵다. 이러한 통찰을 바탕으로 우리는 잠재 붕괴 없이 최초로 직접 종단간 훈련을 달성하고, 재구성보다 생성을 먼저 학습하는 간단한 전략인 GenFirst를 제안한다. 생성 목적 함수는 약한 재구성 압력 하에서 먼저 잠재 공간을 형성하고, 그 후 재구성이 점진적으로 강화되어 시각적 세부 정보를 복원한다. 우리는 정확한 우도를 갖는 연속 자기회귀 사전 분포와 암시적 우도를 갖는 SiT 사전 분포로 GenFirst를 검증한다. 우리의 종단간 목적 함수와 GenFirst를 사용하여 SiT는 ImageNet-256에서 CFG 사용 시 gFID 0.97, CFG 미사용 시 1.45를 달성하고, MMDiT는 텍스트-이미지 생성에서 GenEval 점수 0.90을 달성한다. 이미지 생성 외에도 우리는 이 프레임워크를 생성 및 표현 학습을 위한 공유 시각 잠재 표현과 연속 통합 텍스트-이미지 생성으로 확장한다. 이러한 결과는 다양한 생성 사전 분포와 모달리티에 걸쳐 안정적인 종단간 잠재 학습의 일반성을 입증한다.
저랭크 적응(LoRA)이 파라미터 효율적 모델 적응에 널리 사용되고 있지만, 안정적이고 효과적인 최적화를 위해 그 학습 동역학을 정규화하는 방법은 아직 충분히 탐구되지 않았다. LoRA는 업-프로젝션을 0으로 초기화하기 때문에, 초기 최적화 동역학은 주로 다운-프로젝션에 의해 결정된다. 이러한 관찰에 기반하여, 우리는 학습 중 다운-프로젝션 행렬을 정규화하는 간단하면서도 효과적인 방법인 정규화된 저랭크 적응(NoRA)을 소개한다. 또한 동일한 정규화가 초기화 시에만 적용될 수 있음을 보여주며, 학습 전반에 걸쳐 반복적인 정규화 없이도 표준 LoRA를 개선한다. 사전 학습, 지도 미세 조정, 강화 학습 전반에 걸쳐 NoRA는 일관되게 수렴을 가속화하고 성능과 학습 안정성을 개선하며 파괴적 망각을 완화한다. 이러한 이점은 추가적인 학습 가능한 파라미터나 추론 시 계산을 요구하지 않으므로, NoRA를 LoRA에 대한 간단하고 광범위하게 적용 가능한 개선책으로 만든다.
연구 계획 수립은 AI 과학자에게 결정적인 능력이다. 그러나 연구 계획은 검증 가능한 답이 없으므로, 강화 학습은 필요한 환경, 즉 비평가(critic)와 짝지어진 과제를 갖추지 못한다. 과학 논문에서 추출한 루브릭이 비평가 역할을 제공할 수 있다. 그러나 기존 파이프라인은 질문과 평가 기준을 동일한 내용에서 도출하므로, 패러프레이즈만으로도 보상을 얻을 수 있다. 또한 루브릭은 롤아웃마다 단일 스칼라 값으로 압축된다. 우리는 각 연구 논문을 완전한 훈련 환경으로 전환하는 통합 프레임워크 PaperGym을 제안한다. PaperGym은 논문의 구조를 활용한다: 질문은 연구 목표와 배경에서 종합되고, 평가 기준은 방법과 실험에서 도출된다. 평가 기준은 방법론적 혁신과 실험 설계를 아우르며, 기준 누출은 기존 데이터셋의 11.90%~34.10%에 비해 3.7%로 감소한다. 훈련은 루브릭을 두 번 사용한다: 먼저 OPSD의 셀프 티처를 위한 특권 맥락으로, 그다음 GRPO의 보상으로 사용한다. Qwen3-1.7B/4B/8B 전반에 걸쳐, 이 훈련 일정은 지도 미세 조정, 각 단계 단독 사용, 그리고 반대 순서 적용보다 우수하며, 다섯 개 벤치마크 평균을 각각 +5.6, +5.0, +4.8 포인트 향상시킨다. 절차를 고정했을 때, PaperGym-20k로 훈련된 모델은 삼자 비교에서 58.1%의 승률을 기록하여 RubricHub Science의 28.2%를 능가한다. 훈련된 Qwen3-8B는 ResearchQA에서 73.48을 달성하여, 훨씬 더 큰 규모의 Kimi K2.6을 능가한다. 우리는 파이프라인, 20,000개 인스턴스로 구성된 코퍼스 PaperGym-20k, 그리고 벤치마크 PaperGym-Innov와 PaperGym-Design을 공개한다.
본 논문은 Qwen3.8-Flash-Next의 아키텍처와 절제(ablation) 실험을 기술한다. 이 모델은 125B 파라미터를 가진 희소 혼합 전문가(sparse mixture-of-experts) 모델로, 토큰당 6B 파라미터가 활성화되며, 추가로 51B 파라미터 규모의 n-gram 임베딩 테이블을 가속기 밖에 보관한다. 열네 개의 사전 학습 벤치마크에서 이 모델은 397B-A17B 전작보다 여덟 개에서 앞서고, 나머지에서는 최대 2.6포인트 뒤처진다. 이는 활성화 파라미터가 1/3, 학습 토큰 수가 1/3, 학습 FLOPs가 약 1/9인 조건에서 달성한 결과다. 토큰 혼합은 Gated DeltaNet(GDN)과 전역 어텐션을 레이어별로 혼합한 방식을 사용하며, 네 개 레이어마다 하나의 전체 어텐션 레이어를 둔다. 지속 사전 학습(continued pretraining) 단계에서는 이 전체 어텐션 레이어를 Qwen 스파스 어텐션(Qwen Sparse Attention, QSA)으로 대체한다. QSA는 압축된 경량 인덱서를 사용해 마이크로 블록 단위로 컨텍스트를 점수화한다. 잔차 스트림은 네 개의 분기로 확장되고 요소별 게이트를 통해 읽히는데, 이 설계를 Gated Residual(GR)이라고 부른다. 백본 외부에는 n-gram 임베딩 레이어 하나를 두어 용량을 추가하며, 해당 테이블은 호스트 메모리에서 프리페치된다. 모든 후보 변경 사항을 세 가지 축으로 평가한다: 손실 및 다운스트림 벤치마크, 학습·프리필·디코딩에서의 변경 비용, 그리고 최적 하이퍼파라미터와 학습 안정성에 미치는 영향. 손실과 다운스트림 정확도는 항상 함께 움직이지는 않는다. n-gram 어휘를 확장하면 손실은 단조롭게 감소하지만 다운스트림 정확도는 포화된다. 이 아키텍처와 Muon 옵티마이저를 함께 사용하면 최적 학습률과 배치 크기가 상향 이동하고, 배치 크기 워밍업이 불필요해지며, 스트레스 테스트에서 안정성이 크게 개선된다. 손실, 벤치마크, 효율성, 안정성은 하나의 설계 문제를 이룬다. 이들을 함께 해결하면 동시에 더 효율적이고, 더 우수하며, 더 안정적인 방법론이 도출된다.
우리는 학습 환경 생성을 위해 특별히 훈련된 모델군인 CogEvol을 제시한다. CogEvol은 강의 개요를 단일 패스로 완성된 학습 산출물(구조화된 JSON 슬라이드 또는 독립형 대화형 HTML 페이지)로 변환한다. 22만 건의 프로덕션 요청에서 CogEvol은 슬라이드를 중앙값 17초, 대화형 페이지를 59초 만에 완성하여 수 분이 소요되던 다중 턴 에이전트 스캐폴딩을 대체한다. 신뢰성은 기대가 아닌 강제로 확보된다. 프로덕션 기반 데이터 파이프라인은 실제 실패 사례를 53,687개의 검증된 SFT 샘플로 전환하며, 하이브리드 규칙-플러스-VLM 보상이 GRPO 기반 RL을 구동한다. 이 과정에서 시각적으로는 그럴듯하지만 플레이 불가능한 게임을 생성하는 보상 해킹 사례를 발견·수정한 후 강화가 이루어졌다. CogEvol-27B는 슬라이드 품질 83.7점, 500건의 대화형 HTML 벤치마크에서 63.7점을 기록하며, 주력 코딩 모델 대비 26.9배 적은 파라미터로 동일한 성능을 달성한다. 또한 OpenMAIC 팀과의 협업을 통해 해당 팀의 실시간 프로덕션 트래픽을 처리한다. CogEvol-4B는 Apache 2.0 라이선스로 https://github.com/CogEvol/CogEvol-4B 에서 공개되었으며, 외부 주력 모델들은 동일한 하니스로 동일한 평가 스위트에서 측정된다. 스캐폴드 편집은 대화형 페이지 생성 비용을 약 76% 추가 절감하며, 전체 스택은 국내산 Ascend 가속기에서 A800 GPU와 애플리케이션 수준의 동등성을 달성하여 AI 기반 교육의 대규모 단위 비용을 낮춘다.
대규모 언어 모델(LLM)은 수학적 추론 벤치마크에서 높은 성능을 달성하지만, 그 추론의 기저에 있는 수학적으로 의미 있는 능력은 충분히 탐구되지 않았다. 우리는 수학 교육에서 개발된 두 가지 관점, 즉 (1) 의미 공간(semantic space): 문제에 대한 모델의 진화하는 수학적 해석(예: 대수적, 기하학적)과 (2) 휴리스틱(heuristic): 해당 공간 내에서 수행되는 구체적 수학적 행동(예: 문제 단순화, 역방향 추론)을 통해 Chain-of-Thought(CoT) 궤적을 분석하는 프레임워크인 SHAPE를 제안한다. 먼저 SHAPE를 사용하여 다양한 모델의 추론 패턴을 분석한다. 그 결과, 모델이 사용하는 수학적 휴리스틱이 기존 CoT 특징보다 최종 답변의 정확성을 더 잘 설명하는 것으로 나타났다. 또한, 모델은 여러 이질적인 의미 공간을 탐색하기보다 소수의 의미 공간에 추론 노력을 집중할 때 정답에 도달할 가능성이 높으며, 이는 인간의 행동과 일치하는 패턴이다. 다음으로, 우리는 후속 학습(post-training)이 수학적 능력을 실제로 향상시키는지 평가하기 위해 SHAPE 관점을 활용한다. 그 결과 강화 학습은 휴리스틱 사용에서 모드 추구(mode-seeking)를 유발함을 발견했다. 마지막으로, 우리는 다양한 휴리스틱을 촉진하여 LLM을 후속 학습하고, 이것이 정확도 향상에 효과적임을 입증한다. 전반적으로, SHAPE는 LLM 추론을 해독하기 위한 이론적 기반의 진단 프레임워크를 제공하며, 수학적 추론을 위한 LLM 후속 학습의 새로운 경로를 제시한다. 우리 모델의 코드는 https://github.com/holi-lab/SHAPE-of-CoT에서 확인할 수 있다.
구현 내비게이션은 에이전트가 이질적인 목표와 시각적 관찰을 작업, 환경, 로봇 구현체 전반에 걸친 행동으로 변환하는 것을 요구한다. 현대 비전-언어 모델(VLM)은 이미 시각적 접지, 공간 추론, 포인팅을 위한 공간 사전 지식을 인코딩하지만, 이러한 능력은 로봇 제어를 위해 직접적으로 활용되는 경우가 드물다. 기존 내비게이션 시스템은 대신 작업 또는 구현체 특정 구성요소에 의존하여 지각, 추론, 행동을 분절시키고 제한된 일반화만을 제공한다. 본 연구에서는 사전 훈련된 VLM의 공간 지능을 이끌어 내비게이션에 정렬시키는, 작업 특정 예측 헤드 없이 동작하는 경량 범용 구현 내비게이션 모델 LightNav-0를 제시한다. LightNav-0는 통합 토큰 인터페이스를 통해 다양한 내비게이션 작업을 표현한다: 이중 채널 포인팅은 작업, 장면, 구현체에 무관한 공간 의도를 표현하고, 잔차 벡터 양자화 동작 토크나이저는 이 의도를 정밀한 구현체 특정 궤적으로 변환한다. 시간 인식적 시각 이력 압축, ER(구현 추론) 중간 훈련, 지도 미세 조정, 강화 학습과 함께, 이 구성은 단일 모델 내에서 지시 따르기, 개방형 어휘 객체 내비게이션, 시각적 추적을 지원한다. 내비게이션 훈련 코퍼스는 2K+ 장면과 4K+ 시간의 구현 내비게이션 데이터로 구성된다. LightNav-0 초기화에 사용되는 구현 추론 체크포인트인 LightNav-ER은 8개 구현 추론 벤치마크에서 최고의 전체 세트 평균을 달성하며, LightNav-0는 10개 공개 내비게이션 시뮬레이션 설정 모두에서 최첨단 단안 성공률을 달성한다. 실세계 평가는 로봇 구현체, 다양한 장면, 정적 및 동적 대상에 걸친 제로샷 일반화를 추가로 입증한다. 이러한 결과는 경량 VLM이 범용 구현 내비게이션을 위한 통합적이고 전이 가능한 백본임을 확립한다.
조직들은 흔히 관련 애플리케이션들의 포트폴리오를 개발하고 유지 관리한다. 이는 각각 독립적으로 배포 가능한 코드베이스이면서도 상당한 도메인 로직, 인터페이스 패턴, 또는 운영 규약을 공유하는 경우가 많다. LLM 코딩 에이전트가 이러한 소프트웨어를 생성하고 유지하는 데 점점 더 많이 사용됨에 따라, 애플리케이션별로 단순하게 진행되는 워크플로우는 코드베이스 전반에 걸쳐 공유 로직을 중복시키고, 장기간의 에이전트 기반 유지보수는 장황함, 죽은 코드, 구조적 침식을 축적하게 만든다. 우리는 에이전트가 N개의 관련 애플리케이션 포트폴리오를 순차적으로 생성하면서, 재사용 가능한 교차 애플리케이션 구성 요소로 구성된 공유 슈퍼 라이브러리를 동시에 유지하는 슈퍼 라이브러리 에이전트 문제를 제안한다. 최소한의 순차적 스캐폴드는 원칙적으로 공유 코드를 추출하고 애플리케이션을 진화하는 라이브러리로 마이그레이션할 수 있지만, 실제로는 낮은 추출 재현율과 취약한 의존성 마이그레이션 문제를 겪는다. 우리는 이러한 실패를 해결하기 위해 코드 청크 요약에 대한 후보 기반 추출, 추출 전 코드베이스 통합, 그리고 추출 추적 및 호출 그래프 정보를 활용한 맥락 인식 마이그레이션을 도입한다. WebGen-Bench와 PaperBench에서 우리의 방법은 애플리케이션 기능을 보존하면서도 제로샷 대비 중복성과 토큰 풋프린트(장황함, 토큰 길이)를 크게 줄이고, 단순한 라이브러리 구축이 야기하는 구조적 침식을 방지하며, LOC 및 MDL에서도 추가적인 감소를 달성한다. 코드는 https://github.com/sbigstar0310/super-library-agent 에서 확인할 수 있다.
대규모 언어 모델(LLM)은 사용성과 유용성을 개선하기 위해 사용자 개인화 신호를 통합하지만, 대화 기록, 추론된 선호도, 사용자 프로필과 같은 개인적 맥락이 조건으로 주어질 때 균형 잡히고 정보가 풍부한 응답 제공에서 사용자 만족도 최적화로 점점 더 전환하고 있다. 구체적으로, 우리는 세 가지 새로운 위험을 식별한다: (1) 모델이 불필요한 맥락에서 개인 정보를 참조하는 무관한 개인화, (2) 모델이 정보적 에코체임버를 강화하는 선호도 협소화, 그리고 (3) 모델이 사용자 의견에 과도하게 동의하는 아첨 편향. 그 결과, 모델은 개인 정보가 불필요한 맥락에서 이를 참조하고, 의도치 않게 응답 다양성을 축소하며, 사용자 의견에 과도하게 동의할 수 있다. AI 어시스턴트에서 개인화의 활용이 증가하고 있음에도 불구하고, 그 잠재적 부작용에 대한 체계적 평가는 제한적으로 이루어져 왔다. 이러한 격차를 해소하기 위해, 우리는 자동화된 데이터 생성과 맞춤형 지표를 갖춘 동적 평가 프레임워크인 PRISK를 제안하며, 이를 통해 현재 LLM 개인화의 체계적 한계와 개인화된 정보가 모델 응답을 형성하는 방식을 규명한다. 13개 LLM에 대한 실증 분석은 사용자 프로필과 검색된 메모리의 존재가 편향을 지속적으로 악화시켜 무관한 개인화에서 평균 45.9%, 선호도 협소화에서 41.7%, 아첨 편향에서 61.7%의 감소를 초래함을 보여준다.
대규모 추론 모델(LRM)의 최근 발전은 검증 가능한 보상을 통한 강화 학습(RLVR)이 결과를 자동으로 확인할 수 있는 수학 및 코드 영역에서 추론 능력을 실질적으로 향상시킬 수 있음을 보여주었다. 이러한 진전을 개방형 및 에이전트 기반 작업으로 확장하는 것은 여전히 어려운데, 이는 신뢰할 수 있는 보상을 확보하기가 더 까다롭고 직접적인 인간의 감독이 모델이 생성한 경험의 규모와 복잡성을 따라잡을 수 없기 때문이다. 본 논문은 인간의 감독이 학습 루프에서 점차 축소됨에 따라 LRM이 어떻게 지속적으로 개선될 수 있는지를 연구한다. 우리는 이 문제의 두 가지 상호 연결된 차원을 검토한다. 보상 축은 개별 사례에 대한 인간의 판단에서 재사용 가능한 검증기와 인간의 피드백 없이도 작동하는 보상으로의 발전 과정을 추적한다. 경험 축은 인간이 선별한 작업과 환경에서 자체 생성 커리큘럼, 구성된 환경, 자율적 공진화로 학습이 어떻게 발전할 수 있는지를 고찰한다. 우리는 학습 과정의 어느 부분이 지속적인 인간의 통제 하에 남아 있는지를 식별하는 L0부터 L4까지의 5단계 사다리를 통해 이러한 차원들을 연결한다. 우리의 분석은 또한 보상 해킹, 피드백 드리프트, 커리큘럼 붕괴, 환경 오류를 포함하여 점점 더 자율화되는 보상 및 경험 생성이 도입하는 위험을 강조한다. 결과적으로 우리는 정책 능력, 피드백 충실도, 경험 품질이라는 세 가지 상호 보완적 대상에 대한 평가도 제공한다. 이 분석은 인간의 감독을 넘어 LRM을 확장하기 위한 현재의 접근 방식과 초지능을 향한 자립적 학습 시스템 개발과 관련된 미해결 문제에 대한 체계적인 설명을 제공한다. 또한 우리는 최신 발전을 추적하기 위해 지속적으로 업데이트되는 GitHub 저장소(https://github.com/visitworld123/Awesome-Scaling-LRM-Beyond-Human-Supervision)를 운영하고 있다.
LLM 및 VLM 에이전트의 전략적 기만은 핵심적인 AI 정렬 및 안전 문제로 부상했다. 사회적 추론 게임(각 플레이어가 숨은 역할을 보유하고, 정체를 추론하기 위해 타인과 소통하는 게임)은 특히 다중 에이전트 환경에서 표준적인 시험대로 기능한다. 그러나 기존 테스트베드는 텍스트 전용이며 단일 고정 에이전트 구성에서 실행되어, 기만 분류 체계에서 핵심으로 간주되는 비언어적 감각운동 채널을 누락하고, 관찰된 행동이 기저 모델을 반영하는지 주변 하네스를 반영하는지 모호하게 만든다. 우리는 임포스터 에이전트가 언어적 행동과 비언어적 행동을 결합하여 크루메이트를 기만해야 하는 3D 다중모달 Among Us 샌드박스인 MineAmongUs를 소개한다. 또한 다섯 가지 인지 구성요소 절제 축을 노출하는 구성 가능한 VLM 에이전트 하네스인 ARIA와, 기만 분류 체계에 근거하고 LLM-as-a-Judge에 의해 대규모로 운영되어 인간 수준에 근접한 원자 레이블 일치도를 달성하는 원자 및 호 수준 주석 체계를 제안한다. 실증 결과는 VLM 에이전트가 언어적 및 비언어적 기만의 결합을 통해 임포스터 승리를 추구하며, 비언어적 채널이 하네스 절제와 교차 VLM 평가 모두에서 더 결정적인 승리 기여 요인으로 부상함을 보여준다. 종합적으로, 우리의 연구는 체화된 VLM 에이전트 정렬 연구를 위한 새로운 경로를 연다.
인터랙티브 월드 모델은 비디오 생성을 오프라인 클립 합성에서 인터랙티브 가상 세계의 지속적 시뮬레이션으로 확장하여 게임, 로봇공학, 체화된 에이전트, XR 응용을 가능하게 한다. 그러나 안정적인 장기 지평 인터랙티브 생성을 달성하는 것은 여전히 어려운데, 모델이 실시간 자기회귀 생성을 지원하면서 동시에 장면 지오메트리, 동적 일관성, 카메라 제어를 보존해야 하기 때문이다. Matrix-Game 3.0을 기반으로, 우리는 그림 1에 제시된 Matrix-Game 3.5를 제안한다. 이는 세 가지 핵심 개선을 통해 실시간 인터랙티브 월드 생성을 지오메트리 인지 및 장기 지평 일관적 시뮬레이션으로 발전시킨다. 첫째, 우리는 통합된 지오메트리 인지 메모리 프레임워크를 제안한다. 이 프레임워크의 패치 메모리와 타일드-PRoPE 구성 요소는 추가 학습 가능한 파라미터를 도입하지 않으며, 명시적 3D 패치 검색과 사영 카메라 조건화를 결합하여 기하학적으로 일관된 카메라 제어와 충실한 장기 지평 장면 회상을 가능하게 한다. 둘째, 우리는 정적 장면 지오메트리와 동적 객체를 별도로 모델링하는 정적-동적 분리 월드 표현을 도입하여, 장기 지평 생성 전반에 걸쳐 기하학적 일관성과 객체 정체성을 모두 보존한다. 셋째, 우리는 양방향 확산 모델을 지각적 플로우 매칭과 커리큘럼 기반 셀프 롤아웃 DMD를 통해 소수 스텝 인과 생성기로 변환하는 2단계 점진적 실시간 증류 프레임워크를 개발하여, 수 분 길이의 실시간 인터랙티브 생성을 가능하게 한다. 광범위한 실험을 통해, 언리얼 시뮬레이션 환경, 오픈월드 게임, 인터넷 비디오를 아우르는 통합 학습 말뭉치를 사용하여 MatrixGame 3.5가 장기 지평 장면 회상, 정밀한 카메라 제어, 객체 일관성, 프롬프트 기반 월드 생성, 안정적인 실시간 오픈월드 인터랙션에서 강력한 성능을 달성함을 입증한다.
자율 과학 연구 에이전트는 문헌 검토, 데이터 분석, 실험, 보고서 생성을 포함한 종단 간 과학 워크플로우에 점점 더 널리 적용되고 있다. 그러나 개방형 연구 과제는 과제 완료에 필요한 분석, 방법론, 성공 기준을 명확히 제시하지 않는 경우가 많다. 그 결과, 에이전트는 중요한 분석을 누락하거나, 부적절한 방법을 사용하거나, 증거로 충분히 뒷받침되지 않는 결론을 도출할 수 있다. 이러한 문제를 해결하기 위해 본 논문은 AutoSciRub를 제안한다. AutoSciRub는 연구 실행 전에 과제 특화 실행 가능 루브릭(executable rubric)을 도출하는 평가 우선(evaluation-first) 프레임워크로서, 도출된 루브릭을 실행, 기준 수준 검증, 반복적 수정을 안내하는 데 활용한다. AutoSciRub는 불충분하게 명시된 지시를 원자적 과학 목표로 분해하고, 이를 관련 문헌 및 과제에서 확인 가능한 데이터에 근거하여 구체적이고 실행 가능하며 검증 가능한 기준으로 종합한다. 생성된 루브릭은 암묵적인 실험 및 증거 요구사항을 명시화하여 실험과 분석에 대한 지침을 제공한다. 수정 단계에서 루브릭 기반 검증은 충족되지 않은 기준을 식별하고 연구 보고서 및 관련 산출물에 대한 정밀한 개선을 가능하게 한다. ResearchClawBench에서 AutoSciRub는 테스트된 모든 구성에서 일관된 성능 향상을 보였으며, 고정 Codex 하네스 환경에서 세 가지 백본 LLM에 걸쳐 평균 2.08점, 고정 DeepSeek-V4-Flash 백본에서 세 가지 에이전트 하네스에 걸쳐 평균 2.95점의 향상을 달성했다. AstaBench E2E Discovery의 무작위 표본 20개 과제 하위 집합에서 AutoSciRub는 세 가지 에이전트 하네스에 걸쳐 평균 16.8점의 향상을 달성했으며, 성공적으로 완료된 과제의 수를 유지하거나 증가시켰다. 이러한 결과는 평가 우선 안내가 자율 과학 연구를 위한 효과적이고 일반화 가능한 제어 메커니즘을 제공함을 입증한다. (코드: https://github.com/zjunlp/AutoSciRub)
잠재 확산 모델은 변분 오토인코더(VAE)를 사용하여 압축된 잠재 공간에서 작동함으로써 시각적 품질을 저하시키지 않으면서 계산 효율성을 높이는 고충실도 이미지 및 비디오 합성을 위한 지배적인 프레임워크로 부상했다. 그러나 기존의 VAE는 시공간 콘텐츠의 다양한 복잡성에 적응할 수 없는 고정된 압축률을 사용하기 때문에 비디오 데이터에 최적이 아니다. 우리는 잠재 토큰과 공동으로 학습되는 적응형 토큰 선택기를 통합한 트랜스포머 기반 VAE인 KATok(Keep-or-Drop? 적응형 토크나이저)을 제시한다. 토큰 선택기는 각 토큰의 콘텐츠 풍부도를 유지-제거 확률로 평가하여 비정보적 토큰을 효과적으로 제거함으로써 자연스럽게 데이터 의존적 압축을 가능하게 한다. 확산 모델에 적응형 토큰화를 적용하면 토큰 제거가 원래의 시공간 구조를 방해할 수 있으므로 공간 정합성 불일치가 발생할 수 있다. 이 문제를 완화하기 위해 우리는 공간 일관성을 보장하는 두 가지 위치 예측 전략, 즉 캐스케이드 생성과 공동 생성을 제안한다. 실험적으로 우리의 모델이 최첨단 압축률에서 강력한 재구성 및 생성 품질을 달성함을 보여준다. 비디오 데이터에 대한 추가 분석은 이러한 개선이 주로 시공간 중복성을 줄이고 비정보적 토큰을 제거함으로써 달성되며, 이는 정량적 및 정성적 결과 모두로 뒷받침됨을 보여준다.
Chain-of-thought(CoT) 모니터링은 추론 트레이스가 모델의 답변을 형성하는 정보를 충실히 기록한다고 가정한다. 기존의 충실성 테스트는 명시적 편향 단서를 사용자 메시지에 배치하는 경우가 많지만, 에이전트는 도구 반환값이나 원시 산출물을 통해 선호를 접할 수 있다. 우리는 단서 위치(사용자 메시지 또는 도구 반환)와 명시성(직접 요약 또는 원시 산출물)을 변화시키는 5,100개 샘플 평가인 FACE-Eval(단서 효과의 충실한 귀인 평가)을 도입한다. 단서를 따르는 답변에서 언어화된 수용을, 단서가 포함된 모든 샘플에서 비언어화된 채택을 측정한다. 8개 계열에 속하며 총 파라미터 수가 4B에서 1.60T에 이르는 15개의 오픈 가중치 모델을 평가했다. 모든 모델에서 도구 반환 단서의 경우가 사용자 메시지 단서의 경우보다, 암묵적 단서의 경우가 명시적 단서의 경우보다 언어화된 수용이 더 낮았다. 비언어화된 채택은 15개 모델 모두에서 도구 반환 단서에 대해 더 높았고, 30개의 모델-채널 비교 중 28개에서 암묵적 단서에 대해 명시적 단서보다 더 높았다. 출처 귀인 프롬프트는 7개 모델에서 채널 격차를 좁혔으며, 때로는 사용자 채널의 비언어화된 채택을 증가시킴으로써 그 효과를 냈다. 반면, 모델에게 추론이 모니터링될 것이라고 알리는 것은 격차를 안정적으로 좁히지 못했다. 또한 각 계열의 가장 큰 모델에서 선호 채택을 탐지하기 위해 두 개의 추론 트레이스 모니터(GPT-5.6-Luna 및 GPT-4o-mini)를 사용했다. 32개의 모델-채널-명시성 셀에 걸쳐, 비언어화된 채택이 높을수록 두 모니터 모두에서 탐지 능력이 낮았다(각각 Pearson r=-0.54 및 r=-0.78). 이 결과는 선호 정보가 도구를 통해 전달되거나 원시 산출물에서 추론되어야 하는 경우, 이번 연구에서 테스트된 단일 호출, 사전 채워진 도구 설정 내에서 CoT 모니터링의 신뢰성이 낮아질 수 있음을 시사한다.
부분 관측 가능한 환경에서 AI 에이전트는 진화하는 지각 상태를 유지하기 위해 능동 감지와 작업 기억을 조정해야 한다. 그러나 기존 벤치마크는 물리적·제어적 복잡성을 도입하여 이러한 지각 상태의 구축 및 해석 능력을 분리하여 평가하는 데 어려움이 있다. 본 연구는 MNIST-PRO를 통해 이 문제를 해결한다. MNIST-PRO는 MNIST 숫자 인식을 회고 제약이 있는 순차적 응시 기반 탐색 과제로 변환하여 에이전트 지각을 분리 평가하는 벤치마크이다. 우리는 원시 시각 이력, 텍스트 상태, 구조화된 미터법 격자 지도, 통합 시각 캔버스의 네 가지 기억 표현에 걸쳐 열 개의 다중 모달 모델을 평가한다. 모델들은 완전 관측 가능성 하에서는 우수한 성능을 보이지만, 부분 관측 가능성은 명확한 성능 격차를 드러낸다. 우리는 세 가지 뚜렷한 병목 현상을 식별한다. 첫째, 에이전트가 단편적인 응시 정보를 통합하는 데 어려움을 겪으면서 지각 상태의 구축과 해석이 과제로 제기된다. 둘째, 에이전트는 전체 시퀀스를 보기 전에 탐색을 중단하는 경우가 많다. 셋째, 모델들은 이후의 상반된 증거에 직면하더라도 초기의 잘못된 신념을 수정하지 못하는 경우가 많다. 이러한 결과는 단순히 시각적 증거를 획득하는 것만으로는 충분하지 않음을 보여준다. 에이전트는 또한 신뢰할 수 있는 지각 상태를 구축하고 갱신할 수 있어야 한다.
이미지 검색은 전통적으로 각 후보 이미지를 개별적으로 점수화하는 점별(point-wise) 매칭 문제로 공식화되어 왔다. 그러나 이러한 원자적(atomic) 패러다임은 개인 사진 컬렉션 내에서 사용자의 복잡한 검색 의도를 포착하지 못한다. 사용자는 고립된 단일 사진보다는 구조적 관계로 묶인 간결한 시각적 스토리를 찾는 경우가 많기 때문이다. 이러한 한계를 해결하기 위해, 우리는 **이미지 번들 구성(Image Bundle Composition, IBC)**이라는 새로운 패러다임을 도입한다. 이 패러다임은 개별 이미지의 랭킹에서 대규모 비정형 사진 풀로부터 응집력 있는 이미지 번들을 동적으로 구성하는 것으로 목표를 전환한다. 대상 번들이 사전에 정의되지 않으므로 IBC는 심각한 조합 폭발 문제를 야기하며, 분해 불가능한 결합 관련성(non-decomposable joint relevance)의 모델링을 요구한다. 이 패러다임을 확립하기 위해, 우리는 반자동 검증 파이프라인을 통해 109,467개의 이미지와 667개의 검증된 쿼리로 구성된 최초의 IBC 벤치마크 데이터셋인 **IBCBench**를 구축한다. 또한, IBC를 쿼리 조건부 증분 하이퍼에지 발견(query-conditioned incremental hyperedge discovery)으로 재구성하는 에이전트 기반 프레임워크 **BundleWeaver**를 제안한다. BundleWeaver는 대규모 언어 모델(LLM)을 사용하여 누락된 관계적 역할을 적응적으로 탐색하고, 비전-언어 모델(VLM)을 사용하여 번들 전체를 검증함으로써 조합 공간을 효과적으로 탐색한다. 광범위한 실험을 통해 최첨단 임베딩 모델과 정적 분해-재랭킹 패러다임이 관계적 맹점(relational blindness)을 보이는 반면, BundleWeaver는 상당한 성능 향상을 달성함을 보여준다. 이는 개별 점수화에서 동적 관계 기반 구성으로의 전환 필요성을 강조한다. 우리의 데이터셋과 코드는 공개되어 있다.
대규모 언어 모델(LLM) 에이전트는 점차 장기 지평의 상호작용적이고 상태 유지적 환경에 배포되고 있다. 이러한 환경에서는 잘못된 구매에 대한 환불과 같은 단 하나의 잘못된 행동이 되돌릴 수 없는 작업 실패를 초래할 수 있으므로 실행 전에 반드시 차단되어야 한다. 이러한 실패는 매 실행마다 나타나지 않을 수 있으나 반복된 시도에 걸쳐 발생할 수 있으며, 따라서 단계와 시도 전반에 걸친 신뢰성이 핵심적이다. 그러나 에이전트 신뢰성을 보장하는 것은 어려운 과제이다. 최첨단 LLM조차도 특히 도메인별 정책이 적용되는 길고 복잡하게 얽힌 궤적에서 특정 행동이 왜 잘못되었는지 설명하는 데 어려움을 겪기 때문이다. 최근 연구 중 상당수는 프롬프트 기반 비평 에이전트에 의존하는 반면, 최적화 기반 방법은 훈련을 위한 풍부한 검증 근거를 체계적으로 생성하는 방식이 부족하다. 우리는 이러한 격차를 해소하기 위해 비평 인식 훈련 프레임워크인 CAST를 제안한다. CAST는 희소한 작업 결과를 비평 학습과 정책 최적화를 위한 행동 수준의 지도 신호로 변환한다. CAST는 에이전트 궤적을 분석하여 부분 관측 가능성 하에서 행동 타당성을 설명하는 구조화된 근거를 종합한다. 이렇게 구축된 비평 모델은 정책 모델 최적화를 위한 비평 인식 훈련 데이터를 구성하는 데 활용된다. 동적 도구 호출 벤치마크에서 Qwen3 계열 모델을 파인튜닝한 결과, CAST는 도메인 전반에 걸쳐 신뢰성을 개선하였으며, Retail 작업에서 GPT-OSS-120B 대비 pass^4를 10% 이상 능가하고 도메인 외 설정의 Telehealth에서 추가로 9%의 성능 향상을 보였다. 이러한 결과는 비평 인식 훈련이 실제 동적 환경에서 LLM 에이전트의 견고성을 향상시킨다는 것을 입증한다.
장기적 지평을 갖는 물리 세계 에이전트는 먼 목표에 대해 추론하면서도 신뢰할 수 있는 폐루프 행동에 근거하여 의사결정을 내려야 한다. 오늘날의 파운데이션 모델은 이러한 능력을 분리한다: 비전-언어 모델(VLM)은 누락된 정보를 추론하고 상위 수준 계획을 조정하지만, 반복적인 내비게이션 근거 부여에서는 취약하고 비효율적이다. 반면 내비게이션 파운데이션 모델(NFM)은 의미론적 목표를 강건하게 실행하지만, 지속적인 작업 수준 추론 없이 제한된 에피소드로만 작동한다. 우리는 장기적 탐험을 위해 VLM 추론 에이전트와 NFM 실행기를 결합하는 에이전트형 스캐폴딩 프레임워크인 NavMCP를 소개한다. VLM은 어떤 증거를 찾을지, 어디를 탐색할지, 언제 멈출지를 결정하고, NFM은 각 의미론적 하위 목표를 폐루프 내비게이션으로 구체화한다. 세 가지 채널이 이 협력을 구조화한다: 의도는 증거 필요성을 내비게이션 호출로 변환하고, 관찰은 롤아웃을 출처 기반 궤적 증거로 변환하며, 메모리는 호출 전반에 걸쳐 발견 사항, 부정적 증거, 미해결 목표를 축적한다. 이 설계는 두 모델을 재학습시키지 않으면서 고립된 내비게이션 롤아웃을 지속적인 임보디드 상호작용으로 전환한다. 임보디드 질의응답에서 NavMCP는 HM-EQA, MT-HM3D, EXPRESS-Bench에서 최고 수준의 결과를 달성한다. 동일한 에이전트 및 실행기 백본 조건에서 HM-EQA의 에피소드형 인터페이스 대비 14.9퍼센트 포인트 더 높은 성능을 보인다. Unitree Go2에서는 78.3%의 성공률을 달성하며, 작업 지평이 길어질수록 가장 강력한 기준선 대비 격차가 10포인트에서 45포인트로 커진다. 이러한 결과는 상호 보완적인 파운데이션 모델을 스캐폴딩하여 장기적 지평의 물리 세계 에이전트로 만드는 잠재력을 보여준다.
최근 논문 내용으로부터 과학 다이어그램 생성을 자동화하려는 시도가 있어 왔다(Lin et al., 2026; Zhu et al., 2026a). 그러나 한 번의 턴으로 저자의 시각적 및 의사소통 선호도를 완전히 충족시키는 것은 어렵다. 우리의 형성적 사용자 연구(N=14)에서 모든 참가자가 초안을 본 후 추가 수정을 요청했으며, 86%가 개선된 다이어그램이 더 만족스럽다고 평가했다. 명확한 수요에도 불구하고 다중 턴 워크플로우는 크게 탐구되지 않은 상태로 남아 있다. 이러한 격차를 해소하기 위해, 우리는 292개의 이미지와 3,518개의 사용자 요구사항으로 주석이 달린 다중 턴 다이어그램 생성 벤치마크인 MTPaperBananaBench를 제시한다. 값비싼 인간 연구를 줄이고 확장 가능한 벤치마킹을 가능하게 하기 위해, 각 턴에서 충족되지 않은 요구사항을 식별하고 그중 k개를 자연어 피드백으로 변환하는 사용자 시뮬레이터를 구축한다. 요구사항 충족과 전반적인 다이어그램 품질을 모두 평가한 결과, 기준 다중 턴 시스템들에서 공통적으로 나타나는 두 가지 주요 실패 모드가 드러났다: (1) 품질 저하(quality drift), 즉 턴이 진행됨에 따라 다이어그램 품질이 점진적으로 하락하는 현상, (2) 망각(forgetting), 즉 이전 턴에서 구현된 기능이 이후 턴에서 손실되는 현상. 이러한 문제를 해결하기 위해, 우리는 내부 비평 및 개선 루프를 통해 다이어그램을 개선하는 다중 에이전트 시스템인 PaperBanana-Interact를 도입한다. PaperBanana-Interact는 턴이 지남에 따라 다이어그램 품질을 떨어뜨리는 대신 지속적으로 개선하며, 품질 점수에서 베이스라인 대비 11.9–18.6점 우수하고 망각을 3.7–6.2점 감소시킨다.
VLM 주도 웹 코드 자기 개선에는 구조적 결함이 있다. 수리를 제안하는 모델이 곧 그 수리를 판정하는 모델이며, 그 판정자의 시각적 타당성은 페이지가 실제로 동작하는지에 대한 빈약한 대리 척도에 불과하다. 이 루프에서 빠진 것은 VLM이 속일 수 없는 상대방이며, 브라우저는 이미 그러한 상대방이다. 브라우저는 사용자 동작 하에서 HTML 산출물이 어떻게 동작하는지를 결정적으로 실행 가능하게 시뮬레이션하는 존재로, 이름만 빼면 웹 코드를 위한 세계 모델이다. 우리는 WebWorld를 제시한다. WebWorld는 VLM 사전 모델이 브라우저-세계 모델과 자율적으로 상호작용하도록 하고, 어떤 상호작용이 감독이 될지를 결정하는 인터페이스이다. 각 라운드에서 VLM은 비평을 생성하고 플래너는 이를 타입화된 상호작용 계약으로 컴파일한다. 브라우저는 후보를 재실행하며, 목표 진전과 이전에 검증된 모든 기능의 보존이 모두 충족될 때만 승인 인증서를 발급한다. 인증된 전이는 품질 래칫으로 축적되며, SFT 내보내기가 보게 되는 유일한 것이다. 동일한 훈련 조건에서 WebWorld-27B는 HTMLBench-400에서 Raw-27B보다 5.3점, MiniAppBench-Val에서 14.9점 향상되었으며, 대화형 HTML 생성에서 Kimi-K2.6 및 GPT-5.4와 같은 강력한 최첨단 시스템의 수준에 도달한다. 동일 규모의 절제 실험은 브라우저 기반 승인이 성능 향상을 주도함을 보여준다. 인증서가 없으면, 동일 조건의 9B 향상은 거의 사라진다.
Chain-of-thought(CoT) 추론은 대규모 언어 모델(LLM)이 문제를 중간 단계로 분해할 수 있게 함으로써 모델 성능을 극적으로 향상시켰다. CoT는 언어적 과제에서 널리 효과적이지만, 텍스트 전용 CoT는 모델이 시각적 문제를 어색한 산문으로 직렬화하도록 강제한다. 시각적 입력을 처리하기 위한 구조적 해결책이 존재함에도 불구하고, 연구 커뮤니티에는 순수 텍스트 추론 문제를 해결하는 과정에서 내부 시각적 작업 공간을 구축하고 유지하는 방법을 모델에 가르칠 수 있는 대규모의 다단계 자기 수정(self-corrected) 데이터셋이 부족하다. 이러한 한계를 해결하기 위해, 우리는 5개의 서로 다른 레이아웃 계열과 17개의 복잡한 작업에 걸쳐 222K개 이상의 다중 모드 추론 단계를 포함하는 51.9K개 샘플로 구성된 고도로 구조화된 코퍼스인 CoVA-SFT와, 동일한 작업을 포괄하는 1,700개의 홀드아웃 테스트 샘플로 구성된 재현 가능한 평가용 동반 벤치마크인 CoVA-Bench를 소개한다. CoVA-SFT는 명시적 근거 구성, 에이전트 기반 렌더링, 검증 루프를 제공함으로써 다중 모드 언어 모델이 텍스트와 시각적 추상화를 교차 배치하도록 학습시킨다. 우리는 CoVA-SFT로 미세 조정된 모델이 CoVA-Bench에서 모든 교차 배치 CoT 기준선보다 평균 2배 이상 우수함을 보여줌으로써 데이터셋의 유효성을 검증하지만, 이러한 모델은 여전히 강력한 텍스트 전용 CoT 기준선에는 미치지 못하며, 이는 향후 연구에서 해결해야 할 과제를 시사한다.
텍스트-이미지 모델은 개념들, 즉 이 논문에서 역할이라고 부르는 사람들의 직업과 시각적 속성 사이의 연관성을 학습한다. 이러한 연관성은 관찰되는 많은 형태의 고정관념적 편향을 뒷받침할 수 있다. 이 분야의 핵심 미해결 질문은 이러한 연관성이 안정적인지, 아니면 직업적 역할을 가진 사람들의 시각적 표상이 서로 다른 프롬프트 맥락에 놓일 때 변화하는지 여부이다. 우리는 통제된 평가 프레임워크인 ContextBias와 92개 역할과 1,656개의 의미론적으로 통제된 프롬프트를 포괄하는 벤치마크인 ContextBench를 도입하여 역할과 연계된 시각적 표상에 대한 맥락 변화의 영향을 분리한다. 66,240개의 생성 이미지에서 4개의 최첨단 모델을 평가한 결과, 역할을 의미론적으로 무관한 맥락에 배치하더라도 역할 연계 속성이 억제되지 않으며, 오히려 역할 간 속성 집중도가 증가함을 발견했다(통합 BI +0.047). 인구통계학적 단서, 특징적인 의복, 역할 고유 도구는 맥락이 없는 조건, 관련 조건, 무관한 조건 모두에서 높은 빈도로 유지되며, 의미론적 프롬프트 재구성에도 견고하다. 장면 구성과 카메라 구도는 가장 큰 맥락 민감성을 보인다. 이러한 발견은 맥락이 없는 평가에서는 대체로 드러나지 않는 고정관념적 지속성의 한 형태를 밝혀내며, 편향 벤치마킹에서 통제된 맥락 변화의 필요성을 강조한다. 코드 및 데이터셋: https://huggingface.co/datasets/shaghayegh/ContextBias , https://github.com/Sina-Emami/ContextBias
멀티모달 안전 모더레이션은 시각적 콘텐츠, 사용자 의도, 그리고 어시스턴트 행동에서 발생하는 위험을 구분해야 한다. 그러나 기존의 안전장치는 일반적으로 단일 판단 대상을 위해 훈련되며, 안전 평가를 이진 판단으로 축소한다. 결과적으로, 멀티모달 상호작용 전반에 걸쳐 위험을 비교하기 어려워지고, 모호한 사례는 가려지게 된다. 우리는 이미지 수준, 요청 수준, 응답 수준의 판단을 5단계 순서 척도로 배치한 150만 개의 훈련 인스턴스로 구성된 데이터셋 SafeAtlas-VL을 소개한다. 우리는 실제 세계와 합성 소스 모두에서 안전 관련 데이터를 광범위하게 수집하고, 불일치를 고려한 주석 절차를 적용한다. 결과 데이터셋은 15개의 유해 범주와 55개의 세분화된 하위 범주에 걸쳐 있으며, 광범위한 멀티모달 안전 시나리오를 포괄한다. 또한 5단계 예측과 연속 위험 점수를 평가하기 위한 5,000개 인스턴스의 분리된 평가 세트인 SafeAtlas-Bench를 구축한다. 이 데이터셋을 기반으로, 우리는 멀티모달 안전 탐지를 위한 타겟 조건부 튜닝을 통해 SafeAtlas Guard 시리즈 모델을 훈련한다. 우리의 모델은 안전 수준의 5-방향 분류를 수행할 뿐만 아니라, 소프트 누적 순서 헤드를 통해 안전을 연속 점수로 매핑한다. 실험 결과는 우리 데이터셋으로 훈련된 가드 모델이 강력한 일반화를 보임을 입증한다. 다른 벤치마크의 훈련 세트를 사용하지 않더라도 해당 테스트 세트에서 경쟁력 있는 성능을 달성한다. 특히, 우리의 8B 모델은 전반적으로 최고 성능을 달성하여, 이전 SOTA보다 F1 점수에서 약 4% 향상된 성능을 보인다. 코드, 데이터, 모델은 추가 연구를 지원하기 위해 공개된다. 경고: 본 논문은 공격적이거나, 유해하거나, 적나라하거나, 불쾌감을 줄 수 있는 예시 데이터를 포함하고 있다.
추측적 디코딩(speculative decoding)은 드래프트 모델(draft model)이 후보 토큰을 생성하면 타깃 모델(target model)이 단일 순전파(forward pass)로 이를 검증함으로써 대규모 언어 모델 추론을 가속화한다. 검증은 순차적으로 진행되며 첫 번째 거부가 발생한 지점부터 이후의 모든 위치를 폐기한다. 그러나 기존의 드래프트 학습은 위치별 고정 가중치를 사용하여 타깃을 토큰 수준에서 모방할 뿐, 이러한 두 가지 특성을 모두 반영하지 못한다. 우리는 모든 학습 단계에서 검증 과정을 시뮬레이션하고 그 결과 나타나는 수용(accept) 및 거부(reject) 패턴을 지도 신호로 변환하는 플러그인 프레임워크인 검증 인식 학습(VAT, Verification-Aware Training)을 제안한다. VAT는 두 가지 구성 요소로 이루어진다. (i) 검증 헤드(verification head)는 각 위치가 순차 검증에서 생존하는지 여부에 대해 드래프트 모델을 지도하는 경량의 공동 학습 이진 분류기이다. (ii) 검증 적응 가중치 부여(verification-adaptive weighting)는 각 샘플의 첫 번째 거부 지점까지는 전체 가중치를 유지하고 감쇠가 해당 지점에서 시작하도록 재설정함으로써, 고정된 가중치 스케줄을 대체한다. VAT는 학습 목표만 수정하므로 드래프트 아키텍처, 타깃 모델, 또는 추론 절차를 변경하지 않고도 기존 방법 위에 적용할 수 있다. VAT를 Qwen3-4B, Qwen3-8B, LLaMA-3.1-8B 기반의 EAGLE-3 및 DFlash에 적용한 결과, 평균 수용 길이(acceptance length)는 최대 11.4%, wall-clock 시간 기준 속도 향상은 최대 8.7% 개선되었으며, 수학, 코드, 채팅 벤치마크 전반에서 일관된 성능 향상을 보였다. 코드는 https://github.com/naver-ai/vat 에서 공개될 예정이다.
우리는 비디오 기반 3D 메시 애니메이션을 위한 피드포워드 방법인 BLARM을 소개한다. 단안 비디오와 정적 객체 메시가 주어졌을 때, BLARM은 비디오의 움직임을 따르는 시간적으로 일관된 애니메이션 메시를 예측한다. 명시적 리그에 의존하거나 고차원 정점 운동을 직접 회귀하는 대신, 우리는 애니메이션을 학습된 시변 강체 운동 성분과 시불변 정점-성분 스키닝 가중치의 컴팩트한 집합으로 표현한다. 이는 골격, 케이지, 스키닝 가중치, 또는 리그 주석 없이 저차원 변형 공간을 생성한다. 우리의 아키텍처는 분해된 공간-시간 주의 메커니즘을 통해 기하학 기반 변형 잠재 변수를 비디오 특징에 조건화한 다음, 예측된 스키닝 가중치로 혼합된 강체 변환을 디코딩한다. 궤적 재구성, 엔트로피 정규화, 그리고 운동 인지 대조 학습으로 훈련된 BLARM은 단안 비디오로부터 컴팩트하고 해석 가능한 운동 구조를 복구하면서 정확하고 시간적으로 안정적인 애니메이션을 생성한다.
대규모 언어 모델은 대화형 웹 인터페이스를 생성할 수 있지만, 신뢰할 수 있는 생성형 UI는 사용자 요청이 진화함에 따라 실행 가능한 산출물을 유지하는 것을 요구한다. 본 연구에서는 다중 턴 인터페이스 유지 관리를 위한 벤치마크인 EvoGenUI-Bench를 소개한다. 이 벤치마크는 정보 제시, 실행 가능한 상호작용, 도구 기반 외부 상태의 세 가지 시나리오에 걸쳐 150개의 5턴 과제와 750개의 턴으로 구성된다. 생성된 산출물을 브라우저에서 실행하고 스크린샷, 소스 및 DOM 증거, 행위자 추적, 런타임 로그를 사용하여 평가한다. 턴 수준 및 에피소드 수준 성공 외에도 인접 턴 통과 유지율(Adjacent Pass Retention)로 교차 턴 유지 능력을 측정한다. 8개 모델을 평가한 결과, 가장 우수한 모델조차 턴 통과율 74.9%를 달성했지만 5턴 에피소드를 완료한 비율은 37.3%에 불과했으며, APR은 도구 기반 과제에서 52.4%로 추가 하락했다. 진단 분석에 따르면 제시 실패는 정보 구조에 집중되고, 상호작용 실패는 파생 상태 전파와 어포던스 바인딩에서 발생하며, 도구 기반 실패는 추가적으로 외부 상태 접지와 요구사항 분해와 관련된다. 이러한 결과는 생성형 UI 평가를 고립된 출력물 판단에서 인터페이스 동작, 파생 상태, 외부 상태, 그리고 어시스턴트의 주장이 산출물 진화 전반에 걸쳐 동기화를 유지하는지 검증하는 방향으로 재구성한다.
함수 벡터(Function Vectors, FVs)는 최근 맥락 내 시연(in-context demonstrations)에서 파생된 작업별 잠재 방향 표현을 주입함으로써 대규모 언어 모델(LLM)의 동작을 유도하는 유망한 메커니즘으로 부상하고 있다. 선행 연구들은 FV가 구조화된 맥락 내 학습 환경에서 작업 동작을 복원할 수 있음을 보여주었지만, 의미적으로 복잡한 작업에 대한 효과성과 언어 간 일반화 능력은 충분히 탐구되지 않았다. 우리는 도전적인 의미론적 분류 벤치마크로서 다국어 다중 레이블 감정 인식을 사용하여 FV의 교차 언어 전이성을 조사한다. 구체적으로, 우리는 원천 언어에서 추출된 FV가 추론 중 시연을 제공하지 않는 표준 클린 및 교란(perturbed) 제로샷 설정 모두에서 다른 언어의 작업 동작을 유도할 수 있는지 검토한다. 다양한 교차 언어 설정 전반에 걸쳐 FV를 적용하면 성능이 크게 향상되었으며, 이는 FV가 순전히 언어 특정적인 어휘 패턴보다는 언어 비의존적이고 작업 관련 신호를 포착함을 시사하고, 다국어 작업 적응을 위한 경량의 전이 가능한 메커니즘으로서의 잠재력을 강조한다. 우리는 각 LLM이 효과적인 FV를 구성하기 위해 상대적으로 안정적인 최적의 어텐션 헤드 범위를 보이며, 이 패턴이 언어 전반에 걸쳐 일관됨을 관찰한다. 또한 FV는 여러 시연을 처리하는 계산 오버헤드를 피하면서 표준 퓨삿 맥락 내 학습의 작업 유도 효과를 부분적으로 재현할 수 있어 대규모 실제 응용에 효과적이다. 우리의 코드는 https://github.com/yingjie7/cross_lingual_fvs에서 확인할 수 있다.
강화 미세조정(Reinforcement Fine-tuning, RFT)은 대형 모델의 추론 능력을 강화하기 위해 점점 더 널리 사용되고 있지만, 그 효과는 훈련 데이터의 선택 및 활용 방식에 의해 제약을 받는다. 대부분의 데이터 중심 RFT 방법은 정적 또는 휴리스틱 샘플 선택에 의존하며, 샘플의 가치가 훈련 과정 전반에 걸쳐 고정되어 있다고 암묵적으로 가정한다. 이는 정책 학습의 비정상적 동역학을 간과하여 차선의 업데이트를 초래할 수 있다. 본 연구에서는 RFT 전반에 걸쳐 데이터 활용을 적응적으로 조정하는 원리 기반의 완전 자동화 프레임워크인 동적 중요 예제 마이닝(Dynamic Important Example Mining, DIEM)을 제안한다. DIEM은 각 최적화 단계에 다음 두 가지 구성 요소를 통합한다: (i) 각 샘플의 정책 개선에 대한 한계 기여도를 효율적으로 근사하는 그래디언트 정렬 중요도 추정기, (ii) 최적화를 안정화하기 위해 업데이트의 그래디언트 크기를 보존하면서 총 효용을 최대화하는 제약된 배치 재가중 방식. 여러 추론 벤치마크에서 DIEM은 강력한 정적 및 동적 베이스라인을 일관되게 능가한다. 코드는 https://github.com/hrtan/DIEM에서 공개될 예정이다.
시각 지시 튜닝은 비전-언어 모델(VLM)의 비전-언어 정렬 및 지시 수행 능력을 향상시키는 데 중요하다. 그러나 빠르게 확장되는 데이터셋에서 고정 비율 제약 하에 최적의 부분집합을 식별하는 것은 여전히 중요한 병목으로 남아 있다. 기존 방법들은 대부분 분포 다양성이나 휴리스틱 필터링에 의존하는 반면, 개별 샘플 내부의 일관성은 자주 간과된다. 이러한 격차를 해소하기 위해, 우리는 샘플 수준의 구성 요소 간 일관성을 정량화하도록 설계된 자가 평가 지표인 데이터 고유 일관성(DIC)을 제안한다. DIC는 두 가지 모듈로 구성된다: 시각 콘텐츠와 지시 사이의 정렬을 평가하는 시각 정보 일관성(VIC), 그리고 지시에 대한 응답의 일관성을 평가하는 응답 정보 일관성(RIC). DIC를 기반으로, 우리는 다양한 데이터 예산 하에서 높은 샘플 내부 일관성과 전역 분포 다양성 사이의 절충을 최적화하는 적응형 데이터 선택 방법인 데이터 고유 일관성 선택(DICS)을 소개한다. 광범위한 실험은 DICS가 다양한 데이터셋 규모와 모델 아키텍처에서 최신 방법들을 일관되게 능가하며, LLaVA-1.5-665K 데이터의 25%만 사용하면서도 전체 데이터셋 미세 조정을 능가함을 보여준다. 또한 우리는 6백만 개 샘플로 구성된 다중 모달 지시 코퍼스인 DICS-6M을 구축하여, 현재까지 가장 큰 규모의 시각 지시 선택 연구를 가능하게 한다. 놀랍게도 DICS는 보고된 훈련 데이터의 25% 미만만을 사용하여 공식 InternVL3-8B-Instruct 성능의 94.52%에 도달한다. 코드는 https://github.com/cqu-student/DICS에서 확인할 수 있다.
대규모 비전-언어 모델(LVLM)의 환각을 탐지하려면 정확한 스팬 위치 파악과 잘 보정된 신뢰도 점수가 모두 필요하다. 미세 조정된 생성형 VLM은 환각 텍스트 스팬을 식별하는 데 뛰어나지만 과신과 높은 추론 지연 시간을 보인다. 판별적 시퀀스 태거는 결정적(일정한) 속도와 우수한 보정 성능을 제공하지만, 보수적인 스팬 재현율을 나타낸다. 우리는 SHROOM-Visions 공유 과제를 위해 하이브리드 이중 시스템인 SpanCalib-VLM을 제시한다. 이 시스템은 XLM-RoBERTa-Large와 SigLIP 비전 인코더를 교차 주의를 통해 융합한 다중 모달 시퀀스 태거와, 미세 조정된 생성형 VLM(Qwen3.5-4B-SHROOM-SFT)을 결합한다. Union-Calibrated 퓨전 전략을 통해 생성 모델의 후보 스팬을 시퀀스 태거의 보정된 확률로 재점수화한다. SHROOM-Visions 영어 평가 분할에서 우리의 앙상블은 피어슨 보정 상관계수 0.41, 전체 IoU 0.39를 달성했으며, 클린 응답 IoU는 0.91, 전체 탐지 정확도는 70.7%를 기록했다. 우리는 모델 가중치와 코드를 공개한다.
비전-언어 사전 학습 모델에 기반한 최근의 이미지 콘텐츠 조작 연구는 텍스트 기반 3D 장면 편집으로 효과적으로 확장되었다. 그러나 기존의 3D 장면 편집 방식은 여전히 특정 한계를 지니고 있어, 대화형 디자인 도구로서의 추가 발전을 저해하고 있다. 이러한 방식들은 일반적으로 고정된 입력 패턴을 따르므로 텍스트 입력의 유연성이 제한된다. 또한, 편집 기능이 단일 또는 소수의 2D 시각 모델에 국한되어 있으며, 이러한 모델들을 3D 재구성 과정에 통합하기 위해 복잡한 파이프라인 설계가 요구된다. 이러한 문제들을 해결하기 위해, 우리는 3D 장면 편집을 2D 아틀라스 이미지에 대한 연산으로 재정식화하는 Hash-Atlas 네트워크를 제안함으로써, 2D 편집과 3D 재구성 과정의 작업 흐름을 분리한다. 이 기반 위에, 우리는 대규모 언어 모델(LLM)을 중심으로 한 대화 기반 3D 장면 편집 접근법인 CE3D++를 도입한다. 이는 사용자로부터 임의의 텍스트 입력을 허용하고 사용자의 의도를 해석하여, 이에 따라 해당 시각 모델을 자율적으로 호출할 수 있게 한다. 또한, 우리는 움직이는 객체에 모션 제약을 부과하고, 편집 작업과 관련된 궤적 데이터셋을 생성하여 LLM을 추가로 미세 조정함으로써 CE3D++를 단안 4D 장면으로 확장한다. 이를 통해 더 작은 LLM이 최대 30개의 서로 다른 시각적 도구를 정확하게 스케줄링할 수 있게 된다. 실험 결과는 CE3D++가 다양한 시각적 편집 효과를 달성하기 위해 여러 시각 모델을 효과적으로 통합하며, 강력한 장면 이해 능력과 다중 턴 대화 능력을 보유함을 입증한다. 소스 코드와 학습된 모델은 https://github.com/Fangkang515/CE3D에서 확인할 수 있다.
종단 간 기상예측 시스템은 원시 지구 관측자료로부터 직접 숙련된 전구 격자 및 지점 예보를 생산하여, 자료동화를 포함한 수치기상예측 파이프라인을 극히 일부의 비용으로 대체한다. 이러한 시스템은 결정론적이며 불확실성을 제시하지 않는다. 본 연구에서는 Aardvark Weather 모델의 각 구성요소에 하나의 확률적 메커니즘을 부착하여 이를 확률론적으로 전환한다: 관측 시스템에서 유래하는 우발적 불확실성을 포착하는 관측 인코더의 학습된 입력 의존적 잡음, 그리고 학습된 역학에서의 인식론적 불확실성을 포착하는 프로세서의 몬테카를로 드롭아웃. 그 결과로 생성된 중첩 앙상블은 전체 분산의 법칙 분해를 통해 예보 스프레드를 두 원인에 귀속시키며, 관측 스트림을 보류함으로써 교차 검증된다. 확률론적 미세조정은 평균 예보를 변수 및 예측 시한에 걸쳐 평균 4.2% 개선한다. 앙상블은 중기 범위까지 ERA5에 대해 보정되며(스프레드-스킬 비율 0.98), 지점 RMSE를 결정론적 모델의 2.4% 이내로 유지하면서 모든 예측 시한에서 CRPS를 능가하고, 운영 중인 ECMWF 앙상블에는 뒤처진다. 인코더 분기는 관측 기반 불확실성으로 작동한다. 구성요소 귀속 불확실성은 종단 간 예보를 더욱 투명하게 만들며, 이는 대기의 관측 기반 디지털 트윈을 향한 한 걸음이다.
소셜 미디어상의 멀티모달 허위정보는 매우 널리 퍼져 있고, 강력하며, 해롭지만, 탐지하고 대응하는 것이 어렵고, 텍스트만으로 구성된 허위정보에 비해 여전히 제대로 이해되지 않고 있다. 멀티모달 허위정보의 특성과 기만적 전략에 대한 연구는 실제 맥락에 기반한 분류체계의 부재와, 대규모 주석 및 분석 자동화를 불가능하게 하는 현재 멀티모달 기계학습 모델의 한계로 인해 어려움을 겪고 있다. 우리는 세 단계로 이러한 문제를 해결한다. 첫째, 7개 언어로 작성된 트위터(X)의 실제 허위정보 사례를 대규모 고품질 데이터셋으로 수집한다. 둘째, 데이터에 대한 심층 질적 분석과 기존 이론 연구에 기반한 새롭고 포괄적인 멀티모달 허위정보 분류체계를 개발한다. 마지막으로, 비전-언어 모델(VLM)을 활용한 자동화된 다단계 주석 파이프라인을 통해 분류체계를 구현하고 인간 검증을 수행한다. 이러한 새로운 접근 방식은 실제 환경에서 소셜 미디어 사용자가 이미지와 텍스트를 결합하여 허위정보를 유포하는 방식에 대해 이전에 보고된 바 없는 통찰을 제공한다. 예컨대 AI 생성 콘텐츠는 기술 및 과학 분야에서 특히 두드러지는 반면, 백신 허위정보는 신뢰성을 내세우기 위해 뉴스 매체의 이미지를 불균형적으로 활용한다. 우리의 방법과 발견은 멀티모달 허위정보 탐지를 위한 맞춤형 접근 방식에 지침을 제공하며, 완화 노력은 일률적으로 적용하기보다 전략적으로 개발·적용되어야 함을 시사한다.
긴 자기회귀 비디오 생성은 근본적인 메모리 문제에 직면한다. 유한한 어텐션 윈도우 안에서 모델은 계속해서 확장되는 과거 정보 중 무엇을 유지할지 결정해야 한다. 기존 방법은 메모리를 시간적으로 구성하여 최근 프레임을 보존하고 오래된 프레임은 압축하거나 폐기한다. 반면 우리는 외관 참신성(appearance novelty)에 따라 메모리를 구성하는 RECAP-Forcing을 제안한다. 긴 비디오는 단순히 프레임의 연속이 아니라, 시간이 지나도 정체성이 일관되게 유지되어야 하는 주체, 객체, 장면들이 진화하며 구성된 집합이다. 우리는 새롭게 나타나는 콘텐츠, 예를 들어 새로 등장하는 주체, 폐색이 해제된 영역, 새로 도입된 장면과 연관된 KV 캐시를 해당 콘텐츠가 처음으로 보이는 순간에 유지함으로써 메모리를 구성한다. 이때 최근성보다는 참신성을 우선한다. 메모리는 비디오 길이가 아니라 새로 도입된 콘텐츠의 양에 비례하여 확장되어야 한다. 이러한 외관 기반 인덱싱 메모리는 장기적 일관성을 메모리 구조의 명시적 속성으로 만든다. 우리의 프레임워크는 이 단일 원칙 아래 두 가지 메커니즘을 통합한다. 비디오의 시작 부분에서는 모든 가시 콘텐츠가 새롭기 때문에 어텐션 싱크(attention sink)가 초기 장면을 보존한다. 비디오가 전개됨에 따라, 옵티컬 플로우 기반 참신성 뱅크(novelty bank)가 새롭게 드러난 콘텐츠를 선택적으로 유지함으로써 동일한 원칙을 확장한다. 학습이 필요 없는 추론 방법으로서 추가적인 학습 가능한 파라미터가 없는 RECAP-Forcing은 여러 강력한 기준선에 걸쳐 시각적 품질과 의미론적 충실도를 일관되게 향상시키며 기존 메모리 방법들을 능가한다.