일간 논문

DeepSeek-V3.2는 높은 계산 효율성과 우수한 추론 및 에이전트 성능을 조화시킨 모델입니다. DeepSeek-V3.2의 주요 기술적 돌파구는 다음과 같습니다: (1) DeepSeek Sparse Attention(DSA): 긴 문맥 시나리오에서 모델 성능을 유지하면서 계산 복잡성을 크게 줄이는 효율적인 어텐션 메커니즘인 DSA를 도입했습니다. (2) 확장 가능한 강화 학습 프레임워크: 강력한 강화 학습 프로토콜을 구현하고 사후 훈련 계산을 확장함으로써 DeepSeek-V3.2는 GPT-5에 버금가는 성능을 보입니다. 특히 고사양 변형 모델인 DeepSeek-V3.2-Speciale은 GPT-5를 능가하며 Gemini-3.0-Pro와 동등한 추론 능력을 보여주어 2025년 국제 수학 올림피아드(IMO)와 국제 정보 올림피아드(IOI)에서 금메달 성적을 달성했습니다. (3) 대규모 에이전트 작업 합성 파이프라인: 추론을 도구 사용 시나리오에 통합하기 위해 체계적으로 대규모 훈련 데이터를 생성하는 새로운 합성 파이프라인을 개발했습니다. 이 방법론은 확장 가능한 에이전트 사후 훈련을 용이하게 하여 복잡한 상호작용 환경 내에서 일반화 및 지시 따르기 강건성을 크게 향상시킵니다.

대규모 언어 모델은 강력한 범용 시스템이지만, '인류 최종 시험(HLE)'과 같은 심층적이고 복잡한 문제를 해결하는 것은 개념적으로나 계산 비용 측면에서 여전히 어려운 과제입니다. 본 연구에서는 소규모 오케스트레이터가 다른 모델과 다양한 도구들을 관리함으로써 지능의 상한선을 높이고 동시에 복잡한 에이전트 과제 해결의 효율성을 개선할 수 있음을 보여줍니다. 우리는 지능형 도구들을 조율하는 소규모 오케스트레이터를 훈련시키는 방법인 ToolOrchestra를 소개합니다. ToolOrchestra는 결과 인지, 효율성 인지, 사용자 선호도 인지 보상을 활용한 명시적 강화 학습을 사용합니다. ToolOrchestra를 통해 우리는 80억 파라미터 규모의 Orchestrator 모델을 개발했으며, 이 모델은 주어진 질의에 대해 어떤 도구를 사용할지에 대한 사용자 선호도에 부합하면서도 기존 도구 활용 에이전트들보다 낮은 비용으로 더 높은 정확도를 달성합니다. HLE에서 Orchestrator는 37.1%의 점수를 기록하여 GPT-5(35.1%)를 능가하는 동시에 2.5배 더 효율적입니다. tau2-Bench와 FRAMES 벤치마크에서는 GPT-5를 큰 차이로 앞지르면서도 약 30%의 비용만을 사용합니다. 포괄적인 분석 결과, Orchestrator는 여러 메트릭 하에서 성능과 비용 간의 최적의 균형을 달성하며, 보지 못한 도구에 대해서도 강건하게 일반화됩니다. 이러한 결과는 다양한 도구들을 경량 오케스트레이션 모델로 구성하는 것이 기존 방법보다 더 효율적이고 효과적임을 입증하며, 실용적이고 확장 가능한 도구 증강 추론 시스템으로 가는 길을 열어줍니다.

현재 비디오 생성 기술은 단일 샷 클립에서는 뛰어난 성능을 보이지만, 유연한 샷 배치, 일관된 내러티브, 텍스트 프롬프트를 넘어선 제어 가능성 등이 요구되는 서사적 다중 샷 비디오 생성에는 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해 우리는 높은 제어 가능성을 지닌 다중 샷 비디오 생성 프레임워크인 MultiShotMaster를 제안합니다. 사전 학습된 단일 샷 모델을 두 가지 새로운 RoPE 변형을 통합하여 확장합니다. 첫째, 샷 전환 시 명시적 위상 변화를 적용하여 시간적 서사 순서를 유지하면서 유연한 샷 배치를 가능하게 하는 Multi-Shot Narrative RoPE를 도입합니다. 둘째, 참조 토큰과 접지 신호를 통합하여 시공간적 접지 참조 주입을 가능하게 하는 Spatiotemporal Position-Aware RoPE를 설계합니다. 또한 데이터 부족 문제를 해결하기 위해 다중 샷 비디오, 캡션, 샷 간 접지 신호 및 참조 이미지를 추출하는 자동화된 데이터 주석 파이프라인을 구축했습니다. 우리의 프레임워크는 내재된 아키텍처 특성을 활용하여 텍스트 기반 샷 간 일관성, 동작 제어가 가능한 맞춤형 주체, 배경 기반 맞춤형 장면을 특징으로 하는 다중 샷 비디오 생성을 지원합니다. 샷 수와 지속 시간 모두 유연하게 구성 가능합니다. 광범위한 실험을 통해 우리 프레임워크의 우수한 성능과 뛰어난 제어 가능성을 입증합니다.

본 논문에서는 전역 메모리 기반 경로 계획과 지역 기하학적 제어를 통합한 제로샷 시각 항법을 위한 이중 스케일 프레임워크인 MG-Nav(Memory-Guided Navigation)를 제안한다. 핵심에는 스파스 공간 메모리 그래프(SMG)가 있으며, 이는 컴팩트하고 지역 중심적인 메모리로 각 노드는 다중 뷰 키프레임과 객체 의미를 집약하여 외관과 공간 구조를 동시에 포착하면서 시점 다양성을 보존한다. 전역 수준에서는 에이전트를 SMG 상에 위치시킨 후 이미지-인스턴스 혼합 검색을 통해 목표 조건부 노드 경로를 계획하여 장기적 안내를 위한 도달 가능한 웨이포인트 시퀀스를 생성한다. 지역 수준에서는 항법 기초 정책이 장애물 인식 제어와 함께 포인트 목표 모드로 이러한 웨이포인트를 실행하며, 최종 노드에서 시각적 목표로 이동할 때는 이미지 목표 모드로 전환한다. 시점 정렬 및 목표 인식 향상을 위해 사전 학습된 VGGT 모델 기반의 경량 기하학적 모듈인 VGGT-adapter를 도입하여 관측 특징과 목표 특징을 공유 3D 인식 공간에서 정렬한다. MG-Nav는 주기적 재위치 지정을 통해 오류를 수정하며 서로 다른 주기로 전역 계획과 지역 제어를 운영한다. HM3D Instance-Image-Goal 및 MP3D Image-Goal 벤치마크에서의 실험 결과, MG-Nav는 최첨단 제로샷 성능을 달성하며 동적 재배치 및 보이지 않는 장면 조건에서도 견고함을 유지함을 입증하였다.

이 논문에서는 카메라 제어 비디오 생성을 위한 새로운 종단간(end-to-end) 확산 모델인 DualCamCtrl을 제안한다. 최근 연구들은 카메라 포즈를 레이 기반 조건으로 표현하여 이 분야를 발전시켜 왔지만, 종종 충분한 장면 이해와 기하학적 인식을 결여하고 있다. DualCamCtrl은 카메라 일관성을 갖춘 RGB 시퀀스와 깊이 시퀀스를 상호 생성하는 듀얼-브랜치(dual-branch) 프레임워크를 도입하여 이러한 한계를 구체적으로 해결한다. 두 양상을 조화시키기 위해 우리는 의미론적으로 유도되고 상호 강화되는 방식으로 RGB-깊이 융합을 수행하는 시맨틱 가이디드 상호 정렬(Semantic Guided Mutual Alignment, SIGMA) 메커니즘을 추가로 제안한다. 이러한 설계는 종합적으로 DualCamCtrl이 외관과 기하학적 모델링을 더 효과적으로 분리하여 지정된 카메라 궤적에 더 충실히 따르는 비디오를 생성할 수 있게 한다. 또한, 우리는 잡음 제거 단계에 걸쳐 깊이와 카메라 포즈가 미치는 상이한 영향을 분석하고 밝혔으며, 초기 단계와 후기 단계가 각각 전역 구조 형성과 지역적 세부 사항 정교화에 상호 보완적인 역할을 한다는 점을 추가로 입증한다. 광범위한 실험을 통해 DualCamCtrl이 기존 방법 대비 카메라 운동 오류를 40% 이상 감소시키며 더 일관된 카메라 제어 비디오 생성을 달성함을 보여준다. 우리의 프로젝트 페이지는 https://soyouthinkyoucantell.github.io/dualcamctrl-page/ 이다.

AI 자기 진화는 오랫동안 모델이 자체 학습 경험으로부터 지식을 자율적으로 습득, 정제 및 내재화하여 초지능으로 나아가는 길로 여겨져 왔습니다. 그러나 실제로는 비지도 자기 진화 시스템은 훈련이 진행됨에 따라 빠르게 정체되거나 심지어 성능이 저하되는 경우가 많습니다. 이러한 실패는 모델이 자체 편향을 강화하고 저엔트로피 행동으로 수렴함에 따라 개념 드리프트, 다양성 붕괴, 잘못된 진화 등의 문제에서 비롯됩니다. 인간의 감독에 대한 의존을 최소화하면서 모델이 안정적이고 제어 가능한 방식으로 자기 진화할 수 있도록 하기 위해, 우리는 인-컨텍스트 기반 설정과 혼합 훈련을 통한 경량 인간 감독을 통합한 가이드 자기 대결 방식의 챌린저-솔버 프레임워크인 R-Few를 소개합니다. 각 반복에서 챌린저는 소량의 인간 레이블 예시를 샘플링하여 합성 질문 생성을 안내하고, 솔버는 온라인 난이도 기반 커리큘럼 하에서 인간 예시와 합성 예시를 함께 훈련합니다. 수학 및 일반 추론 벤치마크 전반에 걸쳐 R-Few는 꾸준하고 반복적인 성능 향상을 달성합니다. 예를 들어, Qwen3-8B-Base는 수학 과제에서 R-Zero 대비 +3.0점 향상되었으며, General-Reasoner와 동등한 성능을 보였는데 후자는 20배 더 많은 인간 데이터로 훈련되었음에도 불구하고 그렇습니다. 어블레이션 연구는 기반을 둔 챌린저 훈련과 커리큘럼 기반 솔버 훈련의 상호 보완적 기여를 확인하며, 추가 분석은 R-Few가 드리프트를 완화하여 더 안정적이고 제어 가능한 공진화 역학을 산출함을 보여줍니다.

최근 멀티모달 에이전트 시스템에서 진전이 있었음에도 불구하고, 기존 접근법들은 이미지 조작과 웹 검색을 분리된 능력으로 취급하고, 비용이 높은 강화 학습에 크게 의존하며, 실제 도구 실행 흔적에 기반한 계획 수립이 부족한 경우가 많습니다. 이러한 한계점을 해결하기 위해 우리는 Skywork-R1V4를 제시합니다. 이는 30B(A3B) 파라미터 규모의 멀티모달 에이전트 모델로, 멀티모달 계획 수립, 능동적 이미지 조작("이미지를 통한 사고"), 심층 멀티모달 검색, 그리고 가장 중요한 시각적 연산과 외부 지식 검색을 동적으로 교차시키는 인터리브 추론을 통합합니다. 30,000개 미만의 고품질이며 계획-실행이 일관된 궤적 데이터에 대해 지도 미세 조정만으로 훈련되고 단계적 일관성 필터링을 통해 검증된 Skywork-R1V4는 인지 및 멀티모달 검색 벤치마크에서 최첨단 성능을 달성했습니다: MMSearch에서 66.1점, FVQA에서 67.2점을 기록하여 11개 모든 지표에서 Gemini 2.5 Flash를 능가했습니다. Skywork-R1V4는 추론 시점에 긴 수평의 추론 능력이 발현되어 복잡한 다단계 작업을 해결하기 위해 10회 이상의 도구 호출을 성공적으로 조정합니다. 우리의 결과는 정교한 에이전트 멀티모달 지능이 강화 학습에 전혀 의존하지 않고도 신중하게 선별된 지도 학습만으로 달성될 수 있음을 입증합니다.

완전 자율 주행 시스템을 달성하기 위해서는 안전 위기 및 분포 외 시나리오를 포함한 광범위한 상황에서 합리적인 결정을 학습해야 합니다. 그러나 이러한 사례들은 인간 전문가가 수집한 실제 데이터에서는 충분히 표현되지 않습니다. 데이터 다양성 부족을 보완하기 위해, 우리는 기존 주행 기록을 기반으로 대량의 미확인 상태를 합성할 수 있는 새로운 확장 가능 시뮬레이션 프레임워크를 소개합니다. 우리의 파이프라인은 반응형 환경과 함께 고급 신경 렌더링을 활용하여 교란된 자차 궤적에 의해 제어되는 고화질 다중 시점 관측값을 생성합니다. 더 나아가 이러한 새로 시뮬레이션된 상태에 대한 의사 전문가 궤적 생성 메커니즘을 개발하여 행동 지도를 제공합니다. 합성된 데이터를 통해, 실제와 시뮬레이션 샘플 모두에 대한 간단한 공동 학습 전략이 어려운 실제 벤치마크에서 다양한 계획 방법의 견고성과 일반화 성능을 크게 향상시킬 수 있음을 확인했습니다(navhard 기준 최대 +6.8 EPDMS, navtest 기준 +2.9). 더 중요한 것은, 추가적인 실제 데이터 유입 없이 시뮬레이션 데이터만 증가시켜도 정책 개선이 원활하게 확장된다는 점입니다. 우리는 SimScale이라 명명한 이러한 시뮬-리얼 학습 시스템의 몇 가지 중요한 발견,包括 의사 전문가 설계 및 다양한 정책 아키텍처에 대한 확장 특성을 추가로 밝혔습니다. 우리의 시뮬레이션 데이터와 코드는 공개될 예정입니다.

LLM과 에이전트는 코드 생성, 수학적 추론, 과학적 발견 분야에서 인상적인 진전을 이루었습니다. 그러나 기존 벤치마크는 주로 정확도를 측정하며, 해결책 뒤에 숨겨진 방법론의 다양성을 간과하고 있습니다. 진정한 혁신은 정답을 도출하는 것뿐만 아니라 접근법의 독창성에도 달려 있습니다. 본 논문은 AI 에이전트의 혁신 잠재력을 체계적으로 평가하기 위해 최초로 설계된 벤치마크이자 프레임워크인 InnoGym을 소개합니다. InnoGym은 상호 보완적인 두 가지 지표, 즉 기존 최적 솔루션 대비 개선 정도를 측정하는 성능 이득(performance gain)과 기존 접근법과의 방법론적 차이를 포착하는 신규성(novelty)을 제안합니다. 이 벤치마크는 실제 엔지니어링 및 과학 분야에서 엄선된 18개 과제를 포함하며, 각 과제는 자원 필터링, 평가자 검증, 솔루션 수집을 통해 표준화되었습니다. 또한 재현 가능하고 장기적인 평가를 위한 통합 실행 환경인 iGym을 제공합니다. 대규모 실험 결과, 일부 에이전트가 새로운 접근법을 생성할 수 있지만, 견고성이 부족하여 성능 이득을 제한하는 것으로 나타났습니다. 이러한 결과는 창의성과 실효성 사이의 중요한 간극을 부각시키며, 두 가지를 모두 평가하는 벤치마크의 필요성을 강조합니다.

확산 모델은 이미지 생성 분야에서 놀라운 성공을 거두었으나, 높은 계산 비용과 많은 추론 단계 필요성으로 인해 실제 적용에는 여전히 제약이 따릅니다. 더 적은 단계의 축소를 위한 기존 연구들은 컴팩트한 학생 모델을 학습시켜 중복 단계를 건너뛰려고 시도했지만, 대규모 재학습 비용과 일반화 성능 저하 문제를 자주 겪었습니다. 본 연구에서는 다른 접근법을 취합니다. 즉, 균일하지 않게 지능적으로 가속화하여 초기 의미론적 단계에는 작은 가속을, 후기 중복 단계에는 큰 가속을 적용합니다. 우리는 이 단계 인식 전략을 느린 제노이징 단계와 빠른 제노이징 단계에 각각 특화된 두 전문가 모듈로 구현합니다. 놀랍게도, 학생 모델을 대규모로 재학습시키는 대신 기본 모델에 경량 LoRA 어댑터를 추가하는 것만으로도 효율적인 가속과 강력한 일반화를 동시에 달성할 수 있음을 발견했습니다. 우리는 이 두 어댑터를 Slow-LoRA와 Fast-LoRA로 명명합니다. 광범위한 실험을 통해 우리의 방법은 기본 모델 대비 최대 5배의 가속을 달성하면서도 다양한 벤치마크에서 비슷한 시각적 품질을 유지합니다. 특히 LoRA 전문가 모듈은 단일 V100 GPU에서 1샘플만으로 1시간 이내에 학습되었음에도 불구하고, 결과 모델들은 보지 않은 프롬프트에서도 강력한 일반화 성능을 보입니다.

비디오-오디오 생성 기술의 발전에도 불구하고, 해당 분야는 주로 모노 오디오 출력에 집중하여 공간적 몰입감이 부족한 실정입니다. 기존의 바이노럴(binaural) 방식은 모노 오디오를 먼저 생성한 후 공간화(spatialization)를 수행하는 2단계 파이프라인에 제한되어 있어, 오류 누적 및 시공간적 불일치가 자주 발생합니다. 이러한 한계를 해결하기 위해 우리는 무음 비디오로부터 직접 엔드투엔드(end-to-end) 방식의 바이노럴 공간 오디오 생성을 위한 새로운 과제를 제안합니다. 이 과제를 지원하기 위해 반자동화 파이프라인을 통해 구축된, 다양한 실제 세계 장면과 카메라 회전 궤적을 포함하는 약 97,000개의 비디오-바이노럴 오디오 쌍으로 구성된 BiAudio 데이터셋을 선보입니다. 더 나아가, 조건부 플로우 매칭(conditional flow matching)을 채택하고 두 개의 전용 브랜치가 오디오 잠재 흐름(latent flow)을 모델링하는 이중 브랜치 오디오 생성 아키텍처를 가진 엔드투엔드 프레임워크인 ViSAudio를 제안합니다. 조건부 시공간(spacetime) 모듈과 통합된 이 프레임워크는 독특한 공간 특성을 보존하면서 채널 간 일관성을 균형 있게 조절하여 오디오와 입력 비디오 간의 정확한 시공간적 정렬을 보장합니다. 포괄적인 실험을 통해 ViSAudio가 객관적 지표와 주관적 평가 모두에서 기존 최신 방법들을 능가하며, 시점 변화, 음원 이동, 다양한 음향 환경에 효과적으로 적응하는 공간적 몰입감을 지닌 고품질 바이노럴 오디오를 생성함을 입증합니다. 프로젝트 웹사이트: https://kszpxxzmc.github.io/ViSAudio-project.

최근 비디오 대규모 언어 모델의 발전은 짧은 클립 이해에 강력한 능력을 보여주고 있습니다. 그러나 제한된 컨텍스트 용량과 추상화 과정에서 발생하는 중요한 시각적 세부 정보의 손실로 인해 수시간 또는 수일 길이의 비디오로 확장하는 것은 여전히 매우 어렵습니다. 기존의 메모리 증강 방법은 비디오 세그먼트의 텍스트 요약을 활용하여 이 문제를 완화하지만, 텍스트에 크게 의존하며 복잡한 장면을 추론할 때 시각적 증거를 활용하지 못합니다. 더욱이 고정된 시간적 규모에서의 검색은 다양한 지속 시간에 걸친 이벤트를 포착하는 데 유연성을 제한합니다. 이를 해결하기 위해 우리는 텍스트 및 시각적 표현을 모두 포함하는 여러 상호 보완적 메모리를 구성하고 검색하는 새로운 멀티모달 메모리 에이전트인 WorldMM을 소개합니다. WorldMM은 세 가지 유형의 메모리로 구성됩니다: 서사적 메모리는 여러 시간적 규모에 걸친 사실적 사건을 인덱싱하고, 의미 메모리는 높은 수준의 개념적 지식을 지속적으로 업데이트하며, 시각적 메모리는 장면에 대한 상세한 정보를 보존합니다. 추론 중에 적응형 검색 에이전트는 가장 관련성이 높은 메모리 소스를 반복적으로 선택하고 쿼리 기반으로 여러 시간적 세분성을 활용하며, 충분한 정보가 수집되었다고 판단할 때까지 이 과정을 계속합니다. WorldMM은 5개의 장기 비디오 질의응답 벤치마크에서 기존 기준선을 크게 능가하며, 기존 최첨단 방법 대비 평균 8.4%의 성능 향상을 달성하여 장기 비디오 추론에 대한 효과를 입증했습니다.

비전-언어-행동(VLA) 모델은 로봇 매니퓰레이션 분야에서 뛰어난 성능을 보여주지만, 훈련 시 사용되는 행동 청크 길이(horizon)에 따라 성능이 민감하게 변하는 특징이 있습니다. 우리의 실증 연구는 여기에 내재된 트레이드오프를 밝혀냈습니다: 긴 호라이즌은 전역적 예측 능력을 향상시키지만 세밀한 정확도는 저하시키며, 짧은 호라이즌은 국소적 제어 정밀도를 높이지만 장기적 과제에서는 어려움을 겪습니다. 이는 단일 호라이즌을 고정적으로 선택하는 방식이 최적이 아님을 시사합니다. 이러한 트레이드오프를 완화하기 위해 우리는 혼합 호라이즌(MoH) 전략을 제안합니다. MoH는 행동 청크를 서로 다른 호라이즌을 가진 여러 세그먼트로 재구성하고, 공유 행동 트랜스포머로 병렬 처리한 후, 경량 선형 게이트를 통해 출력을 융합합니다. MoH는 세 가지 주요 이점을 제공합니다. 1) 단일 모델 내에서 장기적 예측력과 단기적 정밀도를 동시에 활용하여 복잡한 작업에서 성능과 일반화 능력을 모두 향상시킵니다. 2) 전체 주의력(full-attention) 행동 모듈에 플러그 앤 플레이 방식으로 적용되며 훈련 또는 추론 오버헤드가 최소화됩니다. 3) 적응형 호라이즌을 통한 동적 추론이 가능하며, 호라이즌 간 일관성을 통해 안정적인 행동을 선택하여 우수한 성능을 유지하면서 기준선 대비 2.5배 높은 처리량을 달성합니다. 흐름 기반 정책 π_0, π_{0.5} 및 1단계 회귀 정책 π_reg에 대한 광범위한 실험을 통해 MoH가 시뮬레이션과 실제 과제 모두에서 일관적이고 상당한 성능 향상을 가져옴을 입증했습니다. 특히 혼합 작업 환경에서 MoH를 적용한 π_0.5는 30k번의 훈련 반복만으로 LIBERO 벤치마크에서 99%의 평균 성공률을 기록하며 새로운 최첨단 성능을 달성했습니다. 프로젝트 페이지: https://github.com/Timsty1/MixtureOfHorizons

저비트 너비 양자화는 대규모 언어 모델을 배포하기 위한 표준 접근법이지만, 극단적으로 큰 소수의 가중치와 활성화 값이 동적 범위를 확장시켜 양자화기의 유효 해상도를 감소시킵니다. 일반적인 완화 방법은 양자화 전에 Hadamard 행렬과 같은 고정된 직교 변환을 적용하여 동적 범위를 줄이는 것입니다. 그러나 이러한 변환은 데이터의 통계를 무시하며, 그 최적성은 현재 명확히 이해되지 않고 있습니다. 본 연구에서는 일반적인 수치 형식에 대해 데이터 무관 표준 양자화기를 사용한 가중치-활성화 결합 양자화를 위한 최적의 선형 블록 단위 변환을 폐쇄형으로 최초로 유도합니다. 구체적으로, 정수 및 부동소수점 형식 모두에 대해 RTN(반올림) 및 AbsMax-스케일링 블록 양자화기를 위한 최적의 적응형(데이터 인식) 변환의 유도 과정을 제시합니다. 그 결과로 도출된 WUSH라 명명한 구성은 Hadamard 백본과 2차 모멘트 기반의 데이터 의존 구성 요소를 결합하여, 약한 가정 하에서 이론적으로 최적임이 입증되고 효율적인 구현을 위한 구조를 유지하는 비직교 변환을 생성합니다. 예비 실험 결과는 우리의 접근법이 일반적인 형식에 대해 Hadamard 변환보다 지속적으로 향상된 성능을 보여줍니다.

잠재 공간 모델링은 Diffusion Transformer(DiT)의 표준 접근법으로 자리 잡아왔습니다. 그러나 이 방식은 사전 훈련된 오토인코더에 의존하는 2단계 파이프라인을 필요로 하며, 이로 인해 손실이 수반되는 복원 과정에서 오류 누적이 발생하고 공동 최적화가 저해됩니다. 이러한 문제점을 해결하기 위해 본 논문에서는 오토인코더가 필요 없이 픽셀 공간에서 직접 확산 과정을 학습하는 단일 단계의 종단간(end-to-end) 모델인 PixelDiT를 제안합니다. PixelDiT는 완전한 트랜스포머 기반 아키텍처로, 전역적 의미를 포착하는 패치 수준 DiT와 텍스처 디테일을 정교하게 다듬는 픽셀 수준 DiT로 구성된 이중 수준 설계를 채택하여 세부 사항을 보존하면서도 픽셀 공간 확산 모델의 효율적인 학습을 가능하게 합니다. 우리의 분석에 따르면 효과적인 픽셀 수준 토큰 모델링이 픽셀 확산 모델의 성공에 필수적입니다. PixelDiT는 ImageNet 256x256에서 1.61 FID를 달성하여 기존 픽셀 생성 모델을 큰 차이로 앞섰습니다. 또한 PixelDiT를 텍스트-이미지 생성으로 확장하고 픽셀 공간에서 1024x1024 해상도로 사전 훈련하였습니다. 그 결과 GenEval에서 0.74, DPG-bench에서 83.5 점수를 기록하여 최고 수준의 잠재 확산 모델에 근접한 성능을 보였습니다.

최근 오디오-비디오 생성 시스템들은 양식 간 결합이 오디오-비디오 동기화뿐만 아니라 비디오 양식 자체에도 이점을 준다는 것을 시사합니다. 우리는 근본적인 질문을 제기합니다: 비디오 품질만 중요하게 여기는 경우에도 오디오-비디오 공동 디노이징 훈련이 비디오 생성을 향상시킬 수 있을까요? 이를 연구하기 위해 사전 훈련된 텍스트-비디오(T2V) 및 텍스트-오디오(T2A) 모듈을 공동 디노이징에 활용하는 매개변수 효율적인 Audio-Video Full DiT(AVFullDiT) 아키텍처를 도입합니다. 우리는 (i) AVFullDiT를 사용한 T2AV 모델과 (ii) 동일한 설정 하에서의 T2V 전용 대조 모델을 훈련합니다. 우리의 결과는 오디오-비디오 공동 디노이징이 동기화 이상의 효과를 제공할 수 있다는 첫 번째 체계적인 증거를 제시합니다. 대규모 및 객체 접촉 운동을 특징으로 하는 어려운 하위 집합에서 일관된 개선이 관찰됩니다. 우리는 오디오 예측이 특권 신호로 작용하여 모델이 시각적 사건과 그 음향적 결과(예: 충돌 타이밍이 소리에 미치는 영향) 사이의 인과 관계를 내재화하도록 유도하며, 이는 결국 비디오 역학을 규제한다고 가정합니다. 우리의 연구 결과는 교차 양식 공동 훈련이 더 강력하고 물리적으로 근거 있는 세계 모델을 개발하기 위한 유망한 접근법임을 시사합니다. 코드와 데이터셋은 공개될 예정입니다.

유비추론은 인간 인지의 핵심에 위치하며, 다양한 지적 활동의 중요한 기초를 제공합니다. 선행 연구에서 대규모 언어 모델이 작업 패턴과 표층적 개념을 표현할 수 있음이 입증되었으나, 이러한 모델이 고수준 관계 개념을 인코딩하고 구조화된 비교를 통해 새로운 상황에 적용할 수 있는지 여부는 여전히 불분명합니다. 본 연구에서는 비례 유추와 이야기 유추를 통해 이 근본적인 측면을 탐구하며 세 가지 핵심 발견을 도출했습니다. 첫째, LLM은 유사 개체 간의 내재적 관계를 효과적으로 인코딩합니다. 정답 사례에서는 속성 정보와 관계 정보가 중상위 계층을 통해 전파되는 반면, 추론 실패는 해당 계층 내 관계 정보의 결여를 반영합니다. 둘째, 인간과 달리 LLM은 관계 정보가 부족한 경우뿐만 아니라 새로운 개체에 이를 적용하려 할 때도 종종 어려움을 겪습니다. 이러한 경우 주요 토큰 위치에서 은닉 표현을 전략적으로 수정하면 정보 전달을 어느 정도 촉진할 수 있습니다. 마지막으로, LLM의 성공적인 유비추론은 유사 상황 간 강력한 구조적 정렬로 특징지어지는 반면, 실패 사례에서는 정렬의 약화나 왜곡이 나타납니다. 종합적으로 우리의 연구 결과는 LLM이 고수준 관계 개념을 인코딩하고 적용하는 데 있어 나타나지만 제한적인 능력을 보여주며, 인간 인지와의 유사점과 격차를 동시에 부각시킵니다.

대규모 언어 모델(LLM)은 텍스트 생성기에서 강력한 문제 해결사로 빠르게 진화해 왔습니다. 그러나 많은 개방형 과제는 비판적 사고, 다중 출처 정보 활용, 검증 가능한 출력을 요구하며, 이는 단일 프롬프트 처리나 표준 검색 증강 생성의 범위를 벗어납니다. 최근 들어 검색 엔진과 같은 외부 도구와 LLM의 추론 능력을 결합하여 복잡하고 개방형 과제를 수행할 수 있는 연구 에이전트로서 LLM의 역량을 강화하는 것을 목표로 하는 딥 리서치(DR)를 탐구하는 수많은 연구가 진행되고 있습니다. 본 논문은 딥 리서치 시스템에 대한 포괄적이고 체계적인 개요를 제시하며, 명확한 로드맵, 핵심 구성 요소, 실제 구현 기술, 주요 과제 및 향후 방향을 다룹니다. 구체적으로 본 논문의 주요 기여는 다음과 같습니다: (i) 3단계 로드맵을 정형화하고 딥 리서치를 관련 패러다임과 구분합니다; (ii) 쿼리 계획, 정보 획득, 메모리 관리, 답변 생성이라는 네 가지 핵심 구성 요소와 각각에 대한 세분화된 하위 분류 체계를 소개합니다; (iii) 프롬프팅, 지도 미세 조정, 에이전트 강화 학습을 포함한 최적화 기술을 요약합니다; (iv) 평가 기준과 해결 과제를 통합하여 향후 발전을 안내하고 촉진하는 데 기여하고자 합니다. 딥 리서치 분야가 빠르게 진화함에 따라, 본 논문은 이 분야의 최신 동향을 반영하기 위해 지속적으로 업데이트될 예정입니다.

본 논문에서는 대규모 언어 모델(LLM)과 강화 학습(RL)을 결합하여 Half-precision General Matrix Multiply(HGEMM) CUDA 커널을 자동으로 최적화하는 시스템인 CUDA-L2를 제안한다. CUDA 실행 속도를 RL 보상으로 활용하여 CUDA-L2는 1,000가지 구성에 걸쳐 HGEMM 커널을 자동 최적화한다. CUDA-L2는 널리 사용되는 {\it torch.matmul}부터 최신 Nvidia의 클로즈드 소스 라이브러리인 {\it cuBLAS}, {\it cuBLASLt}에 이르기까지 현재까지의 주요 행렬 곱셈 기준선을 체계적으로 능가한다. 오프라인 모드(커널을 시간 간격 없이 연속 실행)에서 CUDA-L2는 평균적으로 {\it torch.matmul} 대비 +22.0%, 최적 레이아웃 구성(normal-normal NN 및 transposed-normal TN)을 사용한 {\it cuBLAS} 대비 +19.2%, 휴리스틱 제안을 기반으로 알고리즘을 선택하는 {\it cuBLASLt-heuristic} 대비 +16.8%, 그리고 {\it cuBLASLt}의 제안 후보 중 최대 100개에서 가장 빠른 알고리즘을 선택하는 가장 경쟁력 있는 {\it cuBLASLt-AutoTuning} 모델 대비 +11.4%의 성능 향상을 보인다. 서버 모드(실시간 추론을 시뮬레이션하기 위해 커널을 무작위 간격으로 실행)에서는 이러한 속도 향상이 {\it torch.matmul}, {\it cuBLAS}, {\it cuBLASLt-heuristic}, {\it cuBLASLt-AutoTuning}에 대해 각각 +28.7%, +26.0%, +22.4%, +15.9%로 더욱 증가한다. CUDA-L2는 HGEMM과 같이 성능이 매우 중요하고 철저히 최적화된 커널조차 LLM 주도의 RL 자동화를 통해 인간이 실현하기 어려운 규모로 구성 공간을 체계적으로 탐색함으로써 개선될 수 있음을 보여준다. 프로젝트 및 코드는 github.com/deepreinforce-ai/CUDA-L2에서 확인할 수 있다.

유동 매칭으로 학습된 Vision-Language-Action (VLA) 모델은 로봇 매니퓰레이션 작업에서 인상적인 성능을 보여주고 있습니다. 그러나 이들의 성능은 분포 변화가 발생하거나 복잡한 다단계 작업에서 종종 저하되는데, 이는 학습된 표현이 작업 관련 의미를 강건하게 포착하지 못할 수 있음을 시사합니다. 본 논문에서는 기하학적 정규화를 통해 VLA의 강건성을 향상시키는 원리 기반 프레임워크인 DiG-Flow를 소개합니다. 우리의 핵심 통찰은 관측 임베딩과 행동 임베딩 간의 분포적 불일치가 의미 있는 기하학적 신호를 제공한다는 것입니다: 낮은 전송 비용은 호환되는 표현을 나타내는 반면, 높은 비용은 잠재적 불일치를 시사합니다. DiG-Flow는 관측 임베딩과 행동 임베딩의 경험적 분포 간 불일치 측정값을 계산하고, 단조 함수를 통해 이를 변조 가중치로 매핑한 후, 유동 매칭 전에 관측 임베딩에 잔차 업데이트를 적용합니다. 중요한 것은 이러한 개입이 유동 매칭 경로나 목표 벡터 장을 수정하지 않고 표현 수준에서 작동한다는 점입니다. 우리는 불일치 기반 학습이 이론적으로 학습 목적 함수를 감소시킴을 보장하고, 가이드된 추론 정제가 수축을 통해 수렴함을 이론적으로 증명합니다. 경험적으로 DiG-Flow는 기존 VLA 아키텍처에 미미한 오버헤드만으로 통합되며 성능을 지속적으로 향상시키는데, 특히 복잡한 다단계 작업과 제한된 학습 데이터 조건에서 두드러진 성능 향상을 보입니다.

최근 비디오 생성 기술의 발전은 강한 시간적 일관성과 인상적인 시각적 품질을 갖춘 비디오 합성을 가능하게 하여 비전 기반 모델 개발에 중요한 진전을 이루었습니다. 이러한 비디오 생성 모델을 평가하기 위해 기존 벤치마크는 주로 시각적 심미성, 지시 사항 준수도, 시간적 일관성과 같은 시각적 인식 및 이해 관련 요소에 중점을 둡니다. 그러나 비디오 생성 모델의 규칙 기반 추론 능력은 여전히 크게 탐구되지 않고 있습니다. 최근 연구들이 비디오 모델이 제로샷 학습자로 기능할 수 있는지에 대한 예비 탐색을 수행했지만, 여전히 추론 능력에 대한 세분화된 분해와 포괄적인 평가 프로토콜이 부족한 실정입니다. 이러한 격차를 해결하기 위해 우리는 인지 규칙 관점에서 비디오 생성 모델의 추론 능력을 평가하도록 설계된 벤치마크인 RULER-Bench를 소개합니다. 텍스트-비디오 및 이미지-비디오라는 두 가지 기본 패러다임을 기반으로 구축된 RULER-Bench는 6개 규칙 범주에 걸친 40개의 대표적인 과제와 622개의 고품질 주석 인스턴스를 포함합니다. 생성된 각 비디오 평가를 위해 우리는 4가지 메트릭을 포함하는 체크리스트를 구성하고 GPT-4o를 활용하여 각 질문에 점수를 부여하며, 이는 인간 평가와 85% 일치율을 달성했습니다. 대규모 실험 결과에 따르면 최첨단 모델이 규칙 일관성 메트릭에서 48.87%에 그쳐 다음 세대 비디오 모델의 추론 능력 향상을 위한 상당한 개선 여지가 있음을 확인했습니다. RULER-Bench에서 얻은 통찰이 추론 인지 비디오 생성의 추가 발전을 촉진하고 비디오 생성 모델이 비전 기반 인텔리전스로 나아가는 데 기여할 것으로 기대합니다.

표 인식(TR)은 표 이미지를 HTML 또는 Markdown과 같은 반구조화된 표현으로 변환하는 것을 목표로 합니다. 문서 구문 분석의 핵심 구성 요소로서 TR은 오랫동안 지도 학습에 의존해 왔으며, 최근에는 레이블이 지정된 데이터를 사용한 시각-언어 모델(VLM) 미세 조정이 주를 이루고 있습니다. VLM이 TR을 다음 단계로 끌어올렸지만, 성능을 더욱 향상시키기 위해서는 확보 비용이 많이 드는 대규모 레이블 데이터가 필요합니다. 그 결과, 독점 모델들은 지속적으로 성능 한계를 넓혀왔지만, 제한된 자원으로 훈련되며 실제로는 개인정보 보호 규정으로 인해 많은 경우 유일한 실용적 선택지인 오픈소스 모델들은 여전히 크게 뒤처져 있습니다. 이 격차를 해소하기 위해 우리는 사전 훈련된 VLM이 레이블이 없는 실제 표 이미지로부터 직접 TR을 학습할 수 있도록 하는 자기 지도 미세 조정 방법인 TRivia를 소개합니다. 그룹 상대 정책 최적화를 기반으로 구축된 TRivia는 학습을 가장 효과적으로 촉진하는 레이블 없는 샘플을 자동으로 식별하고, 질의-응답 기반 보상 메커니즘을 통해 인간의 주석 작업 필요성을 제거합니다. 주의 안내 모듈은 각 표 이미지에 대해 다양한 질문을 생성하며, 인식 결과를 해석하고 이를 정확히 답변하는 능력은 TR 모델 최적화를 위한 피드백을 제공합니다. 이 폐쇄형 과정을 통해 TR 모델은 레이블된 데이터 없이도 표를 인식, 구조화, 추론하는 방법을 자율적으로 학습할 수 있습니다. 이 파이프라인을 활용하여 우리는 기존 시스템들(Gemini 2.5 Pro, MinerU2.5 등)을 세 가지 인기 벤치마크에서 능가하는 오픈소스이면서 컴팩트하고 최첨단인 TR 모델인 TRivia-3B를 선보입니다. 모델과 코드는 다음에서 공개됩니다: https://github.com/opendatalab/TRivia

본 논문에서는 생성적 이미지 편집에 계층적 구성 패러다임을 도입한 새로운 시스템인 MagicQuill V2를 제안한다. 이는 확산 모델의 의미론적 능력과 전통적 그래픽 소프트웨어의 세밀한 제어 간의 간극을 메워준다. 확산 트랜스포머가 전체적 생성에는 뛰어나지만, 단일한 통합형 프롬프트 사용 방식은 콘텐츠, 위치, 외관에 대한 사용자의 상이한 의도를 분리해 내지 못한다. 이를 해결하기 위해 우리의 방법은 창작 의도를 통제 가능한 시각적 단서 스택으로 분해한다: 생성 대상(what)을 위한 콘텐츠 계층, 배치 위치(where)를 위한 공간 계층, 형태 구조(how)를 위한 구조 계층, 색상 팔레트를 위한 색상 계층이 그것이다. 우리의 기술적 기여로는 맥락 인식 콘텐츠 통합을 위한 전용 데이터 생성 파이프라인, 모든 시각적 단서를 처리하는 통합 제어 모듈, 객체 제거를 포함한 정밀한 지역 편집을 위한 미세 조정 공간 분기 모델이 포함된다. 폭넓은 실험을 통해 이 계층적 접근법이 사용자 의도 간극을 효과적으로 해결하여 창작자에게 생성 과정에 대한 직접적이고 직관적인 제어권을 부여함을 입증하였다.

우리는 다양한 사고 연쇄(Chain-of-Thought, CoT) 설계가 시각-언어 모델(VLM)의 일반화 가능한 시각 추론 능력 습득에 어떤 영향을 미치는지 연구합니다. 특히 "이미지로 생각하기"와 같은 긴 형태나 시각적 CoT 데이터가 중간 추론 과정을 지도 학습(supervision)하는 데 널리 사용되지만, 왜 특정 CoT 설계가 도움이 되는지, 그리고 어떤 것이 진정으로 일반화 가능한 추론을 지원하는지는 여전히 명확하지 않습니다. 이를 체계적으로 평가하기 위해 우리는 추론 규칙이 완전히 시각적이며, 격자 크기로 난이도를 조절할 수 있고, 모든 중간 단계를 자동 생성할 수 있는 통제된 미로 해결(maze-solving) 벤치마크에 주목합니다. 표준 SFT-then-RL(지도 미세 조절 후 강화 학습) 파이프라인 하에서 Qwen2.5-VL-7B 모델을 사용하여 세 가지 대표적인 CoT 형식(언어 CoT, 위치 기반 CoT(공간 좌표 궤적 포함), 시각 CoT(이미지 조작 포함))을 비교합니다. 우리의 실험 결과, 시각적이고 긴 CoT는 주로 수렴 속도를 가속화할 뿐 최종 성능 한계를 높이지는 않으며, 핵심적인 위치 기반 단계만 포함하는 간결한 CoT가 긴 추적보다 성능이 우수하고, 놀랍게도 최소한의 위치 기반 결과만 유지하는 CoT가 다양한 미로 크기에서 가장 우수한 일반화 성능을 보인다는 것을 확인했습니다. 우리는 이러한 통찰력을 다른 시각 중심 과제에서도 추가로 검증합니다. 이러한 발견은 "짧은 것이 더 길다(short is long)"는 효과를 부각시키며, 시각 추론을 위한 보다 일반화 가능한 SFT 데이터셋 구축에 실용적인 지침을 제공합니다.

Physical AI는 현실 세계의 역학을 인지하고 예측할 수 있는 모델 개발을 목표로 하지만, 현재의 다중 모달 대규모 언어 모델 및 영상 생성 모델이 이러한 능력을 어느 정도 지원하는지는 충분히 규명되지 않았습니다. 본 연구에서는 물리적 타당성과 영역 특화 추론 능력을 평가하기 위한 과제 맞춤형 지표를 갖춘 2,808개의 현실 세계 사례로 구성된 통합적이고 포괄적인 벤치마크인 Physical AI Bench(PAI-Bench)를 소개합니다. PAI-Bench는 영상 생성, 조건부 영상 생성, 영상 이해 분야에 걸친 인지 및 예측 능력을 평가합니다. 우리의 연구는 최신 모델들을 체계적으로 평가한 결과, 영상 생성 모델들은 높은 시각적 정확도에도 불구하고 물리적으로 일관된 역학을 유지하는 데 종종 어려움을 겪는 반면, 다중 모달 대규모 언어 모델들은 예측 및 인과 관계 해석에서 제한된 성능을 보임을 확인했습니다. 이러한 관찰 결과는 현재 시스템들이 Physical AI의 인지 및 예측 요구 사항을 처리하는 데 여전히 초기 단계에 있음을 시사합니다. 요약하면, PAI-Bench는 Physical AI 평가를 위한 현실적인 기준을 마련하고 향후 시스템이 반드시 해결해야 할 핵심 격차를 부각시킵니다.

본 연구에서는 비디오 생성 모델이 시각 데이터만을 사용하여 인간 인지의 핵심 능력인 시공간적 지능을 나타낼 수 있는지 조사한다. 이를 위해 비디오 기반 장면 컨텍스트만으로 조건화된 비디오 확산 모델이 복잡한 공간 작업을 수행할 수 있음을 보여주는 Video4Spatial 프레임워크를 제안한다. 두 가지 작업으로 검증을 진행한다: 장면 네비게이션(3D 장면 기하구조와 일관성을 유지하며 카메라 포즈 지시를 따르기)과 객체 그라운딩(의미론적 위치 파악, 지시 따르기, 계획 수립이 필요). 두 작업 모두 깊이 또는 포즈와 같은 보조 양식을 사용하지 않고 오직 비디오만을 입력으로 사용한다. 프레임워크와 데이터 큐레이션에서 간단하지만 효과적인 설계 선택을 통해 Video4Spatial은 비디오 컨텍스트로부터 강력한 공간 이해 능력을 입증한다: 종단간 네비게이션 계획 및 대상 객체 그라운딩 수행, 공간 일관성을 유지하며 카메라 포즈 지시 따르기, 긴 컨텍스트 및 도메인 외 환경으로의 일반화가 가능하다. 이러한 결과를 종합하면, 비디오 생성 모델이 일반적인 시공간 추론 능력으로 나아가는 진전을 이룬다.

LLM/VLM 기반 AI 에이전트는 수학, 코딩, 컴퓨터 활용 분야에서 급속히 발전했지만, 복잡한 물리적·사회적 환경에서의 적용은 여전히 과제로 남아 있습니다. 현실 세계에서 생존하고 번성하는 에이전트(예: 수익을 자율적으로 창출하거나 비즈니스를 운영하는 에이전트)를 구축하기 위해서는 다양한 구체화 시나리오에서의 대규모 상호작용, 추론, 훈련 및 평가가 필요합니다. 그러나 이러한 개발을 위한 기존의 세계 시뮬레이터는 한계가 있습니다: 제한된 수작업 환경에 의존하고, 단순화된 게임 같은 물리 법칙과 사회 규칙을 시뮬레이션하며, LLM/VLM 에이전트에 대한 기본적인 지원이 부족합니다. 우리는 Unreal Engine 5 기반의 새로운 시뮬레이터인 SimWorld를 소개합니다. SimWorld는 풍부하고 현실 세계 같은 환경에서 LLM/VLM 에이전트를 개발하고 평가하기 위해 설계되었습니다. SimWorld는 세 가지 핵심 기능을 제공합니다: (1) 정확한 물리적·사회적 역학 및 언어 기반 절차적 환경 생성을 포함한 현실적이고 개방된 세계 시뮬레이션, (2) 다중 모드 세계 입력과 다양한 추상화 수준의 개방형 어휘 행동을 갖춘 LLM/VLM 에이전트용 풍부한 인터페이스, (3) 사용자가 쉽게 사용자 정의할 수 있는 다양하고 확장 가능한 물리적·사회적 추론 시나리오. 우리는 전략적 협력과 경쟁을 수반하는 장기적 다중 에이전트 배송 작업에 최첨단 LLM 에이전트(GPT-4o, Gemini-2.5-Flash, Claude-3.5, DeepSeek-Prover-V2 등)를 배포하여 SimWorld를 시연합니다. 결과는 모델별로 뚜렷한 추론 패턴과 한계를 보여줍니다. 우리는 SimWorld를 오픈소스로 공개하며, 이 것이 다양한 학문 분야에 걸쳐 현실 세계 에이전트 지능을 발전시키는 기반 플랫폼이 되기를 기대합니다: https://simworld.org.

사전 훈련된 시각-언어 모델(VLM)을 기반으로 구축된 Vision-Language-Action(VLA) 모델은 강력한 잠재력을 보여주지만, 방대한 매개변수로 인해 실용성이 제한됩니다. 이 문제를 완화하기 위해 경량화된 VLM 사용이 탐구되었으나, 이는 시공간적 추론 능력을 저하시킵니다. 추가적인 3D 입력 정보를 통합하면 도움이 될 수 있다는 방법들이 제안되었지만, 이러한 방법들은 대체로 3D와 2D 입력을 융합하기 위해 대규모 VLM에 의존하며 여전히 시간적 이해가 부족합니다. 따라서 본 연구에서는 설계 효율성을 유지하면서 4D 이해 능력을 갖춘 경량 모델을 강화하는 SwiftVLA 아키텍처를 제안합니다. 구체적으로, 우리의 접근 방식은 2D 이미지에서 4D 특징을 추출하는 시간적 캐시를 가진 사전 훈련된 4D 시각 지오메트리 변환기(Transformer)를 특징으로 합니다. 그런 다음 VLM이 2D 이미지와 4D 특징을 모두 효과적으로 활용할 수 있도록 하기 위해, 행동 생성에 필요한 통합된 표현을 생성하도록 미래 예측 목표로 훈련된 학습 가능한 토큰 집합인 Fusion Tokens를 도입합니다. 마지막으로, VLM에 입력되는 4D 데이터를 마스킹하고 VLA가 이를 재구성하도록 훈련시키는 마스크-재구성 전략을 도입합니다. 이를 통해 VLM이 효과적인 4D 표현을 학습하게 하며, 추론 단계에서 4D 브랜치를 최소한의 성능 저하만으로 제거할 수 있게 합니다. 실제 및 시뮬레이션 환경에서의 실험 결과, SwiftVLA는 경량 베이스라인 모델들을 능가하며 크기가 최대 7배 큰 VLA 모델들과 비슷한 성능을 보였습니다. 에지 디바이스에서 유사한 성능을 달성하면서도 처리 속도는 18배 빨라지고 메모리 사용량은 12배 줄어드는 결과를 보였습니다.

오디오 기반 아바타 비디오 생성 분야의 확산 모델이 긴 시퀀스에서 자연스러운 오디오-비디오 동기화 및 정체성 일관성을 달성하며 상당한 진전을 보였지만, 카메라 모션을 포함한 음악 공연 비디오 생성은 여전히 크게 탐구되지 않은 영역입니다. 본 논문에서는 음악 기반 장편 비디오 생성을 위한 최초의 캐스케이드 프레임워크인 YingVideo-MV를 제안합니다. 우리의 접근 방식은 오디오 의미 분석, 해석 가능한 샷 계획 모듈(MV-Director), 시간 인식 확산 트랜스포머 아키텍처, 그리고 장편 시퀀스 일관성 모델링을 통합하여 오디오 신호로부터 고품질 음악 공연 비디오의 자동 합성을 가능하게 합니다. 다양하고 고품질의 결과물 생성을 지원하기 위해 웹 데이터를 수집하여 대규모 Music-in-the-Wild 데이터셋을 구축하였습니다. 기존 장편 비디오 생성 방법들이 명시적인 카메라 모션 제어를 결여하고 있음을 확인하고, 카메라 포즈를 잠재 노이즈에 임베딩하는 카메라 어댑터 모듈을 도입했습니다. 또한 장편 시퀀스 추론 과정에서 클립 간 연속성을 강화하기 위해 오디오 임베딩을 기반으로 노이즈 제거 범위를 적응적으로 조절하는 시간 인식 동적 창 범위 전략을 제안합니다. 포괄적인 벤치마크 테스트를 통해 YingVideo-MV가 일관적이고 표현력豊かな 뮤직비디오 생성에서 탁월한 성능을 달성하며, 정밀한 음악-동작-카메라 동기화를 가능하게 함을 입증합니다. 더 많은 비디오는 프로젝트 페이지(https://giantailab.github.io/YingVideo-MV/)에서 확인할 수 있습니다.

고품질 텍스트 렌더링에 특화된 7B 규모의 텍스트-이미지 생성 모델인 Ovis-Image를 소개한다. 본 모델은 엄격한 컴퓨팅 자원 제약 아래에서도 효율적으로 운영되도록 설계되었다. 기존 Ovis-U1 프레임워크를 기반으로 구축된 Ovis-Image는 diffusion 기반 시각 디코더와 더욱 강력해진 Ovis 2.5 멀티모달 백본을 통합하였으며, 대규모 사전 학습과 세심하게 설계된 사후 정제를 결합한 텍스트 중심 학습 파이프라인을 활용한다. 컴팩트한 구조에도 불구하고, Ovis-Image는 Qwen-Image와 같은 상당히 큰 오픈 소스 모델들과 동등한 수준의 텍스트 렌더링 성능을 달성하며 Seedream, GPT4o와 같은 클로즈드 소스 시스템에 근접한 성과를 보인다. 중요한 것은 본 모델이 적절한 메모리를 갖춘 단일 고사양 GPU에서도 배포 가능하여, 최첨단 텍스트 렌더링 기술과 실제 적용 간의 격차를 줄여준다는 점이다. 우리의 결과는 강력한 멀티모달 백본과 텍스트에 집중한 신중하게 설계된 학습 방법을 결합하면, 과도하게 크거나 독점적인 모델에 의존하지 않으면서도 신뢰할 수 있는 양방향 텍스트 렌더링 성능을 달성할 수 있음을 시사한다.

분 단위 영상 생성은 세계 모델 개발을 위한 중요한 단계로, 현실적인 장면 연속성과 고급 AI 시뮬레이터의 기반을 제공합니다. 새롭게 부상하는 준자기회귀(블록 확산) 패러다임은 확산 모델과 자기회귀 모델의 장점을 통합하여 임의 길이의 영상 생성을 가능하게 하고 KV 캐싱 및 병렬 샘플링을 통해 추론 효율을 향상시킵니다. 그러나 여전히 두 가지 지속적인 과제에 직면해 있습니다: (i) KV 캐시로 인한 장기간 오차 누적과 (ii) 세분화된 장기 영상 벤치마크 및 일관성 인식 메트릭의 부재. 이러한 한계를 극복하기 위해 우리는 BlockVid를 제안합니다. 이는 의미 인식 희소 KV 캐시, Block Forcing이라는 효과적인 학습 전략, 그리고 오차 전파 감소와 시간적 일관성 향상을 위한 전용 청크 단위 노이즈 스케줄링 및 셔플링을 갖춘 새로운 블록 확산 프레임워크입니다. 또한 장기 일관성을 평가하는 새로운 메트릭을 갖춘 분 단위 영상을 위한 세분화된 벤치마크인 LV-Bench를 소개합니다. VBench와 LV-Bench에서의 광범위한 실험을 통해 BlockVid가 고품질의 일관된 분 단위 영상 생성에서 기존 방법들을 지속적으로 능가함을 입증했습니다. 특히 LV-Bench에서 VDE 주체성 기준으로 22.2%, VDE 선명도 기준으로 19.4%의 성능 향상을 최첨단 접근법 대비 달성했습니다. 프로젝트 웹사이트: https://ziplab.co/BlockVid. Inferix (코드): https://github.com/alibaba-damo-academy/Inferix.

오늘날 사람들은 콘서트, 스포츠 행사, 강연, 가족 모임, 생일 파티 등에 이르기까지 기억에 남는 순간들을 다양한 소비자용 카메라로 손쉽게 기록할 수 있습니다. 그러나 이러한 크로스 카메라(cross-camera) 스트림을 동기화하는 것은 여전히 어려운 과제로 남아 있습니다. 기존 방법들은 통제된 환경, 특정 대상, 수동 보정, 또는 고가의 하드웨어를 전제로 합니다. 본 논문에서는 다중 뷰 동역학(multi-view dynamics)에 기반한 최적화 프레임워크인 VisualSync를 제안합니다. 이는 자세가 지정되지 않고 비동기화된 비디오들을 밀리초 단위 정확도로 정렬합니다. 우리의 핵심 통찰은 두 대의 카메라에 동시에 보이는(co-visible) 모든 이동하는 3D 점은 적절히 동기화되면 에피폴라 제약(epipolar constraints)을 따른다는 것입니다. 이를 활용하기 위해 VisualSync는 상용 3D 재구성, 특징점 매칭(feature matching), 그리고 밀집 추적(dense tracking)을 활용하여 트랙렛(tracklets), 상대적 자세(relative poses), 그리고 크로스 뷰 대응점(cross-view correspondences)을 추출합니다. 그런 다음 에피폴라 오차(epipolar error)를 공동으로 최소화하여 각 카메라의 시간 오프셋(time offset)을 추정합니다. 다양하고 도전적인 4개의 데이터셋에 대한 실험 결과, VisualSync가 기준 방법들(baseline methods)을 능가하며 중간 동기화 오차(median synchronization error)가 50ms 미만에 달하는 것을 확인했습니다.

다중 시점 이미지로부터의 3D 재구성은 컴퓨터 비전의 핵심 과제입니다. 최근 순전파(feed-forward) 방식이 기존의 장면별 최적화 기법에 대한 효율적이고 강력한 대안으로 부상하고 있습니다. 그중에서도 Visual Geometry Grounding Transformer (VGGT)와 같은 최첨단 모델은 모든 이미지 토큰에 대한 완전한 자기 주의력(self-attention)을 활용하여 전역 관계를 포착합니다. 그러나 이 방식은 자기 주의력의 2차 복잡도와 긴 이미지 시퀀스에서 생성되는 방대한 토큰 수로 인해 확장성이 낮다는 단점이 있습니다. 본 연구에서는 디스크립터 기반 주의 메커니즘을 통해 이러한 병목 현상을 해결하는 효율적인 대안인 FlashVGGT를 소개합니다. FlashVGGT는 모든 토큰에 걸쳐 조밀한 전역 주의력을 적용하는 대신, 각 프레임의 공간 정보를 컴팩트한 디스크립터 토큰 집합으로 압축합니다. 그런 다음 전체 이미지 토큰 집합과 이보다 작은 디스크립터 집합 간의 교차 주의력(cross-attention)으로 전역 주의력을 계산하여 계산 오버헤드를 크게 줄입니다. 더욱이 디스크립터의 컴팩트함은 이전 청크에서 캐시된 디스크립터를 재사용하는 청크-재귀(chunk-recursive) 메커니즘을 통해 긴 시퀀스에 대한 온라인 추론을 가능하게 합니다. 실험 결과, FlashVGGT는 1,000장의 이미지에 대해 VGGT 대비 추론 시간을 단 9.3%로 줄이면서도 VGGT에 필적하는 재구성 정확도를 달성하였으며, 3,000장을 초과하는 시퀀스까지 효율적으로 확장되었습니다. 본 프로젝트 페이지는 https://wzpscott.github.io/flashvggt_page/에서 확인할 수 있습니다.

자동회귀(AR) 언어 모델과 확산 언어 모델(DLM)은 대규모 언어 모델의 두 가지 주요 패러다임을 구성합니다. 그러나 두 패러다임 모두 추론 능력이 부족한 한계를 지닙니다. 인간의 추론은 본질적으로 인과적 지식과 사고에 기반하는데, 이는 자연어에 반영되어 있습니다. 하지만 AR 패러다임에서는 언어가 다음 토큰 예측(엄격한 좌측에서 우측으로의 토큰 단위 순서)으로 모델링되는 반면, 자연어 자체는 더 유연한 인과 구조를 보입니다. DLM 패러다임에서는 어텐션 메커니즘이 완전 연결되어 있어 인과적 순서를 전적으로 무시합니다. 이러한 격차를 메우기 위해 우리는 **인과 개념 기반 확산 언어 모델(C^2DLM)**을 제안합니다. DLM의 완전 연결된 어텐션에서 출발하여, C^2DLM은 먼저 교사 모델로부터 개념 수준의 인과 그래프를 획득한 다음, 개념 간 인과 관계를 학습하도록 어텐션을 명시적으로 유도합니다. 인과 관계에 집중하고 인과 역전을 수반하는 어려운 하위 목표의 간섭을 피함으로써, C^2DLM은 COT-OrderPerturb 과제에서 약 3.2배의 학습 속도 향상과 함께 12%의 성능 향상을 보였으며, 6개의 하위 추론 과제에서 평균 1.31%의 성능 향상을 달성했습니다. 자세한 내용은 저장소 ~https://github.com/Kairong-Han/C-2-DLM{여기}를 참조하십시오.

마스크 확산 언어 모델(MDLM)은 최근 자기회귀 언어 모델(ARLM)의 유망한 대안으로 부상하며, 원칙적으로 더 균일한 문맥 활용을 가능하게 하는 잡음 제거 목표를 활용하고 있습니다. 본 연구에서는 MDLM의 문맥 이해 능력을 검토하고 두 가지 주요 한계를 발견했습니다. 첫째, 더 글로벌한 학습 목표와 양방향 어텐션 메커니즘에도 불구하고, MDLM은 ARLM과 유사하게 강한 지역성 편향을 보입니다: 성능은 입력 내 관련 정보의 위치에 매우 민감하여 원거리 문맥보다 인접한 문맥을 선호합니다. 둘째, 생성에 필요한 다수의 마스크 토큰을 추가하는 것이 문맥 이해를 현저히 저하시킬 수 있음을 보여줍니다. 체계적인 제거 실험을 통해 이러한 마스크들이 방해 요소로 작용하여 모델의 관련 정보 처리 능력을 감소시킨다는 사실을 확인했습니다. 이를 해결하기 위해, 우리는 예측이 추가된 마스크 수에 관계없이 불변하도록 유도하는 마스크 불가지론 손실 함수를 도입합니다. 이 목적 함수를 사용한 미세 조정은 마스크의 방해 효과를 크게 완화하여 MDLM의 견고성을 향상시킵니다. 전반적으로, 우리의 연구 결과는 현재 MDLM 학습 패러다임의 중요한 한계를 밝히고, 더 강력한 문맥 이해 능력을 가진 확산 기반 언어 모델 구축을 위한 실행 가능한 통찰력을 제공합니다.

에이전시 비전-언어 모델은 이미지 연산을 호출하여 "이미지로 생각"하도록 점차 훈련되고 있습니다. 그러나 우리는 최종 답변 정확도가 높을지라도 시각적 추론의 비신뢰성이 종종 숨겨져 있음을 보여줍니다. 모델은 관련 없는 영역에 도구를 사용하거나 도구 출력을 완전히 무시한 후에도 여전히 정답을 맞출 수 있습니다. 본 연구에서는 먼저 중간 시각 도구 출력(예: 크롭)이 실제로 질의된 증거를 포함하는지 측정하는 신뢰성 평가 프로토콜을 제안합니다. 이를 통해 최근의 시각 에이전트가 높은 최종 답변 정확도를 달성하지만 시각적 탐색 벤치마크에서 신뢰할 수 있는 도구 사용률은 낮다는 사실을 밝혀냅니다. 다음으로, 코드 기반 시각 에이전트인 CodeV와 Tool-Aware Policy Optimization(TAPO)으로 훈련된 방법을 소개합니다. TAPO는 사고 연쇄 토큰이 아닌 시각 도구의 입력과 출력에 직접 정의된 조밀한 보상으로 GRPO를 확장하는 프로세스 수준의 강화 학습 프레임워크로, 감독이 검증하기 쉽고 보상 해킹에 덜 취약합니다. CodeV는 시각 도구를 실행 가능한 Python 코드로 표현하며, TAPO는 질문과 도구 출력만을 기반으로 단계별 보상을 부여하여 필요적이고 증거와 일관된 도구 사용을 장려합니다. 2단계 SFT+RL 파이프라인에서 CodeV는 관련 시각 탐색 벤치마크에서 경쟁력 있거나 우수한 정확도를 달성하는 동시에 신뢰할 수 있는 도구 사용률을 크게 향상시켰습니다. 시각적 탐색을 넘어 CodeV는 다양한 다중 모달 추론 및 수학 벤치마크에서도 강력한 성능을 보여, 중간 도구 행동을 명시적으로 감독하는 것이 신뢰할 수 있는 에이전시 시각 추론 시스템 구축에 중요함을 시사합니다.

유클리드 기하학에서의 자동 정리 증명, 특히 국제수학올림피아드(IMO) 수준의 문제에 대한 증명은 인공지능 분야의 주요 과제이자 중요한 연구 초점으로 남아 있습니다. 본 논문에서는 신경망 기반 추론에 의존하지 않고 오로지 CPU만으로 실행되는 매우 효율적인 기하학 정리 증명 방법을 제시합니다. 우리의 초기 연구에 따르면, 단순한 무작위 보조점 추가 전략으로도 IMO에서 은메달 수준의 인간 성과를 달성할 수 있음을 보여줍니다. 이를 바탕으로 우리는 HAGeo를 제안합니다. 이는 기하학적 추론에서 보조 구도를 추가하기 위한 휴리스틱 기반 방법으로, IMO-30 벤치마크의 30개 문제 중 28개를 해결하여 금메달 수준의 성능을 달성하고 신경망 기반 접근법인 AlphaGeometry를 상당한 차이로 능가합니다. 우리의 방법과 기존 접근법을 보다 포괄적으로 평가하기 위해, 우리는 인간이 평가한 난이도를 가진 409개의 기하학 문제로 구성된 벤치마크인 HAGeo-409를 추가로 구축했습니다. 널리 사용되는 IMO-30과 비교할 때, 우리의 벤치마크는 더 큰 도전 과제를 제시하고 더 정밀한 평가를 제공함으로써 기하학 정리 증명 분야에 더 높은 기준을 설정합니다.

비디오 생성의 다음 발전 방향은 제로샷 추론 능력을 갖춘 모델 개발에 있으며, 여기서는 다양한 조건에서 정확한 물리적 결과 모델링을 위해 현실 세계의 과학 법칙 이해가 중요합니다. 그러나 기존 비디오 벤치마크는 물리 상식에 기반하여, 비디오 모델의 과학적 추론 능력에 대한 통찰력을 제한적으로 제공합니다. 본 논문에서는 비디오 모델의 학부 수준 과학 이해력을 평가하기 위해 설계된 벤치마크인 VideoScience-Bench를 소개합니다. 각 프롬프트는 올바른 현상을 생성하기 위해 여러 과학 개념에 걸친 이해와 추론을 요구하는 복합 과학 시나리오를 인코딩합니다. 이 벤치마크는 물리와 화학 분야의 14개 주제, 103개 개념을 아우르는 200개의 신중하게 선별된 프롬프트로 구성됩니다. 우리는 T2V와 I2V 설정에서 7개의 최첨단 비디오 모델에 대해 전문가 주석 평가를 다섯 가지 차원(프롬프트 일관성, 현상 적합성, 정확한 역동성, 불변성, 시공간적 연속성)에 걸쳐 수행합니다. VLM-as-a-Judge를 사용하여 비디오 생성을 평가한 결과, 인간 평가와 강한 상관관계를 관찰했습니다. 우리가 알고 있는 한, VideoScience-Bench는 비디오 모델을 단순 생성기가 아닌 추론자로 평가하는 최초의 벤치마크로서, 모델의 생성물이 기대되는 물리적, 화학적 현상과 일치하는 과학적 이해를 입증하도록 요구합니다. 우리의 데이터와 평가 코드는 https://github.com/hao-ai-lab/VideoScience에서 확인할 수 있습니다.

초상화 동영상 편집은 외모 변경, 표정 수정, 객체 추가 등 광범위한 수정 사항에 대해 유연하면서도 정밀한 제어가 필요한 어려운 작업입니다. 핵심적인 난제는 피사체의 원본 시간적 동작을 보존하는 것으로, 편집된 모든 프레임이 해당 원본 프레임과 정확하게 동기화되어야 합니다. 본 논문에서는 고품질의 시각적 수정을 달성하면서도 프레임 단위 정확한 동기화와 정체성 일관성을 유지하는 초상화 동영상 편집 방법인 Sync-LoRA를 제안합니다. 우리의 접근 방식은 이미지-비디오 확산 모델을 사용하며, 첫 번째 프레임을 수정하여 편집을 정의한 후 전체 시퀀스로 전파합니다. 정확한 동기화를 가능하게 하기 위해, 동일한 운동 궤적을 나타내지만 외관이 다른 짝을 이룬 동영상으로 컨텍스트 내 LoRA를 학습시킵니다. 이러한 짝은 동기화 기반 필터링 과정을 통해 가장 시간적으로 정렬된 예시만을 선별하여 자동으로 생성 및 관리됩니다. 이 학습 설정은 모델이 원본 동영상의 운동 신호와 편집된 첫 번째 프레임에서 도입된 시각적 변화를 결합하도록 가르칩니다. 간결하고 엄선된 동기화된 인물 초상 데이터셋으로 학습된 Sync-LoRA는 보지 못한 정체성과 다양한 편집(예: 외모 수정, 객체 추가, 배경 변경)에 대해 일반화되며, 포즈와 표정의 변화를 강건하게 처리합니다. 우리의 결과는 높은 시각적 충실도와 강력한 시간적 일관성을 보여주며, 편집 충실도와 정확한 운동 보존 사이의 견고한 균형을 달성합니다.

강력한 멀티모달 모델(GPT-4o, Nano Banana, Seedream 4.0 등)의 이미지 편집 기술이 빠르게 발전함에 따라, 대규모 고품질 학습 데이터의 부족과 다양한 편집 동작에서 모델 약점을 진단할 수 있는 포괄적 벤치마크의 미비로 인해 오픈소스 모델과 클로즈드소스 모델 간의 성능 격차가 확대되고 있습니다. 기존 데이터 구축 방법은 규모와 품질 간의 트레이드오프에 직면해 있습니다. 인간에 의한 주석 처리(Annotation)는 고품질이지만 확장성이 부족한 반면, 자동화 파이프라인은 오류 전파와 노이즈 문제를 겪습니다. 이를 해결하기 위해 우리는 다중 도구 체인을 종단간(End-to-End) 모델과 통합 사후 검증 단계로 대체하는 경량 데이터 파이프라인을 제안합니다. 확장 가능한 품질 관리를 위해, 효율적인 실패 감지(Failure Detection)와 지령문 재설명(Instruction Recaptioning)을 수행하는 7B 규모의 이중 작업 전문 모델인 Qwen-Verify를 학습했습니다. 이 파이프라인을 통해 다양한 기본 및 복잡한 편집 작업을 아우르는 1,000만 규모의 데이터셋인 UnicEdit-10M을 구축했습니다. 또한 기본 편집을 넘어 공간 및 지식 기반 추론 능력을 명시적으로 평가하는 일반 벤치마크인 UnicBench를 제안합니다. 세분화된 진단을 가능하게 하기 위해 비편집 영역 일관성(Non-edit Consistency)과 추론 정확도(Reasoning Accuracy) 같은 새로운 평가 지표를 도입했습니다. UnicBench를 통한 주류 모델들의 분석 결과, 이들의 한계를 밝혀내고 향후 연구를 위한 명확한 방향을 제시합니다.

대규모 시각 언어 모델의 급속한 발전에 따라 그래픽 사용자 인터페이스(GUI) 에이전트 과제의 초점은 단일 화면 작업에서 복잡한 화면 탐색 과제로 이동하고 있습니다. 그러나 PC 소프트웨어 및 모바일 앱과 같은 실제 GUI 환경은 복잡하고 독점적인 경우가 많아 에이전트 학습 및 평가에 필요한 포괄적인 환경 정보를 획득하기 어렵습니다. 이러한 한계는 에이전트 탐색 능력에 대한 체계적인 연구와 벤치마킹을 저해합니다. 이러한 한계를 해결하기 위해 우리는 GUI 에이전트 탐색 연구를 위한 시뮬레이션 환경 엔진인 GUI Exploration Lab을 소개합니다. 이 엔진은 화면, 아이콘, 탐색 그래프를 유연하게 정의하고 구성할 수 있을 뿐만 아니라 포괄적인 에이전트 학습 및 평가를 위한 환경 정보에 대한 완전한 접근을 제공합니다. 광범위한 실험을 통해 지도 미세 조정이 기초 지식의 효과적인 암기를 가능하게 하여 후속 학습에 중요한 토대를 제공함을 확인했습니다. 이를 바탕으로 단일 단계 강화 학습은 보이지 않은 시나리오에 대한 일반화 능력을 추가로 향상시킵니다. 마지막으로 다중 단계 강화 학습은 상호작용적인 시행착오를 통해 탐색 전략의 개발을 촉진하여 화면 탐색 성능을 더욱 개선합니다. 우리는 정적 및 상호작용 벤치마크 모두에서 우리의 방법을 검증하여 연구 결과가 실제 시나리오에 효과적으로 일반화됨을 입증합니다. 이러한 연구 결과는 GUI 탐색에서 강화 학습 접근법의 이점을 보여주며, 더 능력 있고 일반화 가능한 GUI 에이전트 구축을 위한 실용적인 지침을 제공합니다.

대규모 멀티모달 모델은 이해와 생성 분야 모두에서 놀라운 발전을 이루었습니다. 최근 연구들은 이질적인 구성 요소를 통합하여 단일 프레임워크 내에서 두 가지 능력을 모두 지원하는 통합 멀티모달 모델을 추구하고 있습니다. 그러나 이러한 통합은 추론 비효율성을 초래하는데, 예를 들어 특정 작업이나 샘플이 통합 모델의 전체 지식이나 역량을 필요로 하지 않을 수 있습니다. 하지만 이러한 비효율성이 다양한 구성 요소에서 어떻게 나타나는지에 대한 체계적인 이해는 여전히 부족합니다. 본 연구에서는 학습 없이 수행하는 프루닝을 탐색 방법론으로 활용하여 통합 멀티모달 모델 구성 요소의 체계적인 분석을 먼저 수행하며, 깊이 프루닝과 폭 축소를 모두 고려합니다. 우리의 연구 결과, 이해 구성 요소는 이해와 생성 작업 모두에서 현저한 압축 가능성을 보이며, 특히 생성 작업에서 더 두드러집니다. 반면 생성 구성 요소는 압축에 매우 민감하여 중간 정도의 압축률에서도 성능이 급격히 저하됩니다. 이러한 한계를 해결하기 위해 우리는 다양한 샘플에서 관찰된 동적 활성화 패턴에서 영감을 받은 Mixture-of-Experts(MoE) Adaptation을 제안합니다. 이 접근법은 생성 모듈을 여러 전문가로 분할하고 희소 활성화를 통해 생성 품질을 회복합니다. 우리는 전문가 동결 튜닝을 통해 희소 활성화의 효과를 검증하고, 완전히 학습 가능한 adaptation이 추가적인 성능 향상을 가져옴을 추가로 입증합니다. 그 결과, adaptation된 BAGEL 모델은 매개변수의 약 절반만 활성화하면서도 전체 모델에 버금가는 성능을 달성합니다. 코드는 https://github.com/Shwai-He/SparseUnifiedModel{해당 링크}에서 공개됩니다.

시각 인식 정책을 위한 최근의 강화학습 프레임워크는 자연어로 표현된 중간 추론 체인을 통합하기 시작했습니다. 실증적 관찰에 따르면, 이러한 순수하게 언어적인 중간 추론은 종종 인식 과제에서 성능을 저하시키는 것으로 나타납니다. 우리는 핵심 문제가 추론 자체가 아니라 추론의 형태에 있다고 주장합니다. 즉, 이러한 체인들이 구조화되지 않은 언어 공간에서 의미론적 추론을 수행하는 반면, 시각 인식은 공간적이고 객체 중심적인 공간에서의 추론을 필요로 합니다. 이에 대응하여 우리는 구조화된 제안 기반 추론을 수행하는 인식-정책 학습 프레임워크인 Artemis를 소개합니다. 여기서 각 중간 단계는 검증 가능한 시각적 상태를 포착하는 (레이블, 경계 상자) 쌍으로 표현됩니다. 이 설계는 중간 상태의 명시적 추적, 제안 품질에 대한 직접적 감독, 그리고 언어 기반 추론에서 발생하는 모호함을 피할 수 있게 합니다. Artemis는 Qwen2.5-VL-3B를 기반으로 구축되었으며, 그라운딩 및 탐지 과제에서 강력한 성능을 달성하고 계수 및 기하학적 인식 과제로의 상당한 일반화 능력을 보여줍니다. 이러한 다양한 설정에서의 일관된 성능 향상은 추론을 공간 표현과 일치시키는 것이 인식-정책 학습을 향상시킨다는 것을 확인해 줍니다. 강화된 시각 추론 능력 덕분에 Artemis는 일반 MLLM 벤치마크에서도 경쟁력 있는 성능을 달성하며, 공간적으로 근거된 추론이 확장 가능하고 일반적인 인식 정책을 위한 원칙적인 경로를 제공함을 보여줍니다.

교육의 세계화와 온라인 학습의 급속한 성장은 교육 콘텐츠의 현지화를 중요한 과제로 만들었습니다. 강의 자료는 본질적으로 음성 오디오와 시각적 슬라이드가 결합된 멀티모달 특성을 지니며, 이는 여러 입력 양식을 처리할 수 있는 시스템을 필요로 합니다. 접근성이 높고 완전한 학습 경험을 제공하기 위해서는 번역이 모든 양식을 보존해야 합니다: 읽기를 위한 텍스트, 시각적 이해를 위한 슬라이드, 청각 학습을 위한 음성. 본 논문에서는 강의 오디오와 슬라이드를 함께 번역하여 번역된 텍스트, 시각적 요소가 보존된 현지화된 슬라이드, 합성 음성이라는 세 가지 양식에서 동기화된 출력을 생성하는 멀티모달 다국어 강의 동반자 BOOM을 소개합니다. 이러한 종단간 접근 방식은 학생들이 모국어로 강의에 접근할 수 있도록 하면서 원본 콘텐츠의 전체성을 보존하는 것을 목표로 합니다. 우리의 실험은 슬라이드 인식 성적록이 요약 및 질의응답과 같은 다운스트림 작업에 연쇄적인 이점을 제공함을 보여줍니다. 우리는 슬라이드 번역 코드를 https://github.com/saikoneru/image-translator 에 공개하고 이를 Lecture Translator에 https://gitlab.kit.edu/kit/isl-ai4lt/lt-middleware/ltpipeline 에 통합했습니다\footnote{공개된 모든 코드와 모델은 MIT 라이선스 하에 있습니다.}.

최첨단 비디오 장면 그래프 생성(VSGG) 시스템은 구조화된 시각적 이해를 제공하지만 인간의 지도를 수용할 수 없는 폐쇄적 순방향 파이프라인으로 운영됩니다. 이에 반해 SAM2와 같은 프롬프트 가능 분할 모델은 정밀한 사용자 상호작용을 가능하게 하지만 의미론적 또는 관계적 추론 능력이 부족합니다. 본 연구에서는 시각적 프롬프팅과 공간적, 시간적, 의미론적 이해를 통합한 최초의 대화형 범위주시 비디오 장면 그래프 생성(PVSG) 프레임워크인 Click2Graph를 소개합니다. 클릭이나 바운딩 박스와 같은 단일 사용자 큐를 기반으로 Click2Graph는 시간에 걸쳐 대상을 분할 및 추적하고, 상호작용 객체를 자율적으로 발견하며, <주어, 객체, 서술어> 삼중항을 예측하여 시간적으로 일관된 장면 그래프를 형성합니다. 본 프레임워크는 주체 조건부 객체 프롬프트를 생성하는 동적 상호작용 발견 모듈과 결합된 엔티티 및 서술어 추론을 수행하는 의미론적 분류 헤드라는 두 가지 핵심 구성 요소를 도입합니다. OpenPVSG 벤치마크에서의 실험을 통해 Click2Graph가 사용자 주도 PVSG를 위한 강력한 기반을 구축함을 입증하며, 인간의 프롬프팅이 범위주시 기반 및 관계 추론과 결합되어 제어 가능하고 해석 가능한 비디오 장면 이해를 가능하게 하는 방식을 보여줍니다.