일간 논문

검증 가능한 보상 기반 강화 학습(RLVR)은 언어 모델 추론을 향상시키는 강력한 방법이지만, 새로운 강력한 모델마다 반복 적용하기에는 비용이 많이 든다. 훈련 중 목표 모델이 많은 롤아웃을 생성해야 하기 때문이다. 모델 규모가 커짐에 따라 사후 훈련 자체가 병목 현상이 된다. 본 연구에서는 약-강 전이(weak-to-strong) 대안을 탐구한다: 롤아웃 비용이 더 저렴한 소형 모델에서 강화 학습을 수행한 후, 해당 강화 학습에서 얻은 지식을 재사용하여 더 강력한 목표 모델을 개선하는 것이다. 강화 학습 후의 약한 교사 모델을 직접 증류하는 것만으로는 충분하지 않다. 교사 모델의 최종 정책은 유용한 강화 학습 이득과 소형 모델의 한계가 혼합되어 있기 때문이다. 본 논문에서는 직접 정책 기반 증류(Direct On-Policy Distillation, Direct-OPD)를 제안한다. 이 방법은 교사 모델의 강화 학습 유도 정책 변화를 전이한다. Direct-OPD는 강화 학습 후의 교사 모델을 강화 학습 전의 동일 모델 기준과 비교하여, 그 로그 비율을 학생 모델을 위한 밀집 내재적 보상으로 활용한다. 쉽게 말해, 모델 쌍은 강화 학습이 약한 모델로 하여금 어떤 행동을 더 또는 덜 취하게 했는지를 알려주며, Direct-OPD는 이 신호를 강한 학생 모델의 자체 정책 기반 상태에 적용한다. 이는 약한 모델의 강화 학습 감독 신호를 직접 재사용하여, 목표 모델에 희소 보상 강화 학습을 수행할 필요를 없앤다. 실험적으로, Direct-OPD는 약한 교사 모델을 활용하여 강한 목표 모델을 일관되게 개선한다. 특히, AIME 2024에서 Qwen3-1.7B의 성능을 48.3%에서 58.3%로 향상시켰으며, 8대의 A100 GPU에서 단 4시간 만에 달성했다. 이는 단계별 직접 강화 학습보다 우수하며, 여러 정책 변화의 순차적 구성을 가능하게 한다. 본 결과는 강화 학습의 결과를 모방할 최종 모델이 아닌 내재적 보상 신호로서 모델 규모 간에 재사용할 수 있음을 보여준다.

비주얼 언어 내비게이션 기반 모델은 다양한 내장형 작업에 대한 폭넓은 범용성과 함께 근거 기반 공간 결정을 위한 심층 추론을 통합하는 것을 목표로 한다. 현재 접근법은 일반적으로 관찰을 직접 행동에 매핑하는 모놀리식 정책을 통해 이러한 통합을 달성하지만, 종종 좌표 표류와 긴 꼬리(long-tail) 의미론 처리의 부족으로 어려움을 겪는다. 더욱이 이러한 블랙박스 매핑은 해석 가능성이 부족하여 일반성, 강건성 및 투명성을 동시에 달성하는 것을 방해한다. 우리는 이러한 문제를 이중 시각-언어 신호에 의해 안내되는 느림-빠름(slow-fast) 아키텍처를 통해 인지와 제어를 분리함으로써 해결하는, 일반적인 비주얼 언어 내비게이션 기반 모델을 향한 한 걸음인 ABot-N1을 제시한다. 보다 구체적으로, 느린 시각-언어 추론기는 픽셀 목표를 생성하면서 명시적 사고 연쇄(Chain-of-Thought) 추론을 수행한다. 이 이미지 공간 앵커 포인트의 간결한 집합은 점-목표, 객체-목표, 관심 지점-목표, 지시 따르기 및 사람 따라가기를 포함한 다양한 작업을 위한 보편적 인터페이스 역할을 한다. 이후 빠른 행동 전문가는 텍스트 단서와 픽셀 안내를 모두 활용하여 고유 제어 주파수에서 연속적인 경유지를 생성한다. 픽셀 기반 앵커를 명시적 언어 추적과 결합하여 높은 수준의 의도와 낮은 수준의 제어를 연결함으로써, 우리의 접근 방식은 시뮬레이션 및 실제 환경 벤치마크 전반에서 강건하고 일반화 가능하며 해석 가능한 내비게이션을 보장한다. ABot-N1은 새로운 최첨단 기록을 수립하며, 특히 도시 규모 내비게이션에서 큰 성능 향상을 제공한다: 관심 지점 도착률을 35.0% 향상시켜 77.3%에 도달하고, 복잡한 실내 및 실외 장면에서 각각 95.4%와 92.9%의 성공률을 달성한다. 또한 객체 도달, 사람 따라가기 및 지시 따르기 작업 전반에 걸쳐 우수한 강건성을 유지한다. 도시 규모 내비게이션 분야의 발전을 위해 새로운 점-목표 및 관심 지점-목표 벤치마크를 오픈소스로 공개한다.

최근 VLM 및 VLA 시스템은 로봇의 인지 및 행동 예측 능력을 향상시켰지만, 장기적 행동을 수행하는 내장형 에이전트는 여전히 추론, 메모리, 도구 사용, 검증 및 교차 개체 실행을 위한 일반 런타임 계층을 필요로 합니다. 본 논문에서는 저수준 제어기 위에 위치하며 장면 조건부 계획, 맥락 분리형 기술 실행, 다단계 검증, 다중 모달 메모리, 에지-클라우드 협업을 위한 숙고형 에이전트 계층을 제공하는 일반 로봇 에이전트 운영체제인 ABot-AgentOS를 제시합니다. 이러한 시스템을 평가하기 위해, 16개의 실내, 실외 및 혼합 장면, 4개의 난이도 수준, 그리고 탐색, 객체 탐색, NPC 대화, 동적 이벤트 및 트레이스 기반 점수화를 포함한 200개 이상의 태스크로 구성된 실행 가능한 벤치마크인 EmbodiedWorldBench를 소개합니다. ABot-AgentOS는 또한 대화, 시각적 관찰, 공간적 맥락, 시간적 관계 및 태스크 트레이스를 유형화된 노드와 엣지로 변환하는 지속적인 소스 기반 기질(substrate)인 범용 다중 모달 그래프 메모리(Universal Multi-modal Graph Memory)를 도입합니다. 오류 기반 자가 진화 루프는 진단된 메모리 오류를 게이트된 런타임 진화 자산(gated runtime evo-assets)으로 변환하여, 이후 평가 분할에서만 승격시킴으로써 현재 분할의 정답 유출을 방지하면서 지속적 개선을 가능하게 합니다. EmbodiedWorldBench 초기 하위 집합에서 ABot-AgentOS는 단일 컨트롤러 기준선 대비 태스크 성공률과 목표 완료율 모두에서 향상된 성능을 보였습니다. 메모리 벤치마크 전반에서 ABot-AgentOS Static은 LoCoMo에서 87.5, OpenEQA EM-EQA에서 59.9, Mem-Gallery에서 88.6, NExT-QA에서 76.5의 Acc@All을 달성했으며, 자가 진화를 통해 LoCoMo는 88.7, OpenEQA는 60.4, Mem-Gallery는 89.0으로 추가 향상되었습니다. 이러한 결과는 일반 에이전트 OS 계층이 지속적 상호작용을 위한 영구적이고 감사 가능한 메모리를 제공하면서 장기적 내장형 실행을 개선할 수 있음을 시사합니다.

기존의 동적 인간 퍼포먼스 체적 캡처 기술은 밀집된 카메라 배열을 통해 높은 정확도를 달성합니다. 그러나 실제 환경에서는 중첩이 낮은 소수의 카메라만 사용 가능하여 출력 품질이 저하되고 넓은 영역이 관측되지 않은 상태로 남습니다. 최근의 4D 재구성 방법은 저중첩 환경에 초점을 맞추고 있지만, 관측이 부족한 영역에서 여전히 눈에 띄는 인공물이 발생합니다. 비디오 확산 모델이 또 다른 대안으로 부상했으나, 인간에 대해서는 기하학적으로 일관성 없는 결과를 보여줍니다. 이러한 한계를 극복하기 위해, 우리는 배경과 인간을 분리하여 희소하고 중첩이 낮은 카메라로부터 4D 인간 장면을 재구성하는 파이프라인인 StudioRecon을 제안합니다. 비디오 확산 모델을 사용하여 수백 개의 카메라 제어 가능한 새로운 시점을 합성함으로써 배경 감독을 밀집화합니다. 또한, 시점 간 신원 연관 및 삼각 측정 기반 다중 시점 키포인트 피팅을 통해 변형 가능한 가우시안 휴먼을 강건하게 초기화합니다. 마지막으로, 움직임 적응 일관성 주입을 갖춘 재귀적 향상 모듈이 구성된 출력을 조화시켜 남아 있는 인공물을 추가로 방지합니다. 우리는 네 개의 실제 데이터셋에서 최첨단 새로운 시점 합성 성능을 달성했으며, 새로운 궤적 렌더링 및 인간 대체와 같은 응용을 시연합니다.

모바일 및 웨어러블 기기의 개인 AI 어시스턴트는 시각 및 오디오 스트림을 통해 사용자의 일상을 지속적으로 인지합니다. 그러나 과거 경험에 대한 질문에 답변하려면 장기 경험을 지속적으로 축적, 구성 및 검색할 수 있는 경량 멀티모달 메모리가 필요하지만, 이는 여전히 어려운 과제입니다. 이러한 과제를 해결하기 위해, 우리는 일상생활 지원을 위한 경량 스트리밍 멀티모달 메모리 시스템인 LightMem-Ego를 제시합니다. 이 시스템은 자기중심적 시각 및 오디오 스트림을 지속적으로 캡처하여 공유 타임라인에 정렬하고, 현재 메모리, 단기 메모리, 장기 메모리로 구성된 계층적 메모리로 구성합니다. 사용자 질의가 주어지면 LightMem-Ego는 적절한 메모리 수준으로 검색을 동적으로 라우팅하고 멀티모달 증거에 기반한 답변을 생성합니다. 이 데모는 스마트폰과 AI 안경에 배포 가능하며, 물체 찾기, 대화 회상, 생활 요약, 일상 발견, 맞춤형 지원을 지원합니다. 코드는 https://github.com/zjunlp/LightMem-Ego에서 확인할 수 있습니다.

대규모 언어 모델(LLM)은 고등학교 및 올림피아드 수준의 수학에서 놀라운 성능을 보여주었으나, 고급 수학에서의 능력은 여전히 제대로 이해되지 않고 있다. 그러나 기존 벤치마크는 범위와 평가 세분성 모두에서 부족하다: 제한된 학문 영역만을 다루고 있으며, 종종 최종 정답 정확성이나 대략적인 판단에 의존하여 추론 과정의 타당성을 충분히 평가하지 못한다. 이러한 격차를 해소하기 위해, 우리는 AdvancedMathBench를 소개한다. 이는 고급 수학적 추론 능력을 평가하기 위해 설계된 벤치마크 제품군이다. 핵심 증명 생성 벤치마크인 ProverBench는 학부 및 박사 자격 시험 수준에 걸친 296개의 문제를 포함한다. 증명에 대한 신뢰할 수 있는 평가를 제공하기 위해, 우리는 대규모 전문가 주석에 대해 학습된 전용 자동 검증 파이프라인을 개발하여, 정확성 판정과 증명 오류에 대한 세분화된 평가를 모두 산출하며, 유보된 증명 궤적에 대해 인간 전문가와 높은 일치도를 보인다. 또한, 모델이 증명 타당성을 올바르게 판단하고 타당한 검증 근거를 제시할 수 있는지 평가하기 위해, VerifierBench를 소개한다. 이는 888개의 모델 생성 증명 궤적과 전문가 참값으로 구성된다. 실험 결과, AdvancedMathBench는 최첨단 모델에게 여전히 어려운 과제임을 보여준다. 증명 생성에서 최고 성능 모델인 GPT-5.5-xhigh는 UGD와 QE 분할에서 각각 75.8과 66.1의 성능을 기록하여, 고급 수학 증명 구성에 상당한 개선 여지가 있음을 시사한다. 증명 검증에서는 최고 모델이 균형 F1 65.1에 그쳤으며, 모델들은 일반적으로 낮은 진짜 음성 비율을 보여, 중대한 오류 탐지가 여전히 주요 병목으로 남아 있음을 나타낸다.

메타인지는 효과적인 학습, 문제 해결, 의사 결정, 의사소통 등에 중요한 지능의 기본 구성 요소이다. 최근 몇 년간 이는 유능하고 투명한 AI 시스템의 핵심 요소로 점차 인식되고 있다. 그러나 LLM이 다양한 실제 작업에서 상당한 진전을 이루었음에도 불구하고, LLM이 효과적인 메타인지 능력을 언제, 어떻게, 또는 어느 정도까지 나타내거나 부여받을 수 있는지, 그리고 그러한 능력이 AI 시스템의 근본적인 능력, 신뢰성 및 지능을 향상시키기 위해 어떻게 활용될 수 있는지는 아직 명확하지 않다. 본 논문은 LLM을 위한 메타인지에 관한 현재 지식 상태에 대한 최초의 포괄적인 개요를 제시함으로써 이러한 격차를 해소한다. 우리는 이 신흥 분야의 지형을 분석하고 분류하며, LLM의 메타인지 능력을 측정하고 평가하기 위한 방법과 벤치마크, LLM에서 메타인지를 이끌어내고 개선하며 적용하기 위한 기술, 그리고 진행 중인 연구의 결과와 시사점을 포함한 최근 기술적 발전을 요약한다. 또한 응용 분야, 미해결 과제와 도전, 그리고 향후 연구를 위한 유망한 방향에 대해서도 논의한다. 우리의 목표는 이 주제에 대한 상세하고 최신의 리뷰를 제공하고 의미 있는 연구와 논의를 촉진하는 것이다. 체계적으로 정리된 논문 목록은 https://github.com/yale-nlp/LLM-Metacognition에서 확인할 수 있다.

조종 가능성은 범용 로봇 정책의 핵심 능력이지만, 대규모의 언어 정렬 및 행동 정확한 시연 데이터가 부족하여 정교한 손 시스템에서는 대부분 결여되어 있다. 이 병목 현상을 해결하기 위해, 우리는 자아 중심 인간 비디오로부터 정교한 VLA 사전 훈련을 확장하고 데이터 효율적인 실제 로봇 사후 훈련을 가능하게 하는 풀스택 시스템을 제시한다. 이 시스템은 EgoSmith(실제 환경의 자아 중심 비디오를 9.6K 시간의 고품질 사전 훈련 데이터로 큐레이션하며, 이전 최고 성능보다 9배 높은 처리량과 더 나은 정확도를 제공하는 데이터 파이프라인), 원격 조작 및 인간-루프 내 수정을 위한 통합 로봇 스택, 그리고 최적화된 인프라에서 훈련된 세계 모델 강화 VLA인 EgoSteer를 통합한다. 인간 데이터 사전 훈련은 EgoSteer에 언어 유도 조작 사전 지식을 제공하며, 이는 로봇 사후 훈련을 통해 기반화되고 DAgger 개선을 통해 향상된다. 실험적으로, EgoSteer는 40개 이상의 다양한 작업에서 자유 형식 명령을 강건하게 실행하며, 오류 복구, 정교함 및 일반화를 입증한다. 사전 훈련된 모델은 또한 복잡한 장기적 작업(박스 접기 포함)에 대해 두 가지 구현체에서 75% 이상의 성공률로 소수 샷 적응을 수행한다. 우리는 시스템, 데이터 및 모델을 https://egosteer.github.io/에서 오픈소스로 공개한다.

사후 학습은 대규모 언어 모델(LLM)의 도메인 특화 능력을 정제하는 데 필수적이지만, 기존의 보상 최적화 및 분포 매칭 방법은 정책 탐색과 분포 정렬을 밀접하게 결합한다. 이러한 결합은 정책 모델에 직접 비용이 많이 드는 탐색을 강요하며, 최적화 신호의 비동기 생성, 재사용 및 교차 모델 전송을 심각하게 방해한다. 본 논문에서는 업데이트 신호 탐색과 분포 정렬을 근본적으로 분리하는 새로운 사후 학습 프레임워크인 프록시 유도 업데이트 신호 전송(PUST)을 제안한다. 비용이 많이 드는 탐색에 주 모델을 활용하는 대신, PUST는 경량 프록시 모델을 효율적인 테스트베드로 사용하여 높은 보상을 얻는 행동을 발견한다. 프록시의 초기 상태와 최적화된 상태 간의 상대적 개선 신호를 추출하고, 이 방향성 업데이트를 주 모델에 전송하여 정책 정렬을 안내한다. 프록시 탐색, 업데이트 신호 추출, 신호 전송으로 구성된 이 분리된 파이프라인은 계산 오버헤드를 크게 줄이고 최적화 신호를 비동기적으로 생성, 캐싱 및 재사용할 수 있게 한다. 결정적으로, 절대적 정책 분포가 아닌 상대적 개선을 전송함으로써 PUST는 약-강 개선 및 원활한 교차 모델 전송을 자연스럽게 지원한다. 수학 및 코드 도메인에서 Qwen3 계열 모델에 대한 체계적 평가는 상당히 약한 프록시에서 추출된 업데이트 신호가 더 강한 주 모델을 강건하고 조정 가능하게 향상시킬 수 있음을 보여준다. 궁극적으로 PUST는 사후 학습을 단일 온라인 최적화 프로세스에서 매우 모듈화되고 재사용 가능하며 비용 효율적인 패러다임으로 변환한다.

다중 에이전트 시스템에서 신뢰할 수 있는 자율성을 위해 탐색은 필수적이지만, 대규모 언어 모델(LLM) 에이전트들이 서로 상호작용할 때 효과적으로 탐색할 수 있는지 여부는 여전히 불분명하다. 우리는 현대 LLM 에이전트들이 그렇게 하지 못하며, 종종 근시안적이고 양극화된 상호작용 패턴을 보여 차선의 조정과 증가된 후회로 이어짐을 보인다. 이 과제를 다중 에이전트 탐색 문제로 공식화하고, 에이전트들이 동료의 능력을 추론하고 효과적인 상호작용 전략을 식별하기 위해 탐색해야 하는 부분 관찰 확률적 게임(POSG) 문제로 모델링한다. 이를 해결하기 위해, 구조화된 동료 선택을 통해 탐색을 명시적으로 촉진하는 경량 프레임워크인 다중 에이전트 맥락적 탐색(MACE)을 도입한다. 맥락적 다양성과 파라미터 다양성 설정 모두에서 MACE는 탐색 행동과 하위 작업 성능을 실질적으로 개선한다. 또한 이론적으로 에이전트 다양성이 증가할수록 탐색의 가치가 높아짐을 보인다. 전반적으로, 우리의 결과는 현재 LLM 에이전트의 근본적 한계를 강조하며, 신뢰할 수 있는 다중 에이전트 자율성을 위해 명시적으로 유도된 탐색의 중요성을 강조한다. 코드는 https://github.com/deeplearning-wisc/mace에서 공개될 예정이다.

복합 인지 기능이 인공 시스템 내에서 어떻게 조직화되는지 이해하는 것은 대규모 언어 모델(LLM)을 해석하고 이를 생물학적 인지와 연결 짓는 데 핵심적이다. 그러나 LLM이 광범위한 인지 유사 행동을 보임에도 불구하고, 내부 표상이 행동, 오류 및 인간 인지와의 연관성을 설명하는 재현 가능한 기능 시스템을 형성하는지는 여전히 불분명하다. 본 연구에서 우리는 NeuroCogMap을 제시한다. 이는 인지 신경과학에서 영감을 받은 프레임워크로, LLM의 내부 특징을 기능적 구획으로 조직하고 이를 해석 가능한 기능, 인지 능력 및 인지 계층 구조와 연결한다. 이러한 구획들은 안정적이고 의미론적으로 일관된 조직을 형성하며, 모델 간에 부분적으로 보존되고 모델 출력과 기능적으로 연결된다. 이 조직 내에서, 환각, 편향, 거부 실패 및 아첨 행동을 포함한 주요 LLM 오류는 표상 및 행동 제어 시스템에서 뚜렷한 교란에 해당하며, 이는 메커니즘 기반 탐지 및 표적 개입을 위한 내부 신호를 제공한다. 모델 행동을 넘어, NeuroCogMap은 자연스러운 언어 이해 동안 인간 피질 반응의 예측을 개선하며, 특히 고차 연합 피질에서 가장 강한 상응 관계를 보인다. 인지 수준에서, 그 내부 신호는 인간 의사 결정에 대한 고전적 모델의 개선을 안내하는 잠재적 전략을 드러낸다. 이러한 발견들은 종합적으로 NeuroCogMap을 인공 시스템의 기능적 조직을 매핑하고 이 조직을 인간 피질 기능 및 인지 행동과 연결 짓는 시스템 수준의 프레임워크로 확립한다.

언어 모델은 다양한 언어 및 문화적 맥락에서 도덕적 의사 결정에 점점 더 많이 활용되고 있지만, 기존 연구는 다음 세 가지 측면에서 다국어성을 간과하고 있다: 1) 다국어 평가 벤치마크는 직접 번역에 의존하여 문화 특화 항목을 적응시키지 못한다; 2) 도덕적 추론을 위한 추론 시 방법은 정적인 영어 중심의 스캐폴드(틀)에 의존하며 도덕 이론에 기반하지 않는다; 3) 도덕적 의사 결정을 위한 훈련 방법은 일반적으로 더 강력한 모델이나 인간 주석자로부터의 값비싼 감독을 필요로 한다. 우리는 세 가지 기여를 통해 이러한 격차를 해결한다. 첫째, 언어 전반에 걸쳐 문화적으로 자리 잡은 도덕적 직관과 사회적 규범을 포착하기 위해 다국어 도덕적 의사 결정 벤치마크인 MCLASH를 도입한다. 둘째, 심리학과 철학에서 추출된 전문가 선별, 이론 기반 근거 위에 구축된 두 단계 프롬프팅 기법인 MET(다국어 이론 기반 윤리 추론)를 제안한다: 모델은 먼저 상황 및 문화 특화 근거를 선택한 후, 사용자의 모국어로 이에 대해 추론한다. 셋째, 외부 감독이 필요 없는 자기 증류(self-distillation) 훈련 단계를 통해 두 번째 단계를 강화하는 MET-D(MET-증류)를 도입한다. MET-D는 세 가지 서로 다른 크기와 계열의 모델(Qwen3-4B, Qwen3-8B, Gemma3-4B) 모두에서 기본 모델 대비 거시 F1(macro-F1)을 평균 3.71점(MCLASH) 및 4.23점(MMoralExceptQA) 향상시켰으며, Qwen3-8B에서 말레이어의 경우 MCLASH에서 최대 12.94점의 향상을 보였다. 나아가 MET-D가 모국어 추론을 평균 62.13점 증가시키며, 유익한 근거가 문화에 따라 체계적으로 다르다는 점을 밝힌다. 이러한 기여들은 함께 문화에 부합하고 이론에 기반한 다국어 도덕적 추론을 위한 길을 열어준다.

가상 착용(VTO) 기술은 목표 인물에게 의상을 사실적으로 전이하는 데 있어 상당한 진전을 이루었다. 그러나 대부분의 시스템은 사용자가 의상을 어떻게 착용할지, 즉 사이즈(헐렁함 또는 딱 맞음), 스타일(예: 안에 넣거나 빼기, 열거나 닫기), 신체 위 공간적 배치를 제어할 수 있는 권한을 거의 제공하지 않는다. 본 연구는 두 가지 상호 보완적 기여를 통해 이러한 격차를 해소한다. 첫째, VIP-SAM을 통한 시각적 인스턴스 프롬프트 분할(Visual-Instance-Prompt Segmentation)을 정의하고 해결한다. 주어진 의류의 평면 이미지(flatlay)를 바탕으로, 해당 의류를 착용한 인물 사진에서 특정 인스턴스를 분할하는 것이다. 이는 일반적으로 연구되는 범주 수준의 분할과는 구별되는 인스턴스 수준 작업이다. 둘째, CtrlVTON을 소개한다. 이는 제어 가능한 VTO 프레임워크로, 착용 시도를 이미지 편집 문제로 재구성하고, 분할 마스크를 의상 레이아웃(스타일, 사이즈, 신체 위 공간적 배치 포함)에 대한 픽셀 수준의 제어 요소로 추가한다. VIP-SAM과 CtrlVTON은 각각의 작업에서 최첨단 결과를 달성한다. 특히 CtrlVTON은 가장 강력한 독점 편집 시스템보다 사용자가 제공한 레이아웃을 훨씬 더 충실히 따르는 이미지를 생성하면서, 의류 충실도에서는 이들과 동등한 성능을 보인다.

최근의 기반 이미지 및 비디오 생성 모델은 강력한 일반화와 제어 가능성을 제공하지만, 다중 뷰 일관성, 기하학적 일관성, 로봇 체화 제약 조건에 대한 요구로 인해 체화된 시나리오에 직접 적용하는 데 제한이 있습니다. 기존 방법들은 일반적으로 제한된 로봇 데이터로 기반 모델을 적응시키며, 대규모 사전 학습 중에 획득한 시각적 지식을 종종 희생합니다. 우리는 통합 체화 합성을 위한 380억 개의 매개변수를 가진 다중 모드 자기회귀 모델인 Xiaomi-Robotics-U0를 제시합니다. 이 모델은 체화 생성을 기반 이미지 및 비디오 생성의 확장으로 간주하고, 텍스트-이미지 생성, 이미지 편집, 체화 장면 생성, 체화 전이, 체화 비디오 생성을 공동으로 최적화합니다. 이 통합 프레임워크는 사전 학습된 세계 기반 모델의 일반화를 보존하면서 체화 환경에 적응시킵니다. Xiaomi-Robotics-U0는 여러 로봇 체화에 걸쳐 고품질 다중 뷰 장면 생성을 지원하고, 다중 뷰 일관성과 상호작용 역학을 보존하면서 세밀한 편집을 위한 구조화되고 제어 가능한 체화 전이를 도입한 최초의 모델입니다. 이 모델은 단일 단계 및 순차 생성 작업에서 최첨단 결과를 달성하여, 체화 장면 생성 및 전이에 대한 인간 평가에서 GPT-Image-2.0을 능가하고, 체화 비디오 생성에 대한 World Arena에서 1위를 차지했으며, 까다로운 실제 조작 작업에서 pi_0.5의 분포 외 성공률을 36.9%에서 63.2%로 향상시켰습니다. 이러한 결과는 기반 세계 모델이 체화된 세계 모델이자 체화 지능을 위한 확장 가능한 데이터 엔진으로 기능할 수 있음을 보여줍니다. 코드와 체크포인트는 https://robotics.xiaomi.com/xiaomi-robotics-u0.html에서 확인할 수 있습니다.

사람의 얼굴 생성 및 편집은 높은 정밀도를 요구한다. 사소한 수정조차도 대상의 인식된 정체성을 크게 바꿀 수 있기 때문이다. 그러나 일반 목적의 텍스트-이미지 모델 기반의 현재 개인화 및 편집 방법은 세밀한 얼굴 편집에 필요한 정밀도가 부족한 경우가 많다. 본 논문에서는 텍스트-이미지 개인화 모델에서 세밀한 정체성 튜닝 방법을 제시한다. 주어진 이미지에 대해 작동하는 표준 이미지 편집과 달리, 정체성 튜닝은 특정 정체성의 잠재 표현을 수정하여 동일한 편집된 정체성을 일관되게 묘사하는 다양한 이미지 생성을 가능하게 한다. 세밀한 잠재 정체성 튜닝을 가능하게 하기 위해, 텍스트-이미지 개인화를 위해 사전 훈련되고 고정된 인코더의 잠재 공간을 탐색한다. 우리의 접근 방식은 추가 훈련이 필요하지 않다. 대신, 고정된 인코더의 기존 아키텍처를 활용하여 잠재 의미 방향을 발견한다. 이 공간은 정체성의 다양한 측면을 포착하는 데 뚜렷한 역할을 하며 종종 특정 공간적 또는 의미적 얼굴 영역에 해당하는 잠재 토큰 집합으로 구성된다. 우리는 이 공간 내에서 그리고 선택된 토큰에 의해 정의된 부분 공간 내에서 의미 있는 방향을 식별할 수 있음을 보여주며, 이를 통해 국소적이고 세밀하며 의미적으로 일관된 편집이 가능하다. 우리는 이미지 간 정체성 일관성을 유지하면서 다양한 국소적 얼굴 편집을 입증하는 정성적 및 정량적 실험을 통해 접근 방식을 검증한다. 프로젝트 페이지: https://garibida.github.io/IdentityTuning/

본 연구는 서로 다른 비디오 간의 모션 전이(motion transfer)를 탐구하며, 이는 다양한 캐릭터를 다루는 애니메이션에서 매우 중요한 요소이다. 이전까지 비디오 모션 전이는 주로 인간과 인간형 캐릭터 사이에서 연구되어 디지털 창작 분야에서 많은 응용 가능성을 열어주었다. 그러나 이러한 접근법에는 주요한 한계가 존재한다. 구체적으로, 관련 기술적 파이프라인은 사전 정의된 인간 골격 구조(human skeleton structure)에 크게 의존하며, 이에 따라 골격 조건부 모델 훈련(skeleton-conditional model training)이 필요하다. 한편으로, 이러한 방법들은 다양한 캐릭터, 예를 들어 서로 다른 종의 동물들에 대해 그들의 고유한 모션 스타일을 유지하면서 일반화하기 어렵다. 다른 한편으로, 다양한 골격에 대한 레이블 데이터(label data)가 제한적이어서, 이 과제를 위한 대규모 훈련이 추가적으로 제약된다. 본 논문에서는 골격 기반 모션 전이 프레임워크에서 벗어나, 훈련이 필요 없는 모션 전이 프레임워크인 Motion4Motion을 제안한다. Motion4Motion은 비디오 내 캐릭터의 모션 흐름(motion flow)을 골격 대신 모델링하므로, 종 간 모션 전이를 더욱 용이하게 만든다. 광범위한 실험 결과와 새로운 응용 사례들은 본 방법이 기준 모델(baseline)들을 현저히 능가함을 보여준다. 프로젝트 페이지는 https://lhchen.top/Motion4Motion 에서 확인할 수 있다.

정교하게 설계된 잠재 표현에 기반한 흐름 매칭(flow matching)은 최근 위상 인식 메시 생성(topology-aware mesh generation)을 위한 강력한 패러다임으로 부상하고 있다. 그러나 기존 접근법은 정점(vertex)과 연결성(connectivity)을 공동 잠재 공간에서 함께 모델링하여, 연속적인 정점 기하 구조와 이산적인 조합 구조를 얽히게 만든다. 이는 흐름 학습을 복잡하게 만들고, 정점의 표류(drifting)와 표면의 파손(broken surfaces)으로 이어진다. 본 논문에서는 LATO.2를 제안한다. 이는 메시 생성을 정점 흐름(vertex flow)과, 실현된 정점을 조건으로 하는 연결성 흐름(connectivity flow)으로 분해하는 프레임워크로, 두 단계 모두 공유된 조밀 복셀 스캐폴드(coarse voxel scaffold)에 기반한다. 전용 VAE가 두 단계를 뒷받침하며, 서브 복셀 정밀도(sub-voxel precision)로 정점을 복원하고 이산 연결성을 연속 잠재 공간에 임베딩한다. 본 논문에서는 이러한 분해만이 제공하는 두 가지 이점을 입증한다: (i) 부분별 생성(part-wise generation)으로, 스캐폴드를 분할하고 각 부분을 전체 잠재 용량(full latent capacity)으로 합성하여 단일 잠재(monolithic latent)가 허용하는 것보다 훨씬 더 높은 해상도의 메시를 얻는다; (ii) 위상 적응 편집(topology-adaptive editing)으로, 첫 번째 단계의 정점을 조작하면 재최적화 없이 해당 연결성이 유도된다. 실험 결과, LATO.2는 기하학적 충실도(geometric fidelity)와 연결성 품질(connectivity quality)에서 최신 위상 인식 메시 생성기를 능가한다.

단순 이미지와 증강을 사용한 대조 학습이 왜 하위 작업에 유용한 표현을 생성하는가? 우리는 이 질문에 답하기 위해 정상 통계를 따르는 모든 이미지 데이터셋과 다양한 기본 증강에 대해 대조 손실 측면에서 최적 표현을 해석적으로 계산한다. 특정 증강의 경우, 최적해는 첫 번째 계층의 필터가 정현파이고, 이후 점별 비선형성, 전역 평균 풀링, 그리고 부분 백색화를 수행하는 최종 선형 계층이 뒤따르는 CNN에 의해 달성될 수 있음을 보인다. 또한 더 복잡한 증강에 대한 이러한 CNN의 최적 가중치 역시 정현파임을 보인다. 정현파의 주파수와 그 가중치는 데이터셋의 기대 전력 스펙트럼이 주어졌을 때 간단한 워터필링 알고리즘을 사용하여 계산할 수 있다. 다양한 이미지 데이터셋과 증강을 사용한 실험은 이러한 CNN이 SGD로 훈련될 때 경험적으로 첫 번째 계층에서 정현파를 학습하고 부분 백색화를 수행함을 보여준다.

현재 비디오 대규모 언어 모델(Video LLM)은 질의 응답(QA)에서 뛰어난 성능을 보이지만 대부분 블랙박스로 작동하며, 검증 가능한 시각적 근거 없이 텍스트 형태의 답변만 제공한다. 기존의 설명 가능성 연구는 텍스트 기반 근거나 희소한 경계 상자에 의존하는데, 이는 폐색 및 비강체 변형과 같은 복잡한 비디오 역학을 포착하는 데 한계가 있다. 본 연구에서는 모델이 의미론적 답변과 정밀한 시공간적 근거, 즉 시간적 세그먼트와 밀집 추적 객체 분할 마스크릿을 함께 출력해야 하는 새로운 과제인 근거 기반 비디오 질의 응답(E-VQA)을 제안한다. 이를 지원하기 위해 판별적 및 생성적 픽셀 수준 근거 모두에 대한 최초의 인간 검증 벤치마크인 ST-근거(ST-Evidence)를 소개한다. 최신 모델에 대한 평가는 QA 정확도와 실제 시각적 인식 사이에 심각한 분리가 존재하며, 단순한 스케일링만으로는 이를 연결할 수 없음을 밝혀낸다. 이 문제를 해결하기 위해 확장 가능한 자동 생성 파이프라인을 개발하여 고수준 추론과 세분화된 근거를 연결하는 16만 규모 데이터셋인 ST-근거-명령(ST-Evidence-Instruct)을 구축한다. 이 데이터로 근거 기반 비디오 LLM을 미세 조정한 결과, 동일한 크기의 UniPixel 기준선에 비해 상당한 성능 향상(예: 7B 모델에서 t-평균 +27.2, J&F +13.8)을 보였으며, 이는 설명 가능하고 근거에 기반한 비디오 이해를 위한 강력한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA에서 제공된다.