일간 논문

대형 언어 모델 에이전트는 점점 더 자율적인 도구 사용자로서 평가되고 있지만, 대부분의 벤치마크는 즉각적인 성공 기준을 가진 제한된 작업에 초점을 맞추고 있다. 실제 배포 환경에서는 종종 장기적 일관성(Long-Term Coherence), 즉 축적된 증거에 따라 결정을 적응시키면서도 장기간에 걸쳐 목적 있는 행동을 유지하는 능력이 요구된다. 이러한 능력을 평가하려면 행동이 미래 선택을 제약하고, 피드백이 이질적인 지연 시간을 두고 도착하며, 비일관적인 행동이 측정 가능한 누적 효과를 초래하는 지속적인 환경이 필요하다. 판매자 중심 전자상거래는 제품 소싱, 등록 및 가격 통제, 현금 흐름 관리, 혼합 지연 피드백 적응에 걸친 반복적이고 상호 의존적인 의사 결정을 통해 이러한 평가에 적합한 환경을 제공한다. 우리는 98,843개의 실제 전자상거래 제품 기록을 기반으로 하고 에이전트 상호작용을 위한 26가지 도구를 갖춘 365일 주문 수준 시뮬레이션인 MerchantBench를 소개한다. MerchantBench는 즉시 관찰 가능한 업스트림 공급업체 이벤트와 지연된 다운스트림 주문 결과를 결합하여, 에이전트가 개별 주문 수명 주기를 추적하고 이전 결정을 재검토하도록 요구한다. 우리는 두 가지 에이전트 프레임워크 하에서 48회의 실행에 걸쳐 8개의 LLM을 평가했으며, 각 실행은 365일의 시뮬레이션 기간을 포함한다. 실험 결과는 최신 LLM조차도 인간 참가자와 상당한 격차를 보임을 보여주며, 최고 성능의 LLM 구성은 인간 참가자들이 달성한 평균 최종 순자산의 27.3%에 그쳤다.

실시간 비디오 편집은 제한된 컴퓨팅 자원 내에서 지연 시간이 짧은 인과적 생성을 요구하며, 동시에 소스 충실도와 장기적 시간적 일관성을 유지해야 한다. 본 논문에서는 미래 프레임이나 사전 정의된 비디오 길이에 대한 접근 없이 실시간 개방형 비디오 편집을 수행하는 160억 파라미터 자기회귀 확산 프레임워크인 JoyAI-Video-Edit를 제시한다. 제안 방법은 청크 단위 자기회귀 적응(Chunk-wise Autoregressive Adaptation), 소스 고정 분포 정합 증류(SA-DMD, Source-Anchored Distribution Matching Distillation), 그리고 장기 자기회귀 증류(Long-Horizon Autoregressive Distillation)를 결합하여 학습-추론 불일치를 줄이고, 2단계 생성 과정에서 소스 충실도를 보존하며, 누적되는 시간적 드리프트를 완화한다. 광범위한 자동 및 인간 평가를 통해 JoyAI-Video-Edit가 기존 스트리밍 편집기를 크게 능가하며, 짧은 비디오와 긴 비디오 모두에서 강력한 오프라인 시스템과 경쟁력 있는 성능을 유지함을 보인다. 전체 시스템은 단일 엔비디아 B200 GPU에서 약 30 FPS의 엔드투엔드 720p 비디오 편집을 달성한다. 코드는 https://github.com/jd-opensource/JoyAI-Video-Edit에서 확인할 수 있다.

언어는 생성 모델링에서 여전히 예외적인 분야로 남아 있다. 이미지, 비디오, 오디오는 점차 연속적인 잠재 공간에서 모델링되는 반면, 텍스트 생성은 여전히 주로 이산 토큰에 의존한다. 기존의 연속 언어 모델은 생성과 디코딩을 함께 수행하도록 설계되지 않은 임베딩 공간을 그대로 사용하거나, 확산을 용이하게 하기 위해 오토인코더 기반 잠재 표현을 압축하여 토큰 수준의 정확도를 희생한다. 우리는 생성 모델에 맞추기 위해 표현을 단순화하는 대신, 고용량의 디코딩 가능한 텍스트 잠재 표현을 유지하고 확산 모델이 그 분포를 직접 학습하도록 설계한다. 우리는 디코딩 가능한 텍스트 표현의 구축과 그 분포의 모델링을 분리하는 연속 잠재 확산 언어 모델인 AURORA-LM을 소개한다. 쿼리 기반 인코더-디코더는 텍스트를 고용량의 접두어 정렬 잠재 시퀀스로 구성하고, 블록 인과 확산 트랜스포머는 플로우 매칭을 통해 그 분포를 학습한다. 이때 각 블록 내 위치의 노이즈 제거를 병렬로 수행하면서 블록을 왼쪽에서 오른쪽으로 생성한다. 이러한 잠재 표현은 확산 모델이 모델링하기 더 어렵기 때문에, AURORA-LM은 노이즈 입력 경로만 제한하고 전체 클린 잠재 표현 예측 대상을 유지하여 디코더 측 용량을 줄이지 않으면서 전체 폭의 잠재 표현을 수용한다. 또한 노이즈 수준 분포를 잠재 폭에 맞게 보정하고, 독립적으로 샘플링된 훈련 노이즈와 추론 시의 반복적 노이즈 제거 사이의 간극을 메우기 위해 자체 궤적 일관성을 도입한다. AURORA-LM은 OpenWebText 자유 생성과 XSum 요약 작업에서 평가된 연속 및 확산 기반 언어 모델 중 최고 성능을 달성한다. 약 1500 EFLOPs의 총 계산량으로 1B 파라미터로 확장하면 추가적인 성능 향상을 얻을 수 있으며, 동일한 평가 프로토콜 하에서 더 큰 규모로 공개된 잠재 확산 언어 모델을 능가한다. 모든 실험은 Ascend NPU에서 수행되었다.

최근 이미지 생성 분야의 발전은 이해, 생성, 편집을 아우르는 통합 멀티모달 모델의 가능성을 입증했습니다. 그러나 통합 3D 모델링은 여전히 희소한 멀티모달 데이터, 특히 대규모이면서 기하학적으로 일관된 편집 데이터의 부족으로 인해 제약을 받고 있습니다. 이러한 한계를 해결하기 위해, 우리는 단일 아키텍처 내에서 3D 이해, 텍스트-3D 생성, 지시 기반 3D 편집, 텍스트 기반 부분 생성을 지원하는 통합 프레임워크인 Hunyuan3D-Buffalo 1.0을 제안합니다. 확장 가능한 학습을 위해, 우리는 Nano3D-v2를 사용해 생성한 2,500만 개의 이해 샘플, 5,000만 개의 텍스트-3D 쌍, 1,200만 개의 편집 쌍으로 구성된 8,700만 규모의 3D 멀티모달 코퍼스를 구축했습니다. 구조적으로, 이 프레임워크는 의미론적, 구조적, 공간적 이해를 위한 Hunyuan3D-VLM과 고충실도 3D 합성을 위한 Hunyuan3D DiT를 결합합니다. VLM은 생성을 위한 멀티모달 의미 조건을 제공하며, 편집 및 부분 생성은 소스 객체 표현에 따라 확산 과정을 추가로 조건화하여 전체 구조와 편집되지 않은 영역을 보존합니다. 광범위한 실험을 통해 Hunyuan3D-Buffalo 1.0이 텍스트-3D 생성 및 3D 편집 벤치마크에서 최첨단 또는 선도적인 성능을 달성하고, 강력한 이해 및 부분 생성 능력을 갖추었음을 입증했습니다. 추가 분석은 생성과 이해가 모두 편집 성능을 향상시킨다는 것을 보여주며, 통합 3D 멀티모달 학습의 효과성을 확인합니다. 프로젝트 페이지: https://tencent-hunyuan.github.io/Hunyuan3D-Buffalo1.0/

본 논문에서는 정적 이미지에서 연속 비디오 스트림으로 멀티모달 에이전트를 확장하는 Video-DeepResearch(Video-DR)를 소개한다. 이 설정은 밀집된 시공간적 그라운딩과 개방형 웹 탐색을 동시에 요구한다. 예비 평가는 현재 모델의 두 가지 핵심 병목 현상을 드러낸다: (1) 모달리티 편향, 즉 에이전트가 시각적 도구를 우회하고 텍스트 검색을 선호하는 현상, 그리고 (2) 파라미터 지식 누출, 즉 모델이 실제 도구 기반 실행 대신 내부 메모리에 의존하는 현상이다. 이러한 문제를 해결하기 위해 우리는 웹 검색 전에 프레임 간 철저한 시각적 그라운딩을 강제하는 단계별 도구 잠금 해제를 갖춘 인식-탐색 분리 파이프라인을 특징으로 하는 Video-DR을 제안한다. 우리의 프레임워크는 지도 미세 조정 후 GRPO(Group Relative Policy Optimization)를 적용하는 2단계 훈련 방식을 채택하여 모방 학습의 한계를 넘어서는 자율 탐색을 가능하게 한다. 또한, 우리는 200개의 복잡한 멀티홉 VQA 인스턴스로 구성된 인간-AI 협업 벤치마크인 Video-DR-Bench를 구축한다. 실험 결과, 우리의 Video-DeepResearch-35B-A3B는 평균 정확도 64.0%로 새로운 최고 수준을 달성하여 독점 모델인 Claude-4.5-Sonnet(59.0%)을 5.0포인트 차이로 능가하고 GPT-5(52.5%) 및 Gemini 2.5 Pro(57.5%)를 크게 상회한다. 30B-A3B 변형 모델은 Claude-4.5-Sonnet에 필적하는 59.3%의 정확도를 달성하여, 소형 규모에서도 우리의 훈련 패러다임의 효과성을 입증한다. 코드: https://github.com/Osilly/Vision-DeepResearch.

산업용 추천 시스템은 점차 사전학습-후-전이 패러다임을 채택하고 있지만, 행동 분포 변화로 인해 두 가지 질문이 제기된다: 행동 시퀀스에서 무엇을 학습할 것인가, 그리고 사전학습 모델이 지속적으로 갱신되는 상황에서 학습된 지식을 어떻게 전이할 것인가. 이러한 문제를 해결하기 위해 우리는 지식-기하 구조 분리(Knowledge-Geometry Decoupling, KGD)를 제안한다. 무엇을 학습할 것인지에 대해, 기존의 다음 토큰 예측은 인접성을 의존성으로 간주하여 관련 없는 세션 간의 허위 전이를 인코딩할 수 있다. 우리는 협업적 또는 의미적으로 관련된 미래 항목만을 지도 신호로 유지하는 행동 다중 토큰 예측(Behavioral Multi-Token Prediction, BMTP)을 도입하여 더 깨끗하고 전이 가능한 행동 지식을 확보한다. 어떻게 전이할 것인지에 대해, 사전학습된 지식과 작업별 기하 구조는 공유 파라미터에 상충되는 최적화 요구를 부과한다. 이를 처리하기 위해 KGD는 이를 별도의 파라미터 집합에 할당한다: 갱신 가능한 인코더는 행동 지식을 소유하고, 작업 학습자는 읽기 전용 교차 어텐션을 통해 컨텍스트화된 인코더 상태를 읽으며, 사전학습 임베딩에 직교하는 고정 보정 잔차(Anchored Calibration Residual, ACR)를 통해 작업별 기하 구조를 기록한다. 분리된 소유 구조는 작업 그래디언트 간섭이나 다운스트림 적응 무효화 없이 지속적인 지식 갱신을 가능하게 한다. KGD는 여덟 개의 공개 벤치마크에서 강력한 사전학습-전이 기준선 대비 4-12%의 성능 향상을 보이며, 기준선이 이득을 보이지 못하는 90일간의 프로덕션 스트림에서도 그 우위를 유지한다. KGD는 Shopee에 완전히 배포되었다. Shopee 홈페이지 검색에서 진행된 실시간 A/B 테스트에서 KGD는 사용자당 GMV를 1.75%, 광고 수익을 1.53% 증가시켜 높은 실용적 가치를 입증한다. KGD의 핵심 구현은 https://github.com/FuCongResearchSquad/KGD4REC에서 제공한다.

대규모 언어 모델 에이전트는 복잡한 상호작용 과제에서 강력한 잠재력을 보여 주었지만, 길이가 긴 다중 턴 궤적이 단일한 결과 수준 신호만 받을 수 있기 때문에 강화 학습(RL)은 희소 보상에 의해 종종 저해된다. 온-폴리시 자기 증류(OPSD)는 특권 교사로부터 밀집된 토큰 수준의 감독을 제공하지만, 교사는 모든 위치에서 신뢰할 수 있는 것은 아니다. 기존 방법들은 일반적으로 노이즈에 민감할 수 있는 고립된 토큰 수준 불일치에 의존하거나, 위치 변동을 간과할 수 있는 공유 단계 수준 가중치를 할당한다. 우리는 교사 선호 신호의 국소적 지속성에서 토큰 수준 증류 가중치를 도출하는 지속 일관성 자기 증류(PCSD)를 제안한다. PCSD는 적응형 창과 지수 감쇠 집계를 결합하여 지속적인 상대적 교사 지지를 포착하고, 추세 인식 변조를 적용하여 국소적으로 감소하는 지지를 약화시키며, 시그모이드 게이팅을 통해 연속적인 가중치를 생성한다. 결과적인 목적 함수는 GRPO와 공동으로 최적화되어 밀집된 교사 안내와 희소한 환경 피드백을 결합한다. 추론 시 기술 없이도 PCSD는 두 백본 모두에서 모든 기준선 중 최고의 ALFWorld Overall 결과를 달성하여 GRPO를 15.6점 및 13.3점, SDAR를 6.2점 및 5.5점 초과하며, WebShop에서는 경쟁력을 유지하고 미보고 ALFWorld 분할에서 GRPO 대비 15.8점을 획득한다.

지속적으로 개선되는 에이전트는 정적 감독을 넘어 동적 상호작용 피드백을 필요로 하지만, 실제 환경과의 직접 상호작용은 비용이 많이 들고 느리며 안전하지 않고 병렬화하기 어렵다. 세계 모델링은 에이전트가 실제 행동을 취하기 전에 더 저렴하고 통제 가능한 피드백을 질의할 수 있게 해주는 자연스러운 중간 프록시를 제공한다. 고전적 세계 모델은 주로 미래 물리 상태 예측을 통해 이러한 프록시를 구현하는데, 이는 유용하지만 원시 상태 전이를 넘어 실행 가능한 피드백을 요구하는 에이전트에게는 좁은 형식화에 그친다. 본 연구에서는 에이전트 중심의 상호작용적 세계 프록시(Agent-Centric Interactive World Proxies)를 개념화하여, 기본 패러다임을 물리적 상태 전이에서 에이전트가 활용 가능한 정보 전이(예: 실행 결과, 검색된 경험 또는 기술, 검증 신호)로 전환함으로써 세계 모델링의 범위를 확장하고, 지속적으로 개선되는 에이전트에게 다용도 피드백을 제공하고자 한다. 이 설계 공간을 체계적으로 매핑하기 위해, 우리는 세계 프록시를 피드백 양식에 따라 여섯 가지 기능적 형태, 즉 동역학(dynamics), 공간(spatial), 실행(execution), 기억/경험(memory/experience), 기술(skill), 보상/검증(reward/verification) 프록시로 분류한다. 이는 세계 모델링이 에이전트 개선에 기여하는 주요 방식을 총체적으로 규명한다. 또한 우리는 이러한 프록시가 에이전트를 세 가지 점진적 수준에서 강화하는 방식을 분석한다. L.1(추론 시점 안내)에서는 프록시 출력이 맥락 내 정보를 풍부하게 하여 더 우수한 결정을 내리게 한다. L.2(훈련 시점 최적화)에서는 프록시 출력이 정책 학습을 위한 보상, 비평, 또는 합성 롤아웃을 생성한다. L.3(에이전트-프록시 공진화)에서는 실제 환경 증거가 프록시와 에이전트를 모두 지속적으로 업데이트하여 공진화를 이끈다. 궁극적으로 본 연구는 세계 모델링을 에이전트 중심 패러다임으로 재구성함으로써, 에이전트가 더 잘 계획하고, 더 빠르게 학습하며, 지속적으로 진화할 수 있게 하는 세계 프록시 구축을 위한 로드맵을 제시한다.

재귀적 자기 개선은 에이전트가 축적된 경험을 더 나은 미래 행동으로 전환하도록 요구한다. 개인 AI 에이전트는 세션 간에 선호도, 작업 이력, 도구 루틴, 학습된 기술을 유지하므로 이러한 능력을 연구하기 위한 구체적인 환경을 제공한다. 그러나 유지된 경험이 실제로 시간이 지남에 따라 에이전트를 개선하는지는 체계적으로 테스트된 바 없다. 우리는 이 질문을 분리하기 위해 설계된 벤치마크인 PAST-Bench를 소개한다. 각 에이전트는 유지된 경험을 켜고 끄는 일치된 조건에서 새 세션 작업들의 순차적 시퀀스를 실행한다. 이 벤치마크는 기억, 절차적 재사용, 정보 수집, 갱신에 걸쳐 26개 시나리오와 204개 에피소드를 포함한다. 우리는 후속 작업에서의 개선과 그러한 개선이 의도된 저장·검색·갱신 경로를 따르는지 여부를 모두 보고한다. 일곱 개의 기본 모델과 네 개의 에이전트 프레임워크 전반에서 개선은 실재하지만 능력에 따라 고르지 않다. 동일한 주요 개선을 보이는 에이전트라도 그 개선이 의도된 경로의 증거에 의해 뒷받침되는지 여부는 크게 달라질 수 있다. 이러한 발견을 바탕으로 우리는 에이전트 루프의 여러 단계에 걸친 다섯 가지 표적 개입으로 Hermes를 확장한 Hermes+를 개발한다. Hermes+는 유지된 경험으로부터의 평균 개선을 높이고 더 명확한 경로 증거를 제공하며, 특히 오래된 상태를 교체해야 하는 작업에서 가장 큰 개선을 보인다. 다만 그 효과는 여전히 능력 및 모델 의존적이다. PAST-Bench와 Hermes+는 함께, 지속적 에이전트가 경험 보유에서 경험을 통한 체계적 개선으로 나아갈 수 있는 방식을 연구하기 위한 평가 및 진단 기반을 제공한다. 코드: https://github.com/Gen-Verse/PAST-Bench

확산 언어 모델(dLLM)은 자기회귀(AR) 언어 모델링의 대안을 제공하지만, 전문가 혼합(MoE) 기반 dLLM의 확장 동작은 여전히 잘 이해되지 않고 있다. 우리는 MoE dLLM에 대해 최적화 하이퍼파라미터, 연산 할당, 아키텍처 규모가 어떻게 확장되는지를 체계적으로 특성화하고, AR 모델에 대해 이전에 보고된 확장 추세와의 정량적 차이를 식별한다. 구체적으로, 최적화 측면에서 최적 명목 배치 크기는 더 빠르게 증가하는 반면, 최적 학습률은 연산량에 따라 더 빠르게 감소한다. 모델-데이터 배분 측면에서 IsoFLOP 분석은 약간의 데이터 측 기울기를 드러내는데, 최적 토큰 예산이 활성화된 모델 측 연산보다 더 빠르게 증가한다. MoE 아키텍처 측면에서는 규모가 커질수록 고정된 활성 용량에서 더 큰 전문가 풀이 점점 유리해지는 반면, 적절한 전문가 세분성은 일관되게 효과적이며, 공유 전문가에 할당되는 활성 용량의 선호 비율은 규모에 관계없이 안정적으로 유지된다. 이러한 발견에 따라 우리는 30B-A3B dLLM인 LLaDA MoE v2를 23.5T 토큰으로 처음부터 학습시킨다. Qwen3 사전 학습 토큰의 약 65%만 사용하여, LLaDA MoE v2는 여러 지식, 추론, 코딩 벤치마크에서 Qwen3에 근접한다. 지도 미세 조정만으로도 8개의 추론 및 코딩 벤치마크 중 7개에서 SDAR Chat을 능가하며, 여러 작업에서 Qwen3에 가까운 성능을 유지한다. 이러한 결과는 MoE dLLM을 위한 실용적 확장 법칙과 설계 원칙을 확립한다.

옴니모달 대규모 언어 모델(Omni-LLM)은 오디오-비주얼 이해 작업에서 놀라운 성능을 달성했지만, 길고 중복도가 높은 시각 및 오디오 토큰 시퀀스를 처리하는 과정에서 상당한 계산 오버헤드가 발생하므로 효율적인 배포를 위해서는 적극적인 토큰 압축이 필수적이다. 기존 방법들은 낮은 토큰 예산에서 성능이 저하되는 경우가 많다. LLM 이전 단계의 압축은 구조적으로 중요하고 전역적으로 분포된 증거를 누락할 수 있는 반면, LLM 내부 압축은 쿼리 조건부 오디오-시각 협력을 충분히 활용하지 못하는 경향이 있다. 이러한 한계를 해결하기 위해 우리는 LLM 이전의 구조적 압축과 LLM 내부의 작업 관련 의미 정제를 조율하는 학습 불필요(training-free) 프레임워크인 OmniPack을 제안한다. OmniPack은 LLM 이전 단계에서 모달리티별 중요도, 전역 커버리지, 유사도 기반 병합을 통해 구조적 중복을 제거한다. 충분한 멀티모달 상호작용 이후에는 텍스트 안내와 오디오-시각 협력을 통해 다양하고 작업 관련된 표현을 추가로 통합한다. 세 가지 Omni-LLM 백본과 다섯 가지 벤치마크에 걸친 광범위한 실험을 통해 OmniPack이 다양한 유지 비율에서 기존 모든 방법보다 지속적으로 우수한 성능-효율 트레이드오프를 달성함을 입증한다. 특히 Qwen2.5-Omni-7B에서 OmniPack은 원래 성능의 98.0%를 유지하면서 FLOPs를 16.7%로 줄였으며, 원래 FLOPs의 6.8%만으로도 원래 성능의 92.9%를 유지한다.

온-폴리시(on-policy) 증류는 교사 모델이 학생 모델이 스스로 생성한 샘플을 교정하는 방식으로, 두 모델이 동일한 언어를 사용한다고 전제한다. 즉, 동일한 VAE 잠재 변수, 일치하는 아키텍처, 공통된 타임스텝 그리드를 요구한다. 우리는 이러한 전제가 하나도 성립하지 않는 경우, 예를 들어 사용 가능한 가장 강력한 교사 모델과 배포하려는 학생 모델이 서로 다른 모델 계열에서 비롯된 경우에 어떤 일이 발생하는지 질문하며, 표준 방법으로는 해결책이 없음을 발견한다. 교사 모델의 잠재 변수는 이질적인 좌표계에서 목표값으로 사용될 수 없고, 국소적 세부를 확률적으로 다시 그리는 교사 모델에 대한 픽셀별 손실은 블러나 발산으로 퇴화하며, 타임스텝 인덱스는 일치하지 않는 스케줄에서 의미를 잃는다. 우리는 우리가 아는 한 잠재 흐름 매칭 생성기 간 임의의 쌍에 대한 온-폴리시 증류를 위한 최초의 프레임워크인 Any-OPD를 제시한다. Any-OPD는 교사 모델을 순수하게 블랙박스 샘플러로 취급하며, 두 모델을 정확히 한 지점에서 연결한다. 독립적으로 디코딩된 출력이 비교되는, 고정된 모델 비특정적 비전 표현을 통해 잠재 변수, 특징, 아키텍처에 관한 모든 가정을 우회한다. 궤적 대응은 스텝 인덱스 대신 연속적인 노이즈 수준을 매칭하여 복원되며, 교사 샘플이 학생 모델 자체의 VAE를 통해 재인코딩되는 짧은 앵커링 단계를 통해 온-폴리시 기울기가 도메인 불일치가 아닌 샘플 품질을 측정하도록 보장한다. 12B FLUX.1-dev를 2.5B SD3.5-Medium으로 증류할 때, Any-OPD는 학생 모델의 PickScore를 0.846에서 0.884로, HPSv3를 9.12에서 10.97로 끌어올리며, 크기가 5분의 1임에도 교사 모델에 필적한다. 반면 직접적인 잠재 변수 회귀는 전혀 학습되지 않는다.

캡션은 다중 모달 이해와 텍스트-이미지 생성 모두에서 일차적인 지도 신호로 기능한다. 그러나 기존 평가는 캡션 품질을 단일 스칼라 목표로 취급하여, (1) 캡션이 얼마나 많은 시각 정보를 포함하는지와 (2) 이미지가 자신이 명시하는 주장을 얼마나 신뢰성 있게 뒷받침하는지라는 두 가지 별개의 속성을 혼동한다. 이에 우리는 인간이 작성한 정답 캡션과 인간이 검증한 원자적 체크리스트 항목을 갖춘 분리형 캡션 평가 벤치마크인 CAPEval(Coverage And Precision Evaluation)을 설계한다. 구체적으로, CAPEval은 캡션 품질을 Coverage(커버리지)와 Precision(정밀도)으로 분해한다. 전자는 캡션이 정답 사실적 내용을 얼마나 철저히 포함하는지를 정량화하며, 후자는 캡션에 표현된 모든 주장의 사실 정확도 비율을 반영한다. 우리는 10개의 캡셔너를 선정하고, 캡션 소스가 유일한 변수인 네 가지 모델 계열에 걸친 통제된 다운스트림 엔드투엔드 실험을 추가로 수행한다. 실험 결과, 우리는 일관된 작업 의존적 분리를 발견한다. 즉 Coverage는 이해 성능과 더 강한 상관관계를 보이는 반면, Precision은 생성 성능의 지배적인 예측 변수로 작용한다. 이러한 분리형 평가 패러다임은 캡션 품질에 대한 더 세밀한 진단을 제공할 뿐만 아니라, 다양한 다운스트림 작업에 맞춰 캡셔너를 선택하고 최적화하기 위한 실행 가능한 지침을 제공한다.

자기 진화 에이전트는 점점 더 상호작용 이력을 개별 작업을 넘어 지속되는 재사용 가능한 스킬로 변환한다. 기존 연구가 메모리 및 검색 중독을 다루었지만, 이러한 공격은 중독된 레코드가 컨텍스트로 검색될 때만 에이전트에 영향을 미친다. 우리는 새롭고 더 근본적인 위험을 발견한다. 중독된 경험이 에이전트 자신에 의해 지속성 있는 행동 산출물로 변환될 수 있다는 점이다. 우리는 자기 진화 에이전트의 경험-스킬 파이프라인을 악용하는 최초의 공격인 SkillJack을 제시한다. SkillJack은 런타임 컨텍스트를 직접 조작하는 대신 에이전트의 학습 과정 자체를 가로채어 재사용 가능한 스킬 레퍼토리에 악의적 행동을 주입한다. 우리는 이러한 변환의 세 가지 핵심 속성을 식별한다: 스킬 추출 중 악의적 의도가 은폐되는 정화 미화(sanitization whitewashing), 일시적 경험이 영구적 능력이 되는 교차 계층 승격(cross-layer promotion), 그리고 원본 소스 레코드가 제거된 후에도 공격이 생존하는 지속성 격리(persistence isolation)이다. 우리는 SkillX와 Anything2Skill이라는 두 대표적 시스템에서 4가지 정책 위험 범주에 걸친 150개 궤적의 공유 데이터셋을 사용하여 SkillJack을 평가한다. 결과는 스킬 추출이 공격 탐지 가능성을 상당히 낮춘다는 것을 보여준다. SkillX에서 안전 탐지율은 중독된 궤적의 98.5%에서 추출된 스킬의 11.4%로 하락하며, Anything2Skill에서도 유사한 효과가 나타난다. 한편, 주입된 스킬은 효과를 유지하여 두 시스템에서 각각 56.2%와 89.2%의 공격 성공률을 달성한다. 또한, 스킬 매개 공격의 80.0%는 원본 중독 레코드를 삭제한 후에도 지속되며, 일부 스킬은 정상 질의에서 의도치 않게 활성화된다. 우리의 발견은 스킬 진화가 새로운 공격 표면임을 드러내며, 출처 인식 스킬 수명주기 보호의 필요성을 제기한다. 우리의 코드는 https://github.com/Tencent/AI-Infra-Guard/research/skilljack에서 이용 가능하다.

우리는 UniWorld-Design를 소개한다. 이는 이미지 생성을 평면적 픽셀 합성에서 구조화된 시각적 구성으로 재정의하는 프레임워크로, 의미론적 RGBA 레이어를 생성, 이해, 편집의 원자적 단위로 사용한다. 우리의 핵심 통찰은 픽셀이 이미지가 렌더링되는 방식을 정의하는 반면, 레이어는 이미지가 생성되고 이해되며 편집되는 방식을 정의한다는 것이다. 인간 디자이너가 원시 픽셀이 아닌 레이어를 통해 시각적 콘텐츠를 생성하고 조작하듯이, UniWorld-Design는 다중모달 생성 모델에 레이어 기반 설계 공간을 제공한다. UniWorld-Design는 두 개의 모델로 구성된다. Text-to-RGBA(T2RGBA) 모델은 텍스트로부터 독립형 RGBA 에셋을 직접 생성한다. Image-to-Layer(I2L) 모델은 완성된 이미지, 전역 명령, 레이어별 프롬프트를 조건으로 입력받아 순서가 지정된 완전한 의미론적 RGBA 레이어들을 공동으로 생성한다. 이 명령 인터페이스는 최상위 분해, 재귀적 분해, 대상 추출을 지원하여, 레이어링을 에이전트형 편집이 가능한 명령-주소화 연산으로 만든다. I2L은 가시적 픽셀 분할이 아닌 완전한 의미론적 객체를 학습하므로, 생성된 레이어는 이동되거나 제거되어도 사용 가능한 상태를 유지한다. Crello 벤치마크에서 I2L은 레이어별 RGB L1 오차를 37% 감소시키고, Alpha Soft IoU에서 Qwen-Image-Layered 대비 34%의 상대적 개선을 달성한다. 또한 T2RGBA는 CLIP Score에서 최고 수준을 기록하여 LayerDiffuse 및 OmniAlpha를 능가한다.

도구 통합 추론(Tool-Integrated Reasoning, TIR)은 반복적인 도구 상호작용을 통해 LLM이 복잡한 작업을 해결할 수 있게 한다. 그러나 기존 강화학습 방법들은 종종 궤적 수준의 지도(supervision)에 의존하기 때문에 장기 지평(long-horizon) TIR 시나리오에서 세밀한 신용 할당(credit assignment)이 제한된다. 온-폴리시 자기 증류(on-policy self-distillation)는 특권 맥락(privileged context)을 갖춘 교사 분기(teacher branch)를 통해 더 조밀한 신호를 제공하지만, 기존 접근법들은 일반적으로 그러한 맥락을 정답(ground-truth answers)이나 검색된 스킬(retrieved skills)에서 도출하며, 이는 에이전트가 실제로 방문한 상태를 반영하지 못할 수 있다. 더욱이 토큰 수준의 지도는 도구 상호작용의 턴 수준 구조를 포착하지 못한다. 이러한 문제를 해결하기 위해, 우리는 실행 조건부 회고(execution-conditioned hindsight)로부터 직접 지도를 도출하는 턴 수준 회고 자기 증류(turn-level hindsight self-distillation) 프레임워크인 TurnSight를 제안한다. 그런 다음 서로 다른 선행 지평(lookahead horizon)을 가진 여러 회고 뷰(hindsight view)를 구성하고, 교차 지평 방향 일치(cross-horizon directional agreement)를 통해 신뢰할 수 있는 지도를 선택한다. 마지막으로 선택된 회고 신호는 형제 롤아웃(sibling rollout) 간에 정규화되며, 원래의 최적화 방향을 유지하면서 RL 어드밴티지를 적응적으로 조절하는 데 사용된다. 세 개의 벤치마크에 대한 광범위한 실험은 TurnSight의 효과성을 입증한다. 코드는 https://github.com/quchangle1/TurnSight에서 확인할 수 있다.

웨어러블 어시스턴트는 자신의 시각적 이력에 관한 질문에 답할 수 있어야 할 뿐만 아니라, 그 이력이 현재 상황에 유용한 시점을 인식할 수 있어야 한다. 기존의 비디오 메모리 시스템은 주로 질문 조건부 회상을 지원하는 반면, 능동적 어시스턴트는 일반적으로 별도의 메모리 및 제어 메커니즘을 사용한다. 우리는 연속 비디오 스트림에서 인과적으로 성장하는 하나의 메모리로 두 가지 동작을 모두 지원하는 훈련 없는 프레임워크인 GROVE를 제안한다. GROVE는 세밀한 지각 증거를 유지하고 이를 점진적으로 통합하여 타임스탬프가 있는 순간들, 일관된 에피소드, 그리고 반복되는 일자 간 패턴으로 구축한다. 각 계층은 관찰의 위치를 파악하거나, 활동을 재생하거나, 장기적 규칙성을 탐색하는 데 적합한 규모 고유의 검색 기술과 짝을 이룬다. 반응형 QA와 능동적 지원은 이 메모리와 접근 인터페이스를 공유하며, 검색이 사용자 질문에 의해 시작되는지 현재 상황에 의해 시작되는지에서 차이가 있다. 까다로운 MM-lifelong 및 EgoServe를 포함한 여러 벤치마크에서 GROVE는 비교된 방법들 중 최상의 결과를 달성한다. 통제된 절제 실험은 시간적 계층과 그 접근 기술이 상호 보완적임을 보여주며, 증거가 여러 날에 걸쳐 있을 때 패턴이 가장 큰 이점을 제공한다. 코드는 https://github.com/SitongGong/GROVE에서 제공될 예정이다.

대규모 언어 모델(LLM) 에이전트는 소프트웨어 엔지니어링 분야에서 빠르게 채택되고 있다. 에이전트가 실제 코드 생성에서 더 큰 역할을 담당함에 따라 수십에서 수백 줄에 이르는 더 큰 변경을 수행하고 있다. 이로 인해 에이전트 결과에 대한 수동 검토가 점점 더 비현실적이 되어, 개발자들은 실행된 변경 사항을 이해하기 위해 설명에 의존하게 되었다. 그럼에도 불구하고 에이전트가 생성한 설명의 신뢰성을 평가하는 벤치마크는 존재하지 않는다. 이러한 격차를 해소하기 위해, 우리는 코딩 에이전트의 설명을 자동으로 평가하는 벤치마크인 ExplainBench를 제안한다. ExplainBench는 정보를 제공하는 설명은 LLM이 질문에 정확히 답할 수 있게 해주며, 이를 통해 에이전트 간 설명 품질의 정량적 비교가 가능하다는 직관에 기반한다. 이러한 관찰을 바탕으로, 우리는 설명이 (1) 버그가 있는 코드의 의도된 동작과 (2) 에이전트 패치 적용 자체의 효과를 정확히 기술하는지 평가하는 일련의 질문을 구성한다. 실험을 통해 먼저 설명 품질이 에이전트 평가의 별개의 축임이 드러난다: ExplainBench는 널리 사용되는 SWE-bench Verified 벤치마크와 다르게 에이전트의 순위를 매긴다. 에이전트의 설명 품질에 대한 더 깊은 분석은 설명의 빈번한 문제점을 보여주는데, 패치가 올바르지 않음에도 올바르다고 주장하는 경우가 자주 발생한다. 이러한 통찰을 바탕으로, 우리는 설명을 검증하고 개선하기 위해 추가 테스트를 실행하는 설명 감사 에이전트를 구현하고 평가한다. 이 에이전트는 평가된 모든 에이전트의 설명을 개선했으며, 이는 에이전트 설명이 자동으로 더 신뢰할 수 있게 만들어질 수 있음을 보여준다.

현대 에이전트 프레임워크는 대규모 언어 모델에 외부 기술 라이브러리를 장착하여 복잡한 작업을 해결한다. 그러나 이러한 시스템이 기술을 효과적으로 진화시킬 수 있는지, 그리고 그 결과로 생성된 기술이 작업 해결 능력을 실제로 향상시키는지는 여전히 불분명하다. 이러한 격차를 해소하기 위해 우리는 문맥 내 연속적 기술 학습을 위한 동적 평가 프레임워크인 ContinualSkillBench를 제안한다. 이 프레임워크는 5개의 대표적인 도메인을涵盖하며, 각 도메인은 난이도가 증가하는 순서와 교차 작업 기술 재사용 기회에 따라 배열된 100개의 상호 연결된 하위 작업을 포함한다. 실험 결과, 순차적 실행은 일반적으로 성능을 향상시키지만 그 이득은 모델과 도메인에 따라 상당히 달라진다. 또한 문맥 내 학습은 평균적으로 명시적 기술 유지 관리와 비슷한 성능을 보이는데, 이는 성능 향상의 상당 부분이 재사용 가능한 기술 추상화 자체보다는 이전 문맥과 피드백에 대한 적응에서 비롯됨을 시사한다. 그럼에도 명시적 기술은 재사용 가능한 절차나 정밀한 출력을 요구하는 작업에 대해 선택적 이점을 제공한다. 또한 성능이 낮은 모델일수록 더 크고 더 파편화된 작업별 기술 모음을 축적하는 경향이 있음을 발견했다. 이러한 발견은 현재의 문맥 내 기술 진화 메커니즘이 지속적 적응을 지원할 수 있지만, 경험을 견고하고 전이 가능한 기술로 일관되게 통합하는 데에는 여전히 어려움을 겪고 있음을 보여준다.

대규모 언어 모델(LLM)은 진정한 구조적 추론 능력을 보유하는가, 아니면 단지 표면적 패턴 매칭에 의존하는가? 수치적 정밀성과 긴 맥락에 걸친 다단계 논리를 요구하는 금융 분야는 이를 검증하기 위한 이상적인 시험대이다. 기존 벤치마크는 대부분 잘린 표에 대한 객관식 문제나 단일 홉 질의응답에 의존할 뿐, 복잡한 재무제표 간 역학 관계와 시간적 누적 해제를 무시함으로써 실제 산업 현장의 복잡성을 반영하지 못한다. 이러한 격차를 해소하기 위해, 우리는 최대 32K 토큰에 달하는 크롭되지 않은 재무제표에 대한 데이터 처리 충실도를 평가하는 대규모 벤치마크인 FinIndices를 제안한다. 적대적 함정을 포함한 자동 합성 파이프라인을 활용하여, FinIndices는 단일 지수 계산과 표 지수 산출을 포괄함으로써 복잡한 도메인, 시간적, 그리고 기준(caliber) 추론을 시험한다. 본 평가는 두 가지 심각한 LLM 취약점을 밝혀낸다. 첫째, "지식 병목(Knowledge Bottleneck)": 모델이 사전 학습 중 공식을 암기하고 있음에도 불구하고, 그 패턴 매칭은 취약하다. 명시적 공식 힌트를 제거하면 성능이 급락하는데(예: Gemini-3.1-Pro의 표 작업 성능이 70.70%에서 38.22%로 하락), 이는 시간적 누적 해제와 저량-유량(stock-flow) 기준 불일치에 있어 치명적 결함을 드러낸다. 둘째, "구조적 병목(Structural Bottleneck)": 다중 지표·다중 기간 표를 생성하는 데 따르는 과도한 인지 부하는 추론 능력을 실질적으로 소진시킨다. 구조적 압박 하에서, 개별 파생 계산은 완벽하게 수행하던 LLM도 잘못된 인접 열을 참조하거나 심층 회계 조정을 단순한 문자적 산술로 대체하는 등 얕은 휴리스틱으로 퇴행한다. 마지막으로, 지도 미세 조정(SFT)은 힌트가 없는 상황에서도 상당한 성능 향상(+8.54% 단일 지수, +3.82% 표 지수)을 가져오며, 이는 구조적 논리가 데이터 중심 정렬을 통해 부분적으로 복원될 수 있음을 검증한다.

우리는 표준 RGB 비디오에서 어린이의 보행 행동을 세밀하게 분석하는, 인간 행동 인식의 새로운 문제 영역을 제안한다. 우리는 특히 3세에서 17세 사이 어린이의 보행 패턴을 대상으로 한다. 이러한 행동은 뇌성마비와 편마비와 같은 여러 중대한 발달 및 신경근육 질환의 진단과 치료 과정에서 자연스럽게 나타난다. 이러한 임상적 가치에도 불구하고, 현재의 3D 센서 기반 보행 분석 시스템은 비용이 높고 침습적이며 어린 피험자에게는 종종 실용적이지 못하다. 이를 해결하기 위해, 우리는 110명의 피험자로부터 얻은 1,100개 이상의 고프레임레이트(60 FPS) 비디오 시퀀스와 동기화되고 익명화된 포즈 시퀀스를 포함하는 새로운 데이터셋을 제안한다. 각 세션에서 어린이는 5초간의 "걸어 다니기" 과제를 수행하며, 여러 시점에서 보행 주기가 포착된다. 중요한 점은, 우리는 보행 파운데이션 모델과 다중모달 대규모 언어 모델(MLLM)을 포함한 현재의 최첨단 접근법들이 이러한 임상적 미묘한 차이를 효과적으로 해석하지 못함을 입증한다. 우리는 이러한 불규칙하고 미묘한 운동 패턴을 분석하는 데 있어 핵심 기술적 과제를 식별하고, 소아 보행의 기본 구성 요소를 해독하기 위한 통합된 종단 간 프레임워크를 설명한다. 포괄적인 실험 결과를 통해, 우리는 이 데이터셋이 새로운 연구 질문을 촉진하고 자동화된 아동 보행 평가를 위한 엄밀한 기준선을 수립할 수 있는 잠재력을 입증한다.

비디오 세계 모델은 과거 관측값과 제어 신호에 조건화하여 미래 관측값을 예측하며, 자기회귀적 상태 전이를 통해 장시간 지평선 생성(long-horizon generation)을 가능하게 한다. 주로 시각적 외형과 움직임을 포착하는 기존의 비디오 생성 모델과 달리, 비디오 세계 모델은 에이전트의 행동에 따라 환경이 진화하는 기저 동역학을 학습하여, 구현 지능(embodied AI)과 상호작용형 시뮬레이션의 기반을 제공한다. 최근의 진전은 대부분 사전 학습된 비디오 생성 모델을 후속 학습(post-training)이나 증류(distillation)를 통해 적응시키는 방식에 의존해 왔다. 이러한 접근 방식은 효과적이나, 복잡한 학습 파이프라인과 상당한 계산 자원을 요구하며, 양방향 사전 학습과 인과적 스트리밍 추론 간의 불일치 문제를 안고 있다. 최근 연구들은 자기회귀 비디오 세계 모델을 처음부터 학습하는 것이 가능하고 확장 가능함을 보여 주었다. 그러나 여전히 커뮤니티에는 적절한 계산 자원으로 종단 간(end-to-end) 학습이 가능한 가볍고 투명하며 완전히 재현 가능한 기준선(baseline)이 부족하다. 우리는 스트리밍 비디오 세계 모델을 처음부터 학습하기 위한 재현 가능한 프레임워크인 MiniWorld를 제시한다. MiniWorld는 사전 학습된 비디오 VAE의 잠재 공간에서 Flow Matching을 사용하여 학습된 블록 인과 비디오 확산 변환기(block-causal Video Diffusion Transformer)를 사용한다. Diffusion Forcing을 기반으로, 시간적 모델링과 안정성을 개선하기 위해 청크 단위 비감소 잡음 스케줄(chunk-wise non-decreasing noise schedule)과 2단계 지속 학습을 채택한다. 추론 시 MiniWorld는 순환 KV 캐시(rolling KV cache)를 파이프라인 비동기 잡음 제거(pipelined asynchronous denoising)와 결합하여 제한된 계산 자원 내에서 효율적인 스트리밍 생성을 수행한다. 전체 모델은 단일 8-GPU 서버에서 수일 내에 학습할 수 있다. 학습 및 추론 코드베이스와 사전 학습된 체크포인트를 공개함으로써, MiniWorld가 향후 비디오 세계 모델링 연구를 촉진하리라 기대한다.

페르소나 스킬은 개인 상호작용 이력을 다운스트림 에이전트를 위한 휴대 가능하고 실행 가능한 산출물로 압축한다. 유연한 개인화를 가능하게 하는 동시에, 이 과정은 단편적인 개인 신호를 집중시키고 재사용을 통해 그 영향을 증폭시키며, 개별 레코드나 검색 기반 메모리를 위해 설계된 방어 기법에 도전을 제기한다. 페르소나-스킬 파이프라인의 안전성을 체계적으로 조사하기 위해, 우리는 페르소나-스킬 파이프라인 전반에 걸친 위험과 방어 기법을 평가하기 위한 엔드투엔드 벤치마크인 AntiSkillBench를 소개한다. 본 벤치마크는 다음으로 구성된다: (i) 다양한 작업 시나리오를 포괄하는 50개의 행동적으로 풍부한 프로필로부터 구축된 7,500개의 페르소나 기반 대화 트레이스 데이터셋; (ii) 세 가지 스킬 증류 전략에 걸쳐 스킬 수준의 프라이버시 유출과 에이전트 수준의 속성 노출 및 행동 모방을 측정하는 평가 스위트; (iii) 능동적 위험 억제와 수동적 출처 보호를 포함한 온라인 및 사후 개입에 걸친 네 가지 구성을 포괄하는 방어 평가. 세 가지 최첨단 에이전트에 걸친 실험은 페르소나-스킬 위험이 에이전트 백본과 증류 프로토콜에 관계없이 지속되며, 명시적 속성에서 의사소통 스타일과 성격 특성에 이르기까지 확장됨을 보여준다. 기존 방어 기법은 제한적이고 증류 방식에 의존적인 효과성을 보이며, 위험 및 증류 전략 전반에 걸쳐 일반화되지 못한다. 이러한 결과는 프라이버시 보호 및 진정성 인지형 페르소나 스킬 개발을 위한 도전적 벤치마크로서 AntiSkillBench의 중요성을 강조한다.

높은 점도와 복잡한 유변학적 특성을 지닌 점성 오염물은 로봇 표면 세정에 있어 여전히 주요한 과제로 남아 있다. 기존의 닦기 방식은 오염물을 확산시키는 경우가 많으며, 문지르기는 더 강한 마찰력을 제공하지만 표면을 손상시킬 위험이 있다. 본 논문에서는 점성 오염물 세정을 응집 문제로 재정의하는 프레임워크인 Push-Wiper를 제안한다. Push-Wiper는 스펀지를 이용하여 분할된 밀기 궤적을 통해 오염물을 점진적으로 모은 후, 응집된 물질을 분리하고 스펀지의 자가 세정을 가능하게 하는 후처리 단계를 수행한다. 우리는 오염물 수집을 위한 단계적 전략을 채택하고, 적응형 밀기 동작 시퀀스를 생성하기 위해 Diffusion Policy를 활용한다. 이러한 시퀀스는 제안하는 임의 표면 자세 보간기(ASPI)와 힘-위치 혼합 제어기를 통해 실행되며, 이를 통해 다양한 공간적 분포를 가진 오염물에 대해 방법이 일반화될 수 있다. Push-Wiper는 제거된 오염 면적의 비율로 정의되는 세정 점수(CS)에서 기준 방법들보다 최대 130% 높은 성능을 달성한다. 추가 학습 없이도 Push-Wiper는 고체 잔여물, 액체 유출물, 미지의 점성 오염물, 그리고 다양한 기하학적 형태의 곡면에 제로샷 방식으로 전이된다. 우리의 실험은 Push-Wiper의 세정 효과성과 강력한 일반화 능력을 입증한다. 프로젝트 웹사이트는 https://push-wiper.github.io/에서 확인할 수 있다.

월드 액션 모델(WAM)은 로봇 행동과 미래 시각적 역학을 공동으로 모델링하는 유망한 패러다임으로 부상하였다. 그러나 이들은 픽셀 생성적 미래 감독에 의존함으로써, 행동 관련 상태 전이와 작업 무관 시각적 콘텐츠가 얽히게 되어 시각적 분포 변화 하에서 강건성이 제한될 수 있다. 우리는 훈련-분포 환각(Training-Distribution Hallucination)을 식별하였는데, 이는 시각적으로 이동된 관측값에 조건화된 미래가 현재 장면에 충실하게 유지되지 못하고 훈련 도메인 콘텐츠를 환각하는 반복적 현상이다. 통제된 프레임-삼중쌍 진단은 DINOv3 특징이 Wan-VAE 잠재 변수보다 시각적 변화 전반에 걸쳐 더 안정적으로 유지되면서 작업 상태 구분을 더 잘 보존함을 추가로 보여준다. 우리는 예측된 미래를 교정하는 대신, 의미-시간적 WAM(ST-WAM)을 제안하여 DINOv3를 미래 예측 및 이력 검색을 위한 공유 의미 표현으로 사용하면서 세밀한 VAE 역학을 유지함으로써 행동 강건성을 개선한다. 이중 공간 미래 전문가(DSFE)는 미래 VAE 잠재 변수와 DINO 특징을 공동으로 예측하고, 현재 고정 의도 검색(CAIR)은 현재 시각-언어 맥락 하에서 최근 DINO 이력으로부터 작업 관련 증거를 검색한다. ST-WAM은 추가적인 체화 사전 훈련이나 작업별 주석 없이 종단 간 훈련되며, 추론 시 명시적 미래 생성을 요구하지 않는다. 이 모델은 LIBERO에서 98.7%, RoboTwin 2.0에서 92.8%를 달성한다. 더 중요하게는, Fast-WAM과 비교하여 제로샷 LIBERO-Plus 성능을 21.3퍼센트 포인트 향상시키고, 시각적 변화 하에서 실제 로봇 성공률을 25.8%에서 61.5%로 두 배 이상 증가시킨다. 이러한 결과는 의미-시간적 모델링이 강건한 조작을 위해 픽셀 생성적 역학을 효과적으로 보완함을 입증한다.

과학적 포스터 제작은 긴 다중 모달 논문을 읽기 쉽고 편집 가능한 캔버스로 압축한다. 기존 시스템은 완성된 출력물만 채점하여 요청 수준의 실패를 은폐하며, 직접 이미지 생성은 요소별 편집이 불가능하고 코딩 에이전트 워크플로는 비용이 높다. PosterMELD는 템플릿 조건화된 다중 에이전트 파이프라인으로, 용량 인식 슬롯이 렌더링 전에 작성을 안내하고 결정적 게이트와 비전-언어 모델(VLM) 검토가 실패를 제한된 복구로 라우팅한다. 각 수용된 요청은 편집 가능한 파워포인트(PPTX) 및 휴대용 네트워크 그래픽(PNG) 아티팩트를 내보내며, 명시적 설계 제어를 통해 동일 논문의 변형을 생성한다. 621개 논문을 대상으로 인쇄 준비율(PRR)은 기하학적, 가독성, 자산 무결성, 명백한 사실 오류 검사를 통과한 요청을 집계하며, 네이티브 편집 가능성은 별도로 보고된다. 고정된 VLM이 인쇄 준비 출력물에 조건부 장인성-조화-표현력(CHE) 점수를 부여한다. PosterMELD는 81.3%의 PRR을 달성하여 P2P의 3.4배, PosterGen의 5.2배에 해당하며, 다중 인쇄 준비 출력물을 생성하는 방법 중 가장 높은 조건부 CHE를 기록한다. 네이티브 편집 가능성과 명시적 설계 제어는 요청당 평균 USD 0.38, 즉 Codex+Skill 비용의 3.5%로 유지된다. 코드와 리소스는 https://github.com/Shannon4Science/PosterMELD에서 확인할 수 있다.

쿼리 무관 KV 캐시 축출은 컨텍스트를 한 번 압축하고 결과 캐시를 임의의 향후 쿼리에 재사용하지만, 제한된 예산에서는 성능이 붕괴될 수 있다. 기존 방법들은 주로 어떤 원본 KV 쌍을 유지할지 개선한다. 우리는 RestoreKV를 제안하며, 이는 동일한 총 KV 예산 내에서 학습된 복원을 통해 이러한 선택 기반 방식을 보완한다. 핵심 통찰은 축출로 인해 손실된 정보는 컨텍스트 특이적이지만, 그 간결한 보완 정보를 생성하는 메커니즘은 컨텍스트 간에 공유될 수 있다는 것이다. 컨텍스트 프리필 후, 소수의 복원 토큰이 단일 LoRA 적용 패스에서 전체 KV 캐시에 어텐션을 수행하여 컨텍스트 조건부 간결 복원 캐시를 생성한다. 기본 중요도 스코어러와 축출 규칙은 변경되지 않으며, 이후의 모든 쿼리와 디코딩에서는 어댑터가 비활성화된다. RestoreKV는 고정된 전체 캐시 모델로부터 매개변수 효율적 자기 증류를 통해 훈련되며, 매개변수의 0.4%만 최적화하고 작업별 튜닝을 요구하지 않는다. 네 개의 백본과 네 개의 장문 컨텍스트 벤치마크에서 RestoreKV는 압축으로 인한 성능 저하를 크게 줄인다. Qwen3-4B에서는 다섯 가지 기본 축출 방법에 걸쳐 예산이 일치하는 60개의 쌍 설정 중 59개를 개선한다. 5% 예산에서 RULER-4K의 KVzip 점수를 38.2에서 73.2로 향상시킨다. KVzip+에 적용하면 RestoreKV는 KVPress Benchmark에서 16배 압축 시 86.4의 RULER 정확도에 도달하며, 32K 컨텍스트 평가에서 0.5% 미만의 일회성 캐시 구축 오버헤드만 추가한다. 프로젝트 페이지는 https://paper.pnu-cvsp.com/RestoreKV/ 에서 확인할 수 있다.

추론 언어 모델은 자주 과도하게 사고한다: 망설임, 접근 방식 포기, 자기 모순과 같이 토큰을 소비하면서도 답변을 개선하지 않는 확장된 행동 연쇄를 생성한다. 우리는 이러한 행동이 단순히 길이의 결과가 아님을 보여준다. 응답 길이를 통제하더라도, 부정확한 추론 추적은 정확한 추론 추적보다 비생산적인 자기 반성을 더 높은 비율로 나타낸다. 이를 해결하려면 자기 반성이 도움이 되는 지점과 해가 되는 지점을 식별해야 하지만, 이러한 단계별 주석을 얻는 데는 비용이 많이 든다. 우리는 추론 추적 내의 중간 답변 확정이 저렴한 대리 지표를 제공할 수 있음을 관찰한다. 추적 내의 각 최종 답변 후보를 실제 정답과 비교함으로써 추가적인 감독 없이 후속 반성이 생산적인지 여부를 결정할 수 있다. 이 통찰을 바탕으로, 우리는 각 추론 세그먼트가 정확성으로 이끄는지 또는 정확성에서 멀어지게 하는지에 따라 세그먼트 수준 신용을 할당하는 DASH(Drift Aware advantage SHaping)를 제안한다. 경쟁 수준 수학 벤치마크에서 DASH는 과도한 사고가 만연한 환경에서 가장 높은 정확도를 달성한다(평균 정확도: 59.45% vs. Dr.GRPO 58.1% vs. GRPO 56.95%). 또한 과도한 사고 행동을 줄이고 기준선보다 더 생산적인 자기 수정을 달성한다.

우리는 ALiBi 위치 인코딩에서 이전에 간과되었던 실패 모드를 식별한다: 선형 바이어스 스케일링이 부동소수점 정밀도에서 언더플로되어 어텐션 가중치의 상당 부분을 0으로 만들고, 이로 인해 영향을 받은 어텐션 헤드가 부분적으로 실명 상태가 된다. 우리는 이 실패 모드를 분석하고 그 영향을 특성화하며 네 가지 완화 전략을 검토한다. 또한 ALiBi 기반의 최신 사전 학습 모델에서 이 실패 모드가 발생함을 입증한다. 1억 4800만 파라미터 디코더 모델을 사용한 종합적인 사전 학습 실험은 그 효과를 맥락 밖 성능 저하와 분리하는 데 도움을 준다. 우리는 ALiBi의 실패 모드가 표준 디코더 벤치마크에는 미미한 영향만 미치면서도 토큰 검색을 상당히 저하시킬 수 있음을 발견한다. 우리는 네 가지 학습 시점 완화 전략을 제안하고 이를 개별적으로 그리고 조합하여 평가하며, 로그 스케일 거리가 패스키 검색에서 가장 일관된 개선을 가져온다는 것을 발견한다. 이러한 문제에도 불구하고, 기본 ALiBi 기울기는 특히 건초 더미 속 바늘 찾기 검색에서 놀라울 정도로 강력한 기준선으로 남아 있다. 이러한 발견을 바탕으로 우리는 ALiBi로 모델을 학습하는 방법에 대한 구체적인 권고사항을 제공한다.

가중치 전용 양자화는 대규모 언어 모델(LLM) 트랜스포머 블록의 저장 공간을 상당히 줄여 주지만, 실용적인 백엔드에서는 최종 언어 모델링 헤드(LM-헤드)를 종종 BF16 또는 FP16으로 유지한다. 이 투영을 단순하게 양자화하면 어휘-로짓 분포가 크게 교란될 수 있다. 우리는 양자화된 저랭크 코어, 그룹별 INT4 잔차, 그리고 활성화 기반 메트릭으로 적합된 저랭크 보정을 결합한 패킹(packed) LM-헤드 압축기 ARCHead를 제시한다. ARCHead는 밀집(dense) BF16 헤드를 저장하지 않으며, 영구 LM-헤드 저장 공간을 3.7~3.9배 줄인다. Qwen3-8B-Base에서 ARCHead는 BF16 헤드 저장 공간의 25.6%만 사용하면서 상대 퍼플렉서티 1.007을 달성한다. 저장 공간이 동일한 단순 INT4는 1.14~1.16을 나타낸다. AWQ나 bitsandbytes가 양자화하지 않고 남겨둔 BF16 헤드를 교체하면 크로스 엔트로피가 0.006~0.007만 증가하며, 측정 결과 처리량 변화는 2% 미만이다. 따라서 ARCHead는 블록 양자화기가 그대로 둘 수 있는 큰 출력 투영(output projection)을 압축함으로써 블록 양자화기를 보완한다. 코드는 https://github.com/suayptalha/archead에서 확인할 수 있다.

법률 정보 검색(IR)의 일반적인 작업 중 하나는 판례 모음에서 관련 법적 출처를 찾는 것이다. 법률 실무에서는 특정 판결문 단락에 대한 정확한 인용(pincite)이 종종 요구되지만, 기존의 공개 법률 IR 데이터셋 대부분은 단락 수준의 인용 주석을 갖추지 못하고 있다. 더욱이 이러한 정보를 포함하는 공개 데이터셋은 질의 텍스트에 데이터 누출이 있으며, 인용 관계에 있지 않은 단락을 코퍼스에서 제외하기 때문에 비현실적이고 지나치게 단순화된 검색 환경을 조성하여 성능이 부풀려질 수 있다. 이러한 한계를 해결하기 위해, 우리는 유럽연합 사법재판소(CJEU) 판결문으로 구축한 대규모 법률 IR 데이터셋을 제공한다. 이 데이터셋은 (i) 인용 정보가 제거된 마스킹된 사건/단락 질의, (ii) 모든 단락을 포함하는 코퍼스, (iii) 부분적으로 인간 전문가의 검증을 거친 사건 및 단락 수준의 정답 인용을 포함한다. 우리의 데이터셋은 사건-대-사건, 단락-대-사건, 단락-대-단락 검색과 같은 다양한 질의-문서 수준에서 법률 IR 방법의 개발과 엄격한 평가를 모두 지원한다. 데이터셋 링크: https://huggingface.co/datasets/theresiavr/legalpincite

오디오 기반 피아노 전사는 온셋, 피치, 벨로시티에서 우수한 성능을 보이지만, 서스테인 페달은 건반에서 손을 뗀 후에도 소리를 오래 지속시키므로 오디오 시스템은 물리적 키 릴리스 대신 페달로 연장된 오프셋을 예측한다. 그러나 기존 시각적 피아노 전사(VPT) 시스템은 짧은 비디오 윈도우에서 온셋 검출에 초점을 맞추고 있어, 오프셋 정확도는 온셋보다 크게 뒤처지며 음표 수준의 벨로시티는 보고된 바 없다. 이러한 한계를 해결하기 위해 우리는 최초의 완전한 VPT 시스템인 V2N(Video to Notes)을 제시한다. 공유 시간적 백본이 온셋, 오프셋, 키 홀드, 벨로시티를 위한 작업별 헤드에 입력을 공급하며, 윈도우 중심에서만이 아니라 프레임별 지도로 공동 학습된다. 절제 실험은 다중 작업 지도가 온셋 정확도를 향상시키면서 오프셋 및 벨로시티 예측을 가능하게 하며, 더 긴 시간적 맥락이 추가 개선을 가져옴을 보여준다. V2N은 PianoVAM과 R3에서 새로운 최첨단 결과를 달성한다.

MLLM 기반 분할은 높은 분할 성능, 대화 능력 유지, 빠른 추론이라는 핵심 삼중 딜레마에 직면한다. 임베딩 예측 방식은 픽셀 수준의 목표를 통해 언어 모델링을 방해할 수 있는 반면, 다음 토큰 생성은 밀집 마스크에 비효율적이다. 우리는 자기회귀적 대화와 비자기회귀적 마스크 예측을 분리하는 올-마스크 예측(All-Mask Prediction)을 제안한다. 이진 구현인 STAMP(Simultaneous Textual All-Mask Prediction)는 어휘 내 `<SEG>` 트리거를 발생시키고, 이미지 정렬 마스크 토큰을 해당 패치 특징과 융합하며, 하이브리드 어텐션을 통해 모든 토큰을 한 번의 패스에서 전경 또는 배경으로 분류한다. 이를 통해 강력한 지시 및 추론 분할과 다중모달 능력 보존 및 효율적인 추론을 결합한다. 그러나 이진 마스크는 반복적인 대상별 예측 없이는 여러 의미론적 또는 인스턴스 정체성을 유지할 수 없다. 따라서 우리는 구조적 올-마스크 예측(Structured All-Mask Prediction)을 제안하고 STAMPlus를 개발한다. STAMPlus는 명시적 ID와 선택적 박스를 가진 대상 목록을 생성하고, 이 ID들을 공유 다중 클래스 마스크 공간에 바인딩하여 모든 대상을 하나의 비자기회귀적 패스에서 공동으로 예측한다. 단일 통합 체크포인트는 STAMP의 지시 및 추론 능력을 유지하면서, 고해상도 마스크-토큰 스케일링을 통해 더 세밀한 공간적 증거를 보존하는 개방 어휘 의미론적 분할, 인스턴스 인식 분할, 원격 감지 소형 대상 분할로 확장된다. 이러한 설정 전반에서 STAMPlus는 최첨단 분할 성능을 달성하고, 일반적인 다중모달 지시 수행 능력을 보존하며, 12개 범주에 대한 지연 시간을 반복적 STAMP 추론의 13.50초에서 5.16초로 줄인다. 추가 분석은 정확한 대상 단서가 분할을 개선하고 학습된 공간적 그라운딩이 두 번 보기 추론에 도움이 됨을 보여준다. 종합적으로 STAMPlus는 단일 대상 예측을 넘어 삼중 딜레마를 해결한다.

온-폴리시 훈련은 대규모 언어 모델의 추론 능력을 향상시키기 위한 강력한 사후 훈련 패러다임으로 부상하였으며, 흔히 더 강력한 전문가 모델로부터 얻은 골든 궤적에 의해 강화된다. 그러나 전문가가 더 어려운 문제에 실패하는 경우, 기존의 궤적 기반 방법은 주요 감독 신호를 상실하며, 실패한 궤적은 대개 부정적 샘플로 간주되어 폐기된다. 우리는 이러한 실패, 즉 골든 네거티브 궤적(Golden Negative Trajectories)이 모방해야 할 시연이 아니라 반성해야 할 결함 있는 궤적으로 취급될 때 여전히 유용한 추론 신호를 제공할 수 있다고 주장한다. 우리는 반성 이점(Reflection Advantage)을 확인한다. 어려운 문제의 경우, 결함 있는 궤적을 반성하는 것이 처음부터 직접 문제를 해결하는 것보다 더 쉽고 효과적일 수 있다는 것이다. 이러한 동기에 기반하여, 우리는 온-폴리시 훈련 중에 골든 네거티브 궤적으로부터 학습하는 경량 플러그 앤 플레이 프레임워크인 ReflectRL을 제안한다. ReflectRL은 먼저 이 궤적들을 활용하여 반성적 추론(Reflective Reasoning)을 도출한 다음, 반성-직접 정책 전환(Reflective-to-Direct Policy Transition)을 적용하여 습득된 추론 행동을 직접 추론(Direct Reasoning)으로 전이한다. 9개 벤치마크, 4개 LLM 백본, 4개 온-폴리시 훈련 방법에 걸친 실험 결과는 ReflectRL이 최소한의 오버헤드로 추론 성능을 일관되게 향상시킨다는 것을 보여준다.

자기 일관성(Self-consistency)은 샘플링된 추론 궤적들 중 가장 빈번한 답변이 가장 신뢰할 수 있다고 가정하지만, 이는 인과 추론에서 실패할 수 있다. 샘플들이 동일한 교란 오류를 반복하는 경우가 많고, 투표가 여러 유효한 답변에 분산되어 유효한 소수 궤적이 존재함에도 불구하고 무효한 답변이 승리할 수 있기 때문이다. 본 연구는 CALVER(Causal Axiom-Level VERification)를 도입한다. CALVER는 학습이 필요 없는 기호 검증기로서, d-분리(d-separation), 백도어 조정(backdoor adjustment), 개입(intervention)을 포함한 Pearl의 인과 기준에 따라 구조화된 추론 궤적을 점수화하고, 참조 정답을 참고하지 않고 최고 점수 후보를 선택한다. 여러 그래프 유효 답변을 허용하는 CLEAR find-one-valid 질의에서 CALVER는 42.1%를 달성한 반면, 동일한 고정 풀에서 다수결, 보상 모델, LLM 평가자, 모델 신뢰도는 모두 약 30%에 머물렀다. 평가자를 72B로 확장해도 격차는 좁혀지지 않았다. 감사된 클린코어 하위 집합에서 그래프 유효 CALVER 선택 21건 중 11건은 요청된 조건자는 충족하면서도 벤치마크에 수록된 정답과 달랐다. 이러한 이점은 샘플링 예산이 증가할수록 커지며, 10개의 발표된 베이지안 네트워크, 두 번째 모델 계열, 그리고 모델이 텍스트에서 그래프를 구축해야 하는 설정에서도 재현된다. CALVER는 또한 정확한 지상 진실(ground truth)에 대비한 임계값 기반 평균 치료 효과 결정을 개선하고, 진리표 검사기 하에서 논리 영역으로 일반화되며, CPU에서 각 후보를 수 밀리초 내에 점수화한다. CALVER는 명시적으로 제공되거나 텍스트에서 구축된 인과 구조만 있으면 되며, 이러한 조건이 충족되는 모든 곳에서 선택은 인과 타당성을 통해 집계될 수 있다.

역사적 언어 변화는 형태론, 통사론, 의미론, 화용론에 영향을 미치지만, 계산적 연구는 일반적으로 이러한 수준들을 서로 호환되지 않는 표상으로 검토하므로 언어 전반에 걸쳐 이들이 함께 진화하는지 여부를 판별할 수 없다. 우리는 단일 분석 공간 내에서 변화의 크기와 방향이 언어적 수준, 언어, 역사적 시기에 따라 어떻게 달라지는지를 묻는 방식으로 이 문제를 다룬다. 우리는 동결된 다국어 언어 모델, 특징 정렬 교차 코더, 사후 언어적 개입을 결합한 프레임워크인 ChronoLens를 소개하고, 이를 1803~2026년에 걸친 다섯 개 의회 전통의 4,498만 개 문서와 약 172억 개 토큰에 적용한다. 그 결과 얻어진 희소 표상은 밀집 임베딩이나 통합 희소 오토인코더보다 언어 통계량과 훨씬 더 강하게 일치하며(ρ=0.72 대 0.29 및 0.28), 형태론, 통사론, 의미론, 화용론이 일반적으로 한 언어 내에서 비교 가능한 정도로 변화하는 반면, 언어들은 변화의 시기, 범위, 방향에 있어 현저한 차이를 보인다는 것을 밝혀낸다. 이러한 발견은 역사적 언어 변화가 구조화된 다차원적 과정임을 보여준다. 즉, 유사한 크기가 상이한 궤적을 은폐할 수 있으며, 의미 있는 언어 간 비교는 거리와 방향을 모두 측정해야 한다.

차트 질문 응답(CQA)은 다중모달 대규모 언어 모델(MLLM)이 시각적 이해와 논리적 추론을 통합할 것을 요구하지만, 현재 모델은 정확한 시각적 근거 부여와 일관된 추론 사슬을 확보하는 데 어려움을 겪고 있다. 외재적 사고 사슬(chain-of-thought) 프롬프팅과 시각적 단서가 성능을 크게 향상시키지만, 현재 MLLM은 본질적인 시각적 근거 기반 추론 능력이 부족하여 시각적 증거와 분리된 부정확한 인식과 추론을 초래한다. 이러한 한계를 해결하기 위해 우리는 CQA를 다단계 시각적 근거 기반 추론으로 재정의하고, 각 단계가 공간 주의 집중을 통한 동적 시각적 근거 부여와 논리적 추론을 조정하는 커리큘럼 학습 프레임워크인 CURV를 제안한다. 모델 학습을 돕기 위해 우리는 다양한 차트 유형과 추론 패턴에 걸쳐 확장 가능한 합성 생성을 제공하는 3단계 커리큘럼 데이터셋인 CCQA를 추가로 도입한다. 우리의 커리큘럼은 기본적인 단일 연산 추론에서 복잡한 다중 차트 구성 작업으로 체계적으로 진행된다. 실험 결과 CURV는 기준선 대비 최대 20.50%의 향상을 달성하고, 실제 벤치마크(최대 12.30% 향상)와 도메인 외 다중모달 추론 작업(최대 10.20% 향상)에 일반화할 수 있음을 보여준다. 이는 동적 근거 부여를 통한 시각적 추론의 내면화가 차트 이해 능력 향상에 효과적임을 입증한다. 코드는 https://xhguo7.github.io/CURV/에서 확인할 수 있다.