일간 논문

대규모 추론 모델은 강력한 문제 해결 능력을 보여주었으나, 현실 세계의 과제들은 종종 외부 도구 활용과 장기적 상호작용을 필요로 합니다. 기존 에이전트 프레임워크는 일반적으로 미리 정의된 워크플로우를 따르므로, 자율적이고 포괄적인 과제 수행이 제한됩니다. 본 논문에서는 단일하고 일관된 추론 과정 내에서 자율적 사고, 도구 발견, 행동 실행을 수행하는 종단간 심층 추론 에이전트인 DeepAgent를 소개합니다. 장기적 상호작용의 과제, 특히 다중 도구 호출로 인한 컨텍스트 길이 폭증 및 상호작용 이력 누적 문제를 해결하기 위해, 과거 상호작용을 구조화된 서사적 기억, 작업 기억, 도구 기억으로 압축하여 중요한 정보를 보존하면서 오류 누적을 줄이는 자율 메모리 접기 메커니즘을 도입했습니다. 범용 도구 사용을 효율적이고 안정적으로 학습시키기 위해, LLM으로 시뮬레이션된 API를 활용하고 도구 호출 토큰에 세분화된 기여도를 할당하기 위해 도구 호출 장점 귀속을 적용하는 종단간 강화 학습 전략인 ToolPO를 개발했습니다. 일반 도구 사용 과제(ToolBench, API-Bank, TMDB, Spotify, ToolHop)와 하류 응용 프로그램(ALFWorld, WebShop, GAIA, HLE)을 포함한 8개 벤치마크에서의 광범위한 실험을 통해 DeepAgent가 레이블이 지정된 도구 및 오픈셋 도구 검색 시나리오 모두에서 기준선을 꾸준히 능가함을 입증했습니다. 본 연구는 현실 세계 응용을 위한 보다 일반적이고 유능한 에이전트로 나아가는 한 걸음을 내디뎠습니다. 코드와 데모는 https://github.com/RUC-NLPIR/DeepAgent에서 확인할 수 있습니다.

최첨단 추론 모델은 강화 학습(RL)을 통한 대규모 언어 모델(LLM)의 사후 훈련을 바탕으로 다양한 분야에서 놀라운 능력을 보여주고 있습니다. 그러나 이러한 패러다임이 널리 성공을 거두었음에도 불구하고, 기존 모델에는 없었던 RL 과정에서 새롭게 나타나는 진정한 행동 특성을 규명하는 데 많은 연구가 집중되어 왔습니다. 본 연구에서는 이 문제에 다른 각도에서 접근하여, 추가 훈련 없이 순수 샘플링만으로 추론 시점에 기반 모델에서 유사한 추론 능력을 이끌어낼 수 있는지 탐구합니다. 첨예화된 분포로부터 샘플링을 위한 마르코프 연쇄 몬테카를로(MCMC) 기법에서 영감을 받아, 기반 모델 자체의 가능도를 활용한 간단한 반복 샘플링 알고리즘을 제안합니다. 다양한 기반 모델을 대상으로 한 실험에서, 본 알고리즘이 MATH500, HumanEval, GPQA 등 다양한 단일 샘플 작업에서 RL을 통한 성능 향상에 근접하거나 오히려 능가하는 상당한 추론 능력 향상을 제공함을 입증합니다. 더욱이 본 샘플러는 RL 사후 훈련의 특징인 다중 샘플에 걸친 다양성 감소 현상을 방지합니다. 무엇보다 본 방법은 훈련, 정제된 데이터셋, 검증기가 필요하지 않아 쉽게 검증 가능한 영역을 넘어 폭넓게 적용 가능함을 시사합니다.

통일적이고 일반화 가능한 비디오 생성의 의미론적 제어는 여전히 중요한 미해결 과제로 남아 있습니다. 기존 방법들은 구조 기반 제어에서 비롯된 부적절한 픽셀 단위 사전 지식을 강제함으로써 아티팩트를 도입하거나, 조건별 미세 조정이나 작업별 특화 아키텍처와 같이 일반화되지 않는 방식에 의존합니다. 본 연구에서는 이 문제를 컨텍스트 내 생성으로 재정의하는 새로운 패러다임인 Video-As-Prompt(VAP)를 소개합니다. VAP는 참조 비디오를 직접적인 의미론적 프롬프트로 활용하여, 플러그 앤 플레이 방식의 Mixture-of-Transformers(MoT) 전문가 모듈을 통해 고정된 Video Diffusion Transformer(DiT)를 안내합니다. 이 아키텍처는 치명적 망각을 방지하고, 강력한 컨텍스트 검색을 위해 허위 매핑 사전 지식을 제거하는 시간적 편향 포지션 임베딩에 의해 guided 됩니다. 이 접근법을 지원하고 향후 연구를 촉진하기 위해, 우리는 100개의 의미론적 조건에 걸쳐 10만 개 이상의 paired 비디오를 포함하는 의미론적 제어 비디오 생성 분야 최대 규모의 데이터셋인 VAP-Data를 구축했습니다. 단일 통합 모델로서 VAP는 오픈소스 방법론의 새로운 최첨단 성능을确立하며, 조건별 특화 상용 최상위 모델에 필적하는 38.7%의 사용자 선호도를 달성했습니다. VAP의 강력한 제로샷 일반화 성능과 다양한 다운스트림 애플리케이션 지원 능력은 범용 제어 가능 비디오 생성 기술을 향한 중요한 진전을 의미합니다.

우리는 무한히 확장 가능한 3D 세계 생성이라는 과제에 도전합니다. 이는 일관된 기하학적 구조와 사실적인 외관을 갖춘 대규모의 연속적인 환경을 의미합니다. 기존 방법들은 주요한 어려움에 직면해 있습니다: 2D-리프팅 방식은 시점 간 기하학적 및 외관 불일치 문제를 겪고, 3D 암묵적 표현은 확장하기 어려우며, 현재의 3D 파운데이션 모델은 대부분 객체 중심으로 설계되어 장면 수준 생성에의 적용이 제한됩니다. 우리의 핵심 통찰은 구조화된 장면 블록 생성을 위해 사전 학습된 3D 모델의 강력한 생성 사전 지식을 활용하는 것입니다. 이를 위해 우리는 비제한적 3D 장면 합성을 위한 계층적 프레임워크인 WorldGrow를 제안합니다. 우리의 방법은 세 가지 핵심 구성 요소를 특징으로 합니다: (1) 고품질 장면 블록을 추출하여 3D 구조화된 잠재 표현이 장면 생성에 적합하도록 하는 데이터 큐레이션 파이프라인, (2) 상황 인식 장면 확장을 가능하게 하는 3D 블록 인페인팅 메커니즘, (3) 전역적 배치 타당성과 지역적 기하학적/텍스처 정확도를 모두 보장하는 coarse-to-fine 생성 전략. 대규모 3D-FRONT 데이터셋에서 평가한 결과, WorldGrow는 기하학적 재구성에서 SOTA 성능을 달성하면서도, 사실적이고 구조적으로 일관된 결과물로 무한 장면 생성을 유일하게 지원합니다. 이러한 결과는 대규모 가상 환경 구축 능력과 향후 세계 모델 구축을 위한 잠재력을 입증합니다.

인공일반지능(AGI)에 대한 명확한 정의의 부재는 현재의 전문화된 인공지능과 인간 수준 인지 능력 간의 격차를 모호하게 만듭니다. 본 논문은 이를 해결하기 위해 AGI를 학력이 높은 성인과 동등한 인지적 다양성과 숙련도를 갖춘 상태로 정의하는 정량적 프레임워크를 제안합니다. 이를 구현하기 위해 우리는 인간 인지에 대한 경험적으로 가장 검증된 모델인 Cattell-Horn-Carroll 이론에 방법론을 근거합니다. 이 프레임워크는 일반 지능을 추론, 기억, 지각 등 10가지 핵심 인지 영역으로 세분화하고, 확립된 인간 심리측정 배터리를 인공지능 시스템 평가에 적용합니다. 이 프레임워크를 적용한 결과 현대 모델들이 매우 '불균일한' 인지 프로필을 보임을 확인했습니다. 지식 집약적 영역에서는 숙련된 반면, 현재의 인공지능 시스템은 특히 장기 기억 저장과 같은 기초적인 인지 메커니즘에 심각한 결함을 가지고 있습니다. 이를 통해 도출된 AGI 점수(GPT-4 27%, GPT-5 58%)는 AGI 달성까지 남은 상당한 격차와 함께 빠른 진전을 구체적으로 수치화합니다.

Group Relative Policy Optimization(GRPO)는 흐름 일치 기반 텍스트-이미지(T2I) 생성에서 강력한 잠재력을 보여주지만, 두 가지 주요 한계에 직면해 있습니다: 부정확한 이점 귀속과 생성의 시간적 역동성 간과입니다. 본 연구에서는 최적화 패러다임을 단계 수준에서 청크 수준으로 전환함으로써 이러한 문제를 효과적으로 완화할 수 있다고 주장합니다. 이러한 아이디어를 바탕으로 T2I 생성을 위한 최초의 청크 수준 GRPO 기반 접근법인 Chunk-GRPO를 제안합니다. 핵심 통찰은 연속적인 단계들을 흐름 일치의 본질적 시간적 역동성을 포착하는 일관된 '청크'로 그룹화하고, 정책을 청크 수준에서 최적화하는 것입니다. 또한 성능을 더욱 향상시키기 위한 선택적 가중 샘플링 전략을 도입합니다. 광범위한 실험을 통해 Chunk-GRPO가 선호도 정렬과 이미지 품질 모두에서 우수한 결과를 달성하며, GRPO 기반 방법에 대한 청크 수준 최적화의 가능성을 입증합니다.

이산 확산 모델은 양방향 맥락 모델링과 이론적 병렬화를 통해 비전-언어 작업에 유망한 방향으로 부상했습니다. 그러나 실제 적용은 훈련-추론 불일치로 인해 심각하게 저해되며, 이는 치명적인 오류 연쇄를 초래합니다. 병렬 디코딩 과정에서 발생하는 초기 토큰 오류는 생성 맥락을 오염시켜 오류가 증폭되는 연쇄 반응을 일으키며, 결과적으로 구문 오류와 의미론적 환각을 야기합니다. 이러한 근본적인 과제를 해결하기 위해 우리는 생성 과정을 수동적 노이즈 제거에서 능동적 정제로 재구성합니다. 우리는 모델이 자신의 오류를 식별하고 수정하도록 가르치는 정제 강화 확산 프레임워크인 ReDiff를 제안합니다. 우리의 접근 방식은 두 단계의 훈련 과정으로 구성됩니다. 첫째, 합성 오류를 수정하는 훈련을 통해 기본적인 수정 능력을 함양합니다. 둘째, 모델이 전문가의 수정 사항을 학습하여 자신의 결함 있는 초안을 명시적으로 수정하도록 훈련하는 새로운 온라인 자기 수정 루프를 구현합니다. 이러한 실수 주도 학습은 모델이 이미 생성된 출력을 재검토하고 정제하는 중요한 능력을 부여함으로써 오류 연쇄를 효과적으로 차단합니다. 폭넓은 실험을 통해 ReDiff가 생성 콘텐츠의 일관성과 사실적 정확성을 크게 향상시키며, 기존 노이즈 제거 방법을 훨씬 능가하는 안정적이고 효율적인 병렬 생성을 가능하게 함을 입증했습니다. 우리의 코드와 모델은 https://rediff-hku.github.io/에서 이용 가능합니다.

대규모 언어 모델(LLM)의 컨텍스트 길이 확장은 상당한 이점을 제공하지만 계산 비용이 많이 듭니다. 이러한 비용은 주로 자기 주의(self-attention) 메커니즘에서 기인하며, 시퀀스 길이에 대한 O(N^2) 복잡도는 메모리와 지연 시간 측면에서 주요 병목 현상으로 작용합니다. 다행히도 주의 행렬(attention matrix)은 특히 긴 시퀀스에서 흔히 희소(sparse)한 특성을 보여 최적화 가능성을 시사합니다. 블록 희소 주의(Block-sparse attention)는 시퀀스를 블록으로 분할하고 이 블록들의 일부에 대한 계산을 생략하는 유망한 해결책으로 부상했습니다. 그러나 이 방법의 효과는 기본 주의 패턴에 크게 의존하며, 이로 인해 차선의 블록 수준 희소성이 발생할 수 있습니다. 예를 들어, 단일 블록 내의 질의(query)에 대한 중요한 키(key) 토큰들이 수많은 다른 블록에 흩어져 있을 수 있어 계산 중복이 발생합니다. 본 연구에서는 주의의 순열(permutation) 특성을 활용하여 블록 수준 희소성을 높이고 LLM 프리필링(prefilling)의 계산 효율성을 향상시키는 플러그 앤 플레이(plug-and-play) 방식인 PBS-Attn(Permuted Block-Sparse Attention)을 제안합니다. 우리는 도전적인 실제 장문 컨텍스트 데이터셋에 대한 포괄적인 실험을 수행하여 PBS-Attn이 모델 정확도 측면에서 기존 블록 희소 주의 방법들을 지속적으로 능가하며 전체 주의(full attention) 기준선(baseline)과 매우 유사한 성능을 보임을 입증했습니다. 저희가 개발한 사용자 정의 순열 플래시 어텐션(permuted-FlashAttention) 커널을 기반으로 PBS-Attn은 장문 컨텍스트 프리필링에서 최대 2.75배의 종단 간(end-to-end) 속도 향상을 달성하여 실용적인 타당성을 확인했습니다. 코드는 https://github.com/xinghaow99/pbs-attn 에서 확인할 수 있습니다.

GUI 접지(GUI grounding)는 자연어 명령어를 실행 가능한 UI 요소로 매핑하는 GUI 에이전트의 핵심 능력입니다. 기존 연구들은 대부분 명령어를 사용자 의도의 정적 대리자로 취급하여, 명령어의 다양성과 질이 접지 성능에 미치는 영향을 간과해 왔습니다. 기존 접지 데이터셋을 면밀히 조사한 결과, 해당 데이터셋의 명령어에 23.3%의 결함률이 존재함을 발견했으며, 추론 시점에 명령어 다양성을 활용하면 최대 76%라는 상당한 상대 성능 향상을 얻을 수 있음을 보여줍니다. 본 논문에서는 명령어를 서로 다른 관점을 제공하는 동적 분석 경로로 간주하고, 추론 과정에서 모델이 가장 효과적인 경로를 선택할 수 있도록 하는 Instruction-as-Reasoning 패러다임을 소개합니다. 이를 위해 두 단계의 학습 프레임워크를 제안합니다: 합성된 다양한 명령어에 대한 지도 미세 조정(SFT)을 통해 다중 관점 추론 능력을 함양하고, 이어서 강화 학습(RL)을 통해 경로 선택 및 구성을 최적화합니다. 이를 통해 탄생한 우리의 모델인 UI-Ins-7B와 UI-Ins-32B는 5개의 도전적인 접지 벤치마크에서 최첨단 성능을 달성하고, 추론 시 새로운 명령어 경로를 선택적으로 구성 및 합성하는 창발적 추론 능력을 보여줍니다. 특히 UI-Ins-32B는 UI-I2E-Bench에서 87.3%, ScreenSpot-Pro에서 57.0%, MMBench-GUI L2에서 84.9%의 점수를 기록하여 최고의 접지 정확도를 달성했습니다. 또한 우리 모델은 강력한 에이전트 능력을 보여주며, UI-Ins-7B를 실행기로 사용하여 AndroidWorld에서 74.1%의 성공률을 달성했습니다. 심층 분석을 통해 추론이 접지 성능을 저해하지 않고 향상시키도록 어떻게 공식화될 수 있는지, 그리고 우리의 방법이 SFT+RL 프레임워크에서 정책 붕괴를 어떻게 완화하는지 등의 추가적인 통찰력을 얻었습니다. 모든 코드와 모델 체크포인트는 https://github.com/alibaba/UI-Ins 에 공개될 예정입니다.

본 논문에서는 시각적 확산 모델이 효과적인 기하학적 솔버 역할을 할 수 있음을 보여줍니다. 즉, 확산 모델이 픽셀 공간에서 작동하여 기하학적 문제를 직접 추론할 수 있습니다. 우리는 먼저 이를 기하학의 오랜 난제인 '내접 정사각형 문제'에 적용하여 증명했습니다. 이 문제는 모든 조르단 곡선이 정사각형을 형성하는 네 점을 포함하는지 묻는 문제입니다. 이후 이 접근법을 두 가지 다른 유명한 난제인 '슈타이너 트리 문제'와 '단순 다각형 문제'로 확장했습니다. 우리의 방법은 각 문제 인스턴스를 이미지로 취급하고, 가우시안 노이즈를 정확한 해에 근접한 유효한 근사 해를 나타내는 이미지로 변환하는 표준 시각적 확산 모델을 학습합니다. 이 모델은 노이즈가 섞인 기하학적 구조를 올바른 구성으로 변환하는 법을 배우며, 기하학적 추론을 효과적으로 이미지 생성 작업으로 재구성합니다. 매개변수화된 기하학적 표현에 확산 모델을 적용할 때 전용 아키텍처와 도메인 특화적 적용이 필요했던 기존 연구와 달리, 우리는 문제의 시각적 표현에서 작동하는 표준 시각적 확산 모델을 사용합니다. 이러한 단순성은 생성 모델링과 기하학적 문제 해결 사이에 놀라운 연결고리가 있음을 부각시킵니다. 본 연구에서 다룬 특정 문제를 넘어, 우리의 결과는 이미지 공간에서 작동하는 것이 악명 높은 난제들을 근사화하는 일반적이고 실용적인 프레임워크를 제공하며, 훨씬 더 광범위한 종류의 까다로운 기하학적 과제에 도전할 문을 연다는 더 넓은 패러다임을 제시합니다.

비디오 대규모 언어 모델(VideoLLM)은 시각-언어 모델의 능력을 시공간적 입력으로 확장하여 비디오 질의응답(VideoQA)과 같은 작업을 가능하게 합니다. 최근 VideoLLM의 발전에도 불구하고, 비디오와 텍스트 정보를 어디서 어떻게 추출하고 전파하는지에 대한 내부 메커니즘은 아직 충분히 연구되지 않았습니다. 본 연구에서는 기계론적 해석 기법을 사용하여 VideoLLM의 내부 정보 흐름을 조사합니다. 우리의 분석은 다양한 VideoQA 작업에서 일관된 패턴을 보여줍니다: (1) VideoLLM의 시간적 추론은 초기부터 중간 계층에서 활발한 교차 프레임 상호작용으로 시작하며, (2) 이어서 중간 계층에서 점진적인 비디오-언어 통합이 이루어집니다. 이는 시간적 개념을 포함하는 언어 임베딩과 비디오 표현 간의 정렬에 의해 촉진됩니다. (3) 이러한 통합이 완료되면 모델은 중간부터 후반 계층에서 정답을 생성할 준비가 됩니다. (4) 우리의 분석을 바탕으로, VideoLLM이 상당량의 어텐션 간선(예: LLaVA-NeXT-7B-Video-FT에서 58%)을 억제하면서도 이러한 효과적인 정보 경로를 선택하여 VideoQA 성능을 유지할 수 있음을 보여줍니다. 이러한 발견들은 VideoLLM이 어떻게 시간적 추론을 수행하는지에 대한 청사진을 제공하며, 모델 해석 가능성과 하위 작업 일반화 성능을 개선하기 위한 실용적인 통찰력을 제공합니다. 소스 코드가 포함된 프로젝트 페이지는 https://map-the-flow.github.io에서 확인할 수 있습니다.

모델 병합은 공통 기반 모델의 여러 미세 조정 체크포인트 지식을 통합하기 위한 효율적인 사후 학습 전략입니다. 기존 방법은 매개변수 공간에서 작동하여 작업 벡터를 결합해 충돌을 완화하지만, 매개변수 불일치에 의해 제약을 받습니다. 본 연구에서는 대신 입력 표현 공간을 모델링하는 프레임워크인 기능적 이중 앵커(FDA)를 제안합니다. FDA는 유도된 그래디언트가 작업 벡터와 정렬되는 합성 입력으로, 사전 학습 모델 대비 작업별 기능적 변화를 포착합니다. 이 관점은 공동 다중 작업 학습과 사후 병합을 연결하여 견고성과 유연성을 모두 제공합니다. 더 나아가 원칙 기반 초기화 기법을 도입하고 FDA가 매개변수 공간 모델 병합과 상호 보완적임을 보입니다. 포괄적인 실험을 통해 모델 병합에서 FDA의 효과성을 입증합니다.

프롬프트 설계는 텍스트-비디오(T2V) 생성에서 중요한 역할을 하지만, 사용자가 제공하는 프롬프트는 종종 짧고 구조화되지 않으며 훈련 데이터와 불일치하여 확산 기반 T2V 모델의 생성 잠재력을 제한합니다. 본 논문에서는 RAPO++를 소개합니다. 이는 교차 단계 프롬프트 최적화 프레임워크로, 훈련 데이터와의 정렬 개선, 테스트 시 반복적 스케일링, 그리고 대규모 언어 모델(LLM) 미세 조정을 통합하여 기본 생성 백본을 수정하지 않고도 T2V 생성을 크게 향상시킵니다. 1단계에서는 검색 증강 프롬프트 최적화(RAPO)가 관계 그래프에서 검색된 의미론적으로 관련된 수식어로 사용자 프롬프트를 풍부하게 하고 훈련 데이터 분포에 맞게 재구성하여 구성성과 다중 객체 정확도를 높입니다. 2단계에서는 샘플 특화 프롬프트 최적화(SSPO)를 도입합니다. 이는 폐쇄형 루프 메커니즘으로, 의미론적 정렬, 공간 정확도, 시간적 일관성 및 광학 흐름과 같은 작업 특화 신호를 포함한 다중 소스 피드백을 사용하여 프롬프트를 반복적으로 개선하여 점진적으로 향상된 비디오 생성 품질을 제공합니다. 3단계에서는 SSPO에서 생성된 최적화된 프롬프트 쌍을 활용하여 재작성 LLM을 미세 조정함으로써 작업 특화 최적화 패턴을 내재화하고 추론 전에도 효율적이고 고품질의 프롬프트 생성을 가능하게 합니다. 5개의 최첨단 T2V 모델과 5개의 벤치마크에 대한 광범위한 실험을 통해 RAPO++가 의미론적 정렬, 구성적 추론, 시간적 안정성 및 물리적 타당성에서 상당한 향상을 달성하며, 기존 방법들을 큰 차이로 능가함을 입증합니다. 우리의 결과는 RAPO++가 모델에 구애받지 않고 비용 효율적이며 확장 가능한 솔루션으로서 T2V 생성 분야의 프롬프트 최적화에 새로운 기준을 제시함을 보여줍니다. 코드는 https://github.com/Vchitect/RAPO에서 확인할 수 있습니다.

우리는 대규모 언어 모델(LLM)의 내부 표현이 학습된 지식의 신뢰할 수 있는 지표 역할을 한다는 사실을 밝히고, 과거 데이터에 접근하지 않고 지속 학습을 위한 새로운 표현 인식 모델 병합 프레임워크인 RECALL을 제안한다. RECALL은 군집화된 대표 샘플에 대한 계층별 은닉 표현으로 모델 간 유사성을 계산하고, 지식을 정렬하기 위해 적응형 계층적 매개변수 융합을 수행한다. 이러한 설계는 얕은 계층에서는 도메인 일반 특징을 보존하면서 깊은 계층에서는 작업별 적응이 가능하도록 한다. 작업 레이블이 필요하거나 성능 저하가 발생하는 기존 방법과 달리, RECALL은 원활한 다중 도메인 통합과 파괴적 망각에 대한 강력한 저항력을 달성한다. 5가지 NLP 작업과 다양한 지속 학습 시나리오에서 수행한 폭넓은 실험을 통해 RECALL이 지식 보존과 일반화 모두에서 기준선을 능가함을 보여주며, 진화하는 LLM을 위한 확장 가능하고 데이터 무관한 솔루션을 제공한다.

기존의 nDCG, MAP, MRR과 같은 정보 검색(IR) 평가 지표들은 인간 사용자가 문서를 순차적으로 검토하며 낮은 순위에 대한 주의도가 점차 감소한다는 가정에 기반합니다. 이러한 가정은 검색 결과가 대형 언어 모델(LLM)에 의해 소비되는 검색 증강 생성(RAG) 시스템에서는 무너집니다. 인간과 달리 LLM은 검색된 모든 문서를 순차적으로가 아닌 전체적으로 처리하기 때문입니다. 또한 기존 IR 지표는 생성 품질을 저하시키는 관련성 없는 문서(단순히 무시되는 것이 아니라 적극적으로 해를 끼치는 경우)를 고려하지 않습니다. 인간 대 기계의 위치 할인과 인간의 관련성 대 기계의 유용성이라는 두 가지 주요 불일치로 인해 기존 IR 지표는 RAG 성능을 정확히 예측하지 못합니다. 본 연구에서는 관련 문단의 긍정적 기여와 방해 문단의 부정적 영향을 모두 정량화하는 유용성 기반 주석 체계를 소개합니다. 이를 바탕으로 LLM 지향적 위치 할인을 사용하여 종단간 답변 정확도와의 상관관계를 직접 최적화하는 지표인 UDCG(Utility and Distraction-aware Cumulative Gain)를 제안합니다. 5개 데이터셋과 6개 LLM에 대한 실험 결과, UDCG는 기존 지표 대비 최대 36%까지 상관관계를 향상시키는 것으로 나타났습니다. 본 연구는 IR 평가를 LLM 소비자에 맞추는 중요한 진전을 이루었으며 RAG 구성 요소의 보다 신뢰할 수 있는 평가를 가능하게 합니다.

최근 검색 증대 생성이나 사고 연쇄 추론과 같은 기술들은 더 긴 컨텍스트와 증가된 추론 비용을 초래했습니다. 컨텍스트 압축 기술은 이러한 비용을 줄일 수 있지만, 가장 효과적인 접근법들은 대상 모델의 미세 조정이나 아키텍처 수정까지 필요로 합니다. 이는 특정 목적으로 사용되지 않을 때 모델의 일반적인 능력을 저하시킬 수 있습니다. 본 연구에서는 대안적 접근법을 탐구합니다: 컨텍스트를 연속적 표현으로 압축하여 디코더 LLM의 토큰 임베딩을 대체하는 인코더입니다. 먼저, 인코더를 위한 훈련 전략과 아키텍처 선택에 대한 체계적인 연구를 수행합니다. 우리의 연구 결과는 ARC-Encoder로 명명된 Adaptable text Representations Compressor의 설계로 이어졌으며, 이는 텍스트 토큰보다 x배(일반적으로 x∈{4,8}) 적은 수의 연속적 표현을 출력합니다. 우리는 인스트럭트 디코더와 베이스 디코더 모두에서, 컨텍스트 내 학습부터 컨텍스트 윈도우 확장에 이르기까지 다양한 LLM 사용 시나리오에 걸쳐 ARC-Encoder를 평가합니다. 결과는 ARC-Encoder가 여러 벤치마크에서 최첨단 성능을 달성하면서 추론 시 계산 효율성을 향상시킴을 보여줍니다. 마지막으로, 우리의 모델이 여러 디코더에 동시에 적용될 수 있음을 입증하여, 단일 인코더가 서로 다른 디코더 LLM에 걸쳐 일반화될 수 있게 합니다. 이는 ARC-Encoder를 여러 LLM과 원활하게 작동하는 이식성 있는 인코더를 위한 유연하고 효율적인 솔루션으로 만듭니다. 우리는 훈련 코드를 https://github.com/kyutai-labs/ARC-Encoder 에 공개하며, 미세 조정 데이터셋과 사전 훈련된 모델은 https://huggingface.co/collections/kyutai/arc-encoders-68ee18787301407d60a57047 에서 이용 가능합니다.

최근 멀티모달 연속 학습 분야에서 상당한 진전이 있었으며, 이는 이전에 학습한 작업의 성능을 유지하면서 멀티모달 환경에서 새로운 작업을 순차적으로 학습하는 것을 목표로 합니다. 그러나 기존 방법론들은 주로 coarse-grained 작업에 집중되어 있으며, fine-grained 연속 학습 환경에서의 모달리티 간섭 문제를 해결하는 데 한계가 있습니다. 이러한 격차를 해소하기 위해 본 연구에서는 오디오의 지도를 받아 새로운 클래스를 지속적으로 분할하는 새로운 연속 오디오-비주얼 분할(CAVS) 작업을 소개합니다. 포괄적 분석을 통해 두 가지 주요 과제가 확인되었습니다: 1) 순차 작업에서 소리를 내는 객체가 배경으로 레이블되는 멀티모달 의미론적 드리프트, 2) 빈번하게 동시 발생하는 클래스 간 혼란이 발생하는 공동 발생 혼동. 본 연구에서는 이러한 과제를 해결하기 위해 충돌 기반 멀티모달 재현(CMR) 프레임워크를 설계했습니다. 구체적으로, 멀티모달 의미론적 드리프트에 대해서는 높은 모달 일관성을 가진 샘플을 재현용으로 선별하는 멀티모달 샘플 선택(MSS) 전략을 제안합니다. 동시에 공동 발생 혼동에 대해서는 학습 과정에서 혼동 가능한 클래스들의 재현 샘플 빈도를 증가시킬 수 있는 충돌 기반 샘플 재현(CSR) 메커니즘을 설계했습니다. 또한 본 방법론의 효과성을 검증하기 위해 세 가지 오디오-비주얼 증분 시나리오를 구축했습니다. 포괄적 실험을 통해 본 방법론이 단일 모달 연속 학습 방법론들을 크게 능가함을 입증했습니다.

대규모 언어 모델(LLM)은 외부 환경과 상호작용하는 에이전트 시스템에 점점 더 많이 배포되며, 이로 인해 신뢰할 수 없는 데이터를 처리할 때 프롬프트 인젝션에 취약해질 수 있습니다. 이러한 한계를 극복하기 위해 우리는 도구를 활용하는 LLM 에이전트를 위해 설계된 간단하면서 효과적인 반복적 프롬프트 살균 루프인 SIC(Soft Instruction Control)를 제안합니다. 우리의 방법은 유입되는 데이터를 반복적으로 검사하여 에이전트 동작을 손상시킬 수 있는 명령어가 있는지 확인합니다. 이러한 내용이 발견되면 악성 콘텐츠를 재작성, 마스킹 또는 제거한 후 결과를 재평가합니다. 이 프로세스는 입력이 안전해지거나 최대 반복 한도에 도달할 때까지 계속되며, 만약 명령형 명령어 형태의 내용이 남아 있을 경우 보안을 위해 에이전트가 중단됩니다. 다중 패스를 허용함으로써, 우리의 접근 방식은 개별 재작성이 실패할 수 있음을 인정하지만 시스템이 후속 단계에서 놓친 인젝션을 포착하고 수정할 수 있도록 합니다. SIC는 즉각적으로 유용하지만, 최악의 경우 분석에 따르면 SIC도 완벽하지는 않습니다. 강력한 공격자는 비명령형 워크플로를 내장함으로써 여전히 15%의 공격 성공률(ASR)을 달성할 수 있습니다. 그럼에도 불구하고 이는 보안 장벽을 높이는 것입니다.

대규모 추론 모델(LRM)의 최근 발전은 최종 답변 생성 전 중간 '사고' 과정을 도입하여 복잡한 다운스트림 작업에서의 추론 능력을 향상시켰습니다. 그러나 기계 번역(MT) 품질 평가자로서 LRM의 잠재력은 아직 충분히 탐구되지 않았습니다. 본 연구는 MT 평가에서 LRM을 평가자로 활용하는 첫 번째 체계적인 분석을 제공합니다. 우리는 LRM이 맞춤형 평가 자료를 필요로 하고, 단순한 사례에서 '지나치게 생각'하는 경향이 있으며, 과대 평가를 초래하는 채점 메커니즘 문제가 있음을 밝혀내는 주요 과제를 식별합니다. 이를 해결하기 위해 인간과 유사한 합성 사고 궤적을 통해 LRM 사고를 교정하는 방법을 제안합니다. WMT24 Metrics 벤치마크에 대한 실험 결과, 이 접근법이 사고 예산을 약 35배 크게 줄이면서 동시에 7B에서 32B에 이르는 다양한 규모의 LRM에서 평가 성능을 향상시킴을 보여줍니다(예: R1-Distill-Qwen-7B은 +8.7 상관 관계 점수 향상 달성). 이러한 결과는 효율적으로 교정된 LRM이 세분화된 자동 MT 평가를 발전시킬 잠재력을 강조합니다.

물체 역학을 시뮬레이션하는 인터랙티브 월드 모델은 로봇공학, 가상 현실(VR), 증강 현실(AR) 분야에서 매우 중요합니다. 그러나 특히 공간적으로 변하는 물리적 속성을 가진 변형체 객체의 경우, 제한된 실제 세계 비디오 데이터로부터 물리적 일관성을 갖춘 역학 모델을 학습하는 것은 여전히 큰 과제로 남아 있습니다. 이러한 데이터 부족 문제를 해결하기 위해, 본 연구에서는 시뮬레이터를 활용하여 물리적으로 타당하고 다양한 데모를 합성하여 효율적인 월드 모델을 학습하는 새로운 프레임워크인 PhysWorld를 제안합니다. 구체적으로, 우리는 먼저 구성 모델 선택과 물리적 속성에 대한 전역-국소 최적화를 통해 MPM 시뮬레이터 내에 물리적 일관성을 갖춘 디지털 트윈을 구축합니다. 이후, 물리적 속성에 부분 인식 교란을 적용하고 디지털 트윈에 대해 다양한 운동 패턴을 생성하여 방대하고 다양한 데모를 합성합니다. 마지막으로, 이러한 데모를 사용하여 물리적 속성이 내재된 경량 GNN 기반 월드 모델을 학습합니다. 실제 비디오를 사용하여 물리적 속성을 추가로 정제할 수 있습니다. PhysWorld는 다양한 변형체 객체에 대해 정확하고 빠른 미래 예측을 달성하며, 새로운 상호작용에도 잘 일반화됩니다. 실험 결과, PhysWorld는 최신 SOTA 방법인 PhysTwin 대비 47배 빠른 추론 속도를 가능하게 하면서도 경쟁력 있는 성능을 보여줍니다.

범주론을 적용하여 다중모드 문서 구조를 추출하며, 이를 통해 정보 이론적 측정 방법, 콘텐츠 요약 및 확장, 그리고 대규모 사전 학습 모델의 자기 지도적 개선 기법을 개발합니다. 첫 번째로, 문서를 질문-응답 쌍의 범주로 수학적으로 표현하는 방법을 고안합니다. 두 번째로, 하나 이상의 문서에 포함된 정보를 중복되지 않는 조각으로 분리하는 직교화 절차를 개발합니다. 첫 번째와 두 번째 단계에서 추출된 구조를 바탕으로 문서가 포함한 정보를 측정하고 열거하는 방법을 도출합니다. 또한 이러한 단계들을 확장하여 새로운 요약 기술을 개발하고, 원본 문서의 확장을 결과로 하는 해석(exegesis)이라는 새로운 문제에 대한 해결책을 제시합니다. 우리의 질문-응답 쌍 방법론은 요약 기술에 대한 새로운 율-왜곡 분석을 가능하게 합니다. 대규모 사전 학습 모델을 활용하여 기법들을 구현하고, 전체 수학적 프레임워크의 다중모드 확장을 제안합니다. 마지막으로, 범주론적 프레임워크에서 자연스럽게 도출되는 구성 가능성(composability) 및 특정 연산에 대한 닫힘(closure)과 같은 일관성 제약 조건을 활용하여 RLVR을 이용한 새로운 자기 지도적 방법을 개발하여 대규모 사전 학습 모델을 개선합니다.

강화학습(RL)은 대규모 언어 모델의 능력을 향상시키는 중요한 접근법으로 부상했습니다. 그러나 전문가 혼합(MoE) 모델에서는 라우팅 메커니즘으로 인해 불안정성이 종종 발생하며, 심지어 파국적인 RL 학습 붕괴로 이어지기도 합니다. 본 연구는 MoE 모델의 학습-추론 일관성을 분석하고 두 단계 간 라우팅 동작에서 현저한 불일치가 있음을 확인했습니다. 더욱이 동일한 조건에서도 라우팅 프레임워크는 반복된 순전파 과정에서 상이한 전문가 선택을 초래할 수 있습니다. 이러한 근본적인 불일치를 해결하기 위해 우리는 추론 엔진에서 라우팅 분포를 기록하고 학습 중에 이를 재생하는 방법인 Rollout Routing Replay(R3)를 제안합니다. R3는 학습 속도를 저하시키지 않으면서 학습-추론 정책 KL 발산을 크게 줄이고 극단적인 불일치를 완화합니다. 다양한 설정에서의 광범위한 실험을 통해 R3가 RL 학습을 안정화하고 붕괴를 방지하며 GSPO나 TIS와 같은 방법보다 성능이 우수함을 확인했습니다. 우리는 이 연구가 MoE 모델에서 RL을 안정화하는 새로운 해결책을 제시할 수 있을 것으로 믿습니다.

폴리 컨트롤은 사전 학습된 단일 모달리티 모델을 동결(frozen) 상태로 유지하고 그 사이의 소형 교차 주의력(cross-attention) 브리지만 학습하는, 경량화된 비디오 기반 폴리 사운드 생성 방식입니다. 우리는 V-JEPA2 비디오 임베딩을 동결된 Stable Audio Open DiT 텍스트-음향(T2A) 모델에 연결하기 위해, 모델의 기존 텍스트 교차 주의력 층 다음에 컴팩트한 비디오 교차 주의력 층을 삽입합니다. 이를 통해 프롬프트는 전역적 의미를 설정하고 비디오는 타이밍과 지역적 동역학을 세부 조정합니다. 동결된 백본은 강력한 주변 분포(비디오; 텍스트가 주어진 음향)를 유지하며, 브리지는 동기화에 필요한 음향-비디오 의존성을 학습합니다. 이때 음향 사전 분포(audio prior)를 재학습할 필요가 없습니다. 메모리 사용량을 절감하고 학습을 안정화하기 위해, 우리는 조건부 입력 전에 비디오 토큰을 풀링(pooling)합니다. 정제된 비디오-음향 벤치마크에서 폴리 컨트롤은 최근 다중 모달 시스템 대비 훨씬 적은 학습 매개변수로 경쟁력 있는 시간적 및 의미론적 정렬 성능을 제공하며, 프롬프트 기반 제어성과 제작 친화적인 모듈성(인코더나 T2A 백본을 엔드-투-엔드 재학습 없이 교체/업그레이드 가능)을 유지합니다. 비록 우리가 비디오-폴리 변환에 초점을 맞추고 있지만, 동일한 브리지 설계는 다른 음향 모달리티(예: 음성)로도 확장 적용될 수 있습니다.

AI 에이전트는 문헌 고찰 자동화, 실험 재현, 데이터 분석, 나아가 새로운 연구 방향 제안을 통해 과학적 생산성을 혁신할 잠재력을 지니고 있습니다. 실제로 현재는 범용 "딥 리서치" 시스템부터 AI Scientist, AIGS와 같은 과학 특화 에이전트에 이르기까지 다양한 에이전트가 존재합니다. 이러한 에이전트에 대한 엄격한 평가는 발전을 위해 중요합니다. 그러나 기존 벤치마크는 몇 가지 측면에서 한계를 보입니다: (1) 과학 연구와 같은 실제 사용 사례에 대한 전체적이고 제품 기반의 측정치를 제공하지 못하며, (2) 핵심 에이전트 능력을 통제된 조건에서 비교하는 데 필요한 재현 가능한 에이전트 도구가 부족하고, (3) 모델 비용과 도구 접근성 같은 교란 변수를 고려하지 않으며, (4) 빠른 에이전트 프로토타이핑과 평가를 위한 표준화된 인터페이스를 제공하지 않고, (5) 진정한 발전을 확인하는 데 필요한 포괄적인 기준 에이전트가 부족합니다. 이에 대응하여 우리는 에이전트를 보다 엄격하게 벤치마킹하기 위한 원칙과 도구를 정의합니다. 이를 활용하여 우리는 과학 연구 수행 능력에 대한 최초의 종합적 측정치를 제공하는 AstaBench를 소개합니다. 이 스위트는 전체 과학 발견 과정과 여러 과학 영역에 걸친 2,400개 이상의 문제로 구성되며, 배포된 Asta 에이전트에 대한 실제 사용자 요청에서 영감을 받은 많은 문제를 포함합니다. 우리의 스위트는 통제되고 재현 가능한 평가를 가능하게 하는 프로덕션 등급 검색 도구를 갖춘 최초의 과학 연구 환경을 동반하며, 교란 변수를 더 잘 설명합니다. 함께하여 우리는 과학에 최적화된 9개 클래스의 포괄적인 Asta 에이전트 스위트와 수많은 기준치를 제공합니다. 22개 에이전트 클래스에 걸친 57개 에이전트에 대한 우리의 광범위한 평가는 몇 가지 흥미로운 발견을 보여주는데, 가장 중요한 것은 특정 개별 측면에서 의미 있는 진전이 있었음에도 불구하고 AI가 과학 연구 지원이라는 과제를 해결하는 데는 여전히 거리가 멀다는 점입니다.

다중 모달 대규모 언어 모델(MLLM)의 시각적 추론 능력은 주로 정적이고 완전히 관찰 가능한 환경에서 연구되어 왔으며, 이는 폐색이나 제한된 시야로 인해 정보가 종종 불완전한 실제 환경에서의 효과성을 제한해왔습니다. 이에 반해 인간은 환경을 능동적으로 탐색하고 상호작용하며(움직이고, 관찰하고, 객체를 조작하는 방식) 지각, 추론, 행동을 통합한 폐쇄형 루프 과정을 통해 정보를 수집합니다. 이러한 인간의 능력에서 영감을 받아, 우리는 시각적 추론을 부분적으로 관찰 가능한 상호작용 환경으로 확장하는 능동 시각 추론(AVR) 과제를 소개합니다. AVR은 에이전트가 다음을 수행할 것을 요구합니다: (1) 순차적 물리적 행동을 통해 능동적으로 정보를 획득하고, (2) 다중 단계에 걸친 관측을 통합하여 일관된 추론을 수행하며, (3) 변화하는 시각적 피드백에 기반하여 동적으로 결정을 조정하는 것. AVR을 엄격하게 평가하기 위해, 우리는 추론 정확성과 정보 수집 효율성을 모두 평가하도록 설계된 다중 라운드 상호작용 환경을 갖춘 시뮬레이션 벤치마크인 CLEVR-AVR을 제안합니다. 우리는 불확실성 식별, 행동-조건 정보 이득 예측, 정보 극대화 행동 선택을 위한 반복적 추론을 상세히 설명하는 풍부한 사고 연쇄(CoT) 주석을 제공하는 대규모 데이터셋 AVR-152k를 제시하며, 이는 고차 마르코프 결정 과정에서 에이전트를 훈련시키는 데 중요합니다. 이를 바탕으로 우리는 CLEVR-AVR, 구현화 추론(OpenEQA, RoboVQA), 수동 시각 추론(GeoMath, Geometry30K)에서 최첨단 성능을 달성하는 MLLM인 PhysVLM-AVR을 개발합니다. 우리의 분석은 또한 현재의 구현화된 MLLM들이 정보 불완전성을 감지함에도 불구하고, 상호작용을 통해 새로운 정보를 능동적으로 획득하고 통합하는 데 어려움을 겪는다는 점을 보여주며, 이는 능동적 추론 능력에 있어 근본적인 격차가 있음을 강조합니다.

3D LiDAR 센서는 원격 감응 응용 분야에서 자율 주행, 환경 모니터링, 정밀 매핑에 필수적입니다. 이러한 센서에서 생성되는 방대한 포인트 클라우드를 효율적으로 처리하기 위해 LiDAR 데이터는 각도 위치와 거리에 따라 포인트를 구성하는 2D 거리 이미지로 투영되는 경우가 많습니다. 이러한 거리 이미지 표현은 효율적인 처리를 가능하게 하지만, 기존 투영 방법은 되돌릴 수 없는 정보 손실을 초래하는 근본적인 기하학적 불일치 문제를 안고 있어 고정확도 응용 분야의 신뢰성을 저해합니다. 본 논문에서는 ALICE-LRI(Automatic LiDAR Intrinsic Calibration Estimation for Lossless Range Images)를 제안합니다. 이는 제조사 메타데이터나 캘리브레이션 파일 없이도 회전형 LiDAR 포인트 클라우드로부터 무손실 거리 이미지를 생성하는 최초의 범용적이며 센서에 독립적인 방법입니다. 우리의 알고리즘은 레이저 빔 구성, 각도 분포, 빔별 캘리브레이션 보정값 등 중요한 파라미터를 추론하여 모든 회전형 LiDAR 센서의 내재 기하구조를 자동으로 역설계하며, 이를 통해 무손실 투영과 포인트 손실 제로의 완전한 포인트 클라우드 재구성을 가능하게 합니다. 전체 KITTI 및 DurLAR 데이터셋에 대한 포괄적 평가를 통해 ALICE-LRI가 모든 포인트 클라우드에서 단 하나의 포인트 손실 없이 완벽한 포인트 보존을 달성함을 입증했습니다. 기하학적 정확도는 센서 정밀도 한계 범위 내에서 잘 유지되며, 실시간 성능을 바탕으로 기하학적 무손실성을 확립합니다. 또한, 실용적인 응용 분야에서의 상당한 품질 향상을 입증하는 압축 사례 연구를 통해 실질적인 하류 작업 이점을 검증합니다. 근사적 LiDAR 투영에서 무손실 투영으로의 이러한 패러다임 전환은 완전한 기하학적 보존이 필요한 고정밀 원격 감응 응용 분야에 새로운 가능성을 열어줍니다.