일간 논문

자율 에이전트가 머신러닝(ML) 연구를 처음부터 끝까지(end-to-end) 수행하기 시작하고 있다. 이들 에이전트는 모델 백본과 계획·실행·메모리·검증을 위한 하네스를 결합하지만, 그러한 구조는 여전히 도메인 특화 노하우를 에이전트 바깥에 남겨 둔다. 우리는 여기서 누락된 계층을 운영 지식(operational knowledge)이라 부르는데, 이는 어떤 방법을 안다는 것과 그 방법을 실제로 작동시킨다는 것을 구분 짓는 노하우를 뜻한다. 그런 지식이 해당 분야에 아예 없는 것은 아니다. 저장소와 논문에는 존재하지만, 인간 독자를 위해 쓰인 형태일 뿐 아니라 작업 도중 로드하기에는 너무 방대하다. 일단 간결하고 검증된 스킬로 증류되고 나면, 이 지식은 매 실행 때마다 재발견하는 대신 여러 작업에 걸쳐 재사용될 수 있다. 이 글에서 우리는 연구 중에 스킬을 생성하고 이를 연구에 활용하는 스킬 기반 연구 에이전트 DisCo를 제시한다. DisCo의 증류는 서로 보완적인 두 가지 형태로 진행된다. 작업 무관(task-agnostic) 증류는 해당 분야에서 널리 쓰이는 저장소들을 재사용 가능한 스킬로 압축하고, 작업 지향(task-oriented) 증류는 구체적인 작업이 요구하는 스킬을 생성한다. 전자를 개방형 생태계 전반에 적용하면 AREX-Skill Library가 산출된다. 이 라이브러리는 널리 쓰이는 1,000개 ML 저장소에서 증류한 5,000개 이상의 검증된 스킬로 구성되며, 20개 영역과 178개 역량군으로 정리된다. GPT-5.5 백본, 연구 하네스, 다운스트림 실행 예산을 모두 고정한 채, 스킬을 갖춘 연구 에이전트는 스킬이 없는 동일 에이전트보다 MLE-bench에서 134.3%, PaperBench에서 34.4%, FrontierCS에서 9.2%, PassNet에서 14.0% 더 높은 점수를 기록했다. 이러한 향상은 고정된 설정 아래에서 증류된 운영 컨텍스트를 추가함으로써 얻어졌다.

에이전트가 연구 프로토타입에서 배포 도구로 전환됨에 따라, 에이전트의 성능은 점점 더 모델 외부의 실행 인프라, 즉 일반적으로 에이전트 하네스(agent harness)라고 불리는 요소에 의존하게 된다. 모델 가중치를 고정한 채 이 하네스를 변경하면 작업 성능이 크게 달라질 수 있다. 현재의 에이전트 평가는 대개 선택된 하네스 하에서의 다운스트림 성능을 보고하며, 에이전트가 하네스 자체를 개발하는 능력은 상대적으로 충분히 탐구되지 않은 상태로 남아 있다. 본 논문에서는 평가 단위를 작업 출력에서 실행 가능한 인프라로 전환하는 벤치마크인 HarnessDev를 제안한다. HarnessDev는 두 단계로 구성된다. 생성(Creation) 단계에서 에이전트는 최소한의 시드와 소수의 사례로부터 시작하여 완전한 실행 시스템을 구축한다. 진화(Evolution) 단계에서는 스스로 만든 하네스를 출발점으로 삼아 다운스트림 실행 피드백을 활용해 하네스를 반복적으로 개선하며, 벤치마크 성능 향상을 목표로 한다. 이후 구축된 각 하네스는 성능(보류된 벤치마크에서의 과제 성공률)과 효율성(실행 토큰 비용) 측면에서 평가된다. 보고된 Creation 결과는 여섯 개의 제작 LLM, 네 개의 도메인, 총 2,207개의 고유 다운스트림 인스턴스로 구성된 다섯 개의 다운스트림 벤치마크를 대상으로 하며, 개발 과정에서는 평가 과제가 숨겨진 채 유지된다. 실험 결과, 생성된 하네스는 코드 영역과 검색·연구 영역에서 인간이 직접 설계한 완성도 높은 참조 구현에 여전히 상당히 뒤처졌으며, 글쓰기와 머신러닝 실험 영역에서는 선정된 참조 구현과 대등하거나 더 나은 성능을 보였다. 또한 실행 비용의 편차가 컸다. Evolution 단계는 일부 성능 향상을 가져왔지만 그 향상은 불안정하며, 보류된 과제로의 전이도 부분적으로만 이루어졌다. 런타임 모델을 고정한 추가 실험에서는 이러한 성능 향상이 하네스를 실행하는 모델에 크게 의존한다는 사실이 드러났으며, 이는 모델 간 전이 가능성이 제한적임을 시사한다.

인간 학습의 중요한 여러 형태는 ‘더 나은 물리학자가 되기’나 ‘연구 능력 향상’ 같은 모호한 목표에서 시작된다. 학습자는 그 목표를 해석하고, 능력 격차를 파악하며, 학습 방법을 결정하고, 실제로 향상되었는지 판단해야 한다. 이와 달리, 기존의 LLM 자기 진화(self-evolution) 연구는 대개 인간이 명시한 과제와 평가 지표에서 출발한다. 그 결과 자기 진화는 무엇을 어떻게 배울지 결정하는 문제가 아니라 명시적인 목표를 최적화하는 문제로 축소된다. 우리는 모호한 목표 기반 자기 진화를 위한 벤치마크인 ASPIRE를 소개한다. ASPIRE는 자연어로 표현된 능력 목표만 제공하며, 다운스트림 평가 과제는 공개되지 않은 채로 남는다. 에이전트는 데이터와 업데이트 방법을 선택하고, 학습 및 검증 신호를 구성하며, 언제 평가할지를 결정함으로써 목표를 구체화해야 한다. ASPIRE는 통합된 상호작용 환경에서 모델 가중치 진화와 에이전트 하네스(agent harness) 진화를 모두 지원하며, 결과적으로 생성된 시스템을 여섯 가지 목표를 포괄하는 520개 항목의 비공개 전문가 작성 데이터셋으로 평가한다. 실험 결과, 모호한 목표는 탐색 노력을 목표 해석 쪽으로 돌리는 것으로 나타났다. 현재의 에이전트는 학습 및 하네스 편집 루프를 통상적으로 완료하지만, 모델 가중치 수준의 개선은 드물고 불안정하며, 가장 우수한 진화 하네스조차 사람이 설계한 Qwen-Agent 참조 구현에 미치지 못한다. 에이전트는 종종 목표와 어긋난 데이터로 학습하고 협소한 자기 평가를 신뢰한다. 그 결과 그 범위에서 얻은 국부적 개선은 비공개 평가로 전이되지 못하며, 탐색과 학습을 계속하면 이전의 개선마저 지워질 수 있다.

우리는 SolarWM을 소개한다. SolarWM은 데이터 준비부터 장기 지평(long-horizon) 추론에 이르기까지 인터랙티브 비디오 월드 모델을 구축하기 위한 완전 개방형 기반이다. 이질적인 데이터 소스와 비디오 백본에 걸친 학습은 어려운 과제이다. 데이터셋마다 시간적 스케일, 카메라 기하 구조, 시각 품질, 모션, 캡셔닝 스타일이 다르며, 비디오 생성 모델은 서로 다른 표현 방식과 아키텍처를 사용한다. 따라서 단순한 데이터 혼합과 모델별 맞춤 구현은 비일관된 지도 신호(supervision)를 초래하고, 결과의 재현과 비교를 어렵게 만든다. SolarWM은 이러한 결합 문제를 재구성 가능한 다중 소스 데이터 엔진과 백본-네이티브 적응 프레임워크로 해결한다. 이 엔진은 10개 데이터셋에서 추출한 143만 개의 표준 캐노니컬 클립을 시각 관측, 메트릭 카메라 기하, 캡션, 품질 메타데이터, 선택 결정, 출처 정보를 포함하는 통합된 프레임 정렬 명세로 변환하며, 소스 처리를 혼합 구성으로부터 분리한다. 공유된 카메라 컨디셔닝, 학습, 추론 인터페이스 하에서 우리는 Wan2.2, LTX-2.5, MiniMax-H3 기반의 5B~33B 규모 네 가지 모델을 각자의 고유한 표현과 목적 함수를 유지한 채 구현한다. 통합된 3단계 레시피는 양방향 적응, 교사 강제(teacher-forced) 자기회귀 초기화, 분포 정합 증류를 결합한다. 그 결과 얻어진 인과적(causal) 모델들은 5초 길이의 시퀀스만으로 학습된 이후에도 수 분에서 수 시간에 이르는 롤아웃 전반에 걸쳐 실시간 상호작용을 가능하게 한다. SolarWM은 생성된 데이터, 파이프라인, 레시피, 가중치, 프레임워크를 모두 공개함으로써 인터랙티브 월드 모델 연구를 위한 재현 가능하고 확장 가능한 기반을 제공한다.

LLM 에이전트를 평가하는 것은 그 개발 방향을 설정하는 데 필수적이지만, 그 비용이 너무 높아져 감당하기 어렵게 되었다. 최첨단 모델 하나를 에이전트 벤치마크에서 한 번 평가하는 데 수백에서 수천 달러가 들 수 있으며, 이러한 비용은 반복적인 개발 주기 동안 여러 차례 지불된다. 벤치마크 증류(benchmark distillation)에 초점을 맞춘 기존 연구들은 평가 과제(task)의 수를 줄이지만 각 과제 실행 비용에는 변화가 없다. 본 연구는 실행 비용을 과제 내부에서 절감하는 상호보완적인 효율성 축인 조기 결과 예측(early outcome prediction)을 제안한다. 본 연구의 핵심 통찰은 에이전트의 최종 결과가 실행이 완료되기 훨씬 전에 중간 행동만으로도 분명히 드러나는 경우가 많다는 것이다. 이러한 아이디어를 구현한 EarlyEval은 행동, 텍스트, 참조 해법 특징에 대해 LightGBM 기반 성공/실패 분류기 쌍을 훈련하고, 어느 한쪽 분류기가 보정된 신뢰도 임계값을 넘어서는 순간 에이전트 실행을 중단하는 경량 프레임워크로, 단계당 추가 비용(overhead)은 무시할 수준이다. SWE-bench Verified, TerminalBench, Toolathlon의 세 벤치마크에서 EarlyEval은 89%~97%의 예측 정확도로 에이전트 단계의 13%~26%를 제거하고 입력 토큰의 최대 44.1%, 출력 토큰의 최대 29.4%를 절감하면서, 에이전트별 해결률 변화는 평균 1~2퍼센트포인트에 불과하다.

검색(Retrieval)은 현대 검색 및 광고 시스템의 첫 단계로, 대규모 아이템 집합에서 하위 랭킹과 경매를 위한 후보 집합을 선별한다. 최근 연구에서는 LLM을 활용하여 쿼리 확장, 데이터 합성, 검색 피드백 훈련을 통해 검색 성능을 개선하는 사례가 늘고 있다. 그러나 생성 모듈은 일반적으로 쿼리 측 증강에만 사용되며, 최종 매칭은 여전히 하위 검색기(retriever)에 위임된다. 우리는 CoGR을 제안한다. 이는 LLM이 쿼리 측과 아이템 측 모두에서 검색 표현을 직접 구성하도록 훈련시키는 검색 프레임워크이다. 각 생성기는 간결한 키워드 집합을 생성하며, 이 키워드들은 역색인(inverted index)을 통해 직접 매칭되어 기존 키워드 기반 검색 인프라와의 호환성을 유지한다. CoGR은 두 단계의 훈련 파이프라인을 사용한다. 먼저 지도 미세 조정(supervised fine-tuning)으로 정렬된 키워드 공간을 구축한 후, 공동 진화 강화 학습(co-evolving reinforcement learning)이 GRPO를 사용하여 반대편 측의 고정된 인덱스를 대상으로 쿼리 측 및 아이템 측 생성기를 교대로 최적화한다. 두 측 모두 동일한 쿼리-아이템 검색 F₁ 목표를 최적화한다. 쿼리 측은 검색 F₁을 직접 보상으로 받는 반면, 아이템 측은 생성된 키워드로 인해 발생하는 쿼리 측 F₁의 변화를 측정하는 반사실적 한계 보상(counterfactual marginal reward)을 받는다. 10개의 대표적인 희소(sparse), 밀집(dense), 생성적(generative) 기준선 모델과 비교하여, CoGR은 내부 APP 마켓플레이스 데이터셋과 공개 WANDS 벤치마크 모두에서 최고 성능을 달성했으며, 가장 강력한 기준선 대비 F₁을 각각 10.9% 및 36.1% 향상시켰다. 추가 분석 결과 훈련 과정에서 안정적인 공동 진화와 쿼리-아이템 키워드 공간 간의 정렬이 점진적으로 강화되는 것이 확인되었다.

언어 모델은 어텐션의 대부분을 컨텍스트의 극히 일부에 집중하지만, 실제로 중요한 소수의 토큰을 찾기 위해 전체 KV 캐시를 읽는다. 사용자가 100만 토큰 대화에서 이전 세부 사항을 질문할 경우, 전역 어텐션 레이어는 답변의 각 토큰을 생성할 때마다 전체 컨텍스트를 스캔해야 한다. 주요 해결책 중 하나는 경량 프록시 점수를 통해 관련 토큰을 사전 선택하여 비용을 줄이는 방식이지만, 이러한 외재적 점수화는 여전히 단계마다 O(N) 비용이 발생한다. 우리는 "모델이 이미 어느 컨텍스트가 관련 있는지 스스로 알지 않을까?"라는 단순한 질문에서 출발한 내재적 접근법을 취한다. 이를 위해 우리는 선언적 어텐션(DA, Declarative Attention)을 도입한다. 이는 모델이 사고 사슬 내에서 어디에 어텐션을 기울여야 하는지를 선언하도록 유도하는 프로토콜로, 생성을 세 가지 모드, 즉 <global>(전체 컨텍스트), <focus>(특정 영역), <local>(최근 출력만)로 분할한다. 추론 엔진은 이러한 선언을 도구 호출처럼 파싱하여 대부분의 KV 캐시 읽기를 건너뛴다. 15개 장문 컨텍스트 과제에 대한 제로샷 평가에서, 기성 모델(Gemma-4-31B, Qwen-3.6-27B)에 적용된 DA는 디코딩 중 총 어텐션 대상 토큰을 상당히 줄였으며(52.0%, 31.1%), 정확도 하락은 경미했다(1.27pp, 2.75pp). 이러한 하락은 모델 규모가 커질수록 축소된다. DA는 희소 어텐션의 새로운 축을 열어주며, 향후 연구에서 탐구할 수 있는 학습 기반 방법에서 추가적인 잠재력을 지닌다.

텍스트가 풍부한 시각 입력은 픽셀 공간에서 언어를 직접 읽고, 검색하고, 압축할 수 있는 모델을 요구하지만, 기존의 픽셀-텍스트 인코더는 고정 해상도 사전학습, 시각적 지름길 학습, 약한 시각적 접지, 다국어 시각 텍스트 이해에서 어려움을 겪는다. 본 연구에서는 강건한 시각 텍스트 표현 학습에 필요한 근본적인 설계 원칙을 조사한다. 체계적인 통제 절제 실험을 통해 우리는 네 가지 핵심 요소를 식별한다: 다양한 이미지 해상도와 렌더링된 글꼴 크기는 고해상도 문서 일반화를 위한 공간적 프록시를 제공하며, 자연 이미지-텍스트 쌍은 접지에 필수적이고 텍스트 전용 붕괴를 방지하며, 레이아웃을 인지하는 렌더링은 픽셀 수준의 지름길 학습을 방지하는 데 도움이 되고, 2단계 다국어 커리큘럼은 효과적인 교차 언어 정렬을 가능하게 한다. 이러한 원칙들을 확장 가능한 학습 레시피에 통합함으로써, 우리는 실시간 렌더링, 통합 대조 접지, 그리고 2억 8천만 개의 학습 예제에 대한 다국어 커리큘럼으로 학습된 네이티브 해상도 비전 인코더인 Pixel Linguist II를 학습시킨다. Pixel Linguist II는 영어, 교차 언어, 다국어 Visual STS 및 ViDoRe에서 새로운 최첨단 결과를 달성하며, 더 나은 MLLM 다운스트림 평가 또한 가능하게 한다. 특히, Pixel Linguist II는 80%의 시각 토큰 압축에서도 강건함을 유지하여 광학 맥락 압축에 큰 가능성을 보여준다. 우리의 코드와 리소스는 https://github.com/Pixel-Linguist/Pixel-Linguist-II에서 확인할 수 있다.

대규모 언어 모델(LLM)은 점점 더 외부 환경과 상호작용하면서 상당한 행동 경험을 축적하고 있다. 그러나 기존 에이전트 벤치마크는 대부분 LLM을 고정된 정책으로 평가한다. 따라서 에이전트가 자신의 행동을 능동적으로 시험하고, 그 결과 얻은 경험을 판단하며, 그 경험을 활용해 향후 의사결정을 개선할 수 있는지는 여전히 불분명하다. 본 논문에서는 자기 테스트(Self-Testing), 자기 판단(Self-Judging), 자기 개선(Self-Improvement)이라는 세 가지 상호 결합된 능력을 통해 LLM의 자기 개선을 평가하는 대화형 벤치마크 S³Gym을 소개한다. S³Gym은 자유로운 탐색과 엄격한 홀드아웃(held-out) 평가를 분리하며, 이 프로토콜을 실행 가능한 환경 검증기를 갖춘 일곱 가지 텍스트 기반 게임에 구현한다. 본 연구는 상호작용 경험을 통합하는 세 가지 경로를 평가한다: 직접 이력 ICL(direct History ICL), 점수 조건부 요약 메모리(score-conditioned Summary Memory), 파라미터 훈련(parameter training). 실험 결과, 자기 개선은 자동적이지도 않고 일률적이지도 않다. 맥락 수준의 경험은 일부 모델-게임 쌍의 성능을 향상시키지만, 가장 효과적인 경로는 과업 구조에 크게 좌우된다. 요약 메모리는 경험을 재사용 가능한 전략적 규칙으로 압축할 수 있을 때 유용하지만, 성공이 정확하고 상태 의존적인 정보에 달려 있는 경우에는 원본 이력보다 성능이 낮은 경우가 많다. 파라미터 훈련은 일부 과업에서 상당한 성능 향상을 가져오지만, 다른 과업에서는 불안정한 개선과 심각한 부정적 전이(negative transfer)를 보인다. 이러한 결과는 성공적인 행동을 인식하는 것만으로는 충분하지 않으며, 에이전트가 피드백을 실행 가능하고 전이 가능한 정책으로 변환해야 함을 시사한다. S³Gym은 이러한 과정을 진단하고 에이전트가 상호작용 경험을 신뢰할 수 있는 자기 개선으로 전환하지 못하게 하는 병목을 식별하기 위한 통합 프레임워크를 제공한다.

지식 기반 시각 질의 응답(KB-VQA)은 롱테일 엔티티와 관련된 질의에 답하기 위해 외부 정보 검색에 의존한다. 그러나 기존 검색 파이프라인은 대부분 CLIP 방식의 이중 인코더를 사용하며, 이는 엔티티 수준의 의미 정렬보다 표면적인 시각적 유사성을 우선시한다. 이러한 패러다임은 의미적으로 동일한 개념이 큰 시각적 차이를 보이거나, 서로 다른 엔티티가 시각적으로 유사하게 나타나는 경우 종종 실패한다. 이를 해결하기 위해, 본 논문은 KB-VQA에 특화된 최초의 MLLM 기반 임베딩 검색기인 KBMR을 제안한다. KBMR은 MLLM의 강력한 자기회귀 능력을 활용하여 이미지를 개념 정체성을 더 잘 보존하는 의미 공간으로 매핑한다. 또한 위키피디아 규모 검색에서의 노이즈가 있는 지도(supervision) 문제를 해결하기 위해, 연속적인 엔티티 일관성 가중치를 생성하는 MLLM 기반 의미 판별기를 도입한다. 이러한 가중치는 새로운 연속 의미 증류 목적 함수를 안내함으로써, 경직된 이진 레이블을 넘어 효과적인 하드 네거티브 샘플링과 소프트 지도를 가능하게 한다. 광범위한 실험을 통해 KBMR은 CLIP 베이스라인을 크게 능가하며, 검색 Recall@1에서 최대 14.7%의 향상과 종단 간 VQA 정확도에서 9.4%의 개선을 달성한다. 코드는 https://github.com/realHarryX/KBMR에서 제공된다.

멀티모달 모델은 흔히 생성적 비전-언어 모델링을 위해 설계된 아키텍처 위에 구축되며, 일반적으로 개별적으로 사전학습된 비전 인코더와 인과적 언어 모델을 결합한다. ColPali와 같은 시각 문서 검색기는 이러한 모델을 인코더로 용도를 변경하여, 비생성적 작업에 VLM의 파라미터 및 계산 오버헤드를 그대로 이어받는다. 우리는 다국어 텍스트와 원시 이미지 패치를 단일 양방향 트랜스포머 인코더에서 처리하는 260M 및 800M 파라미터 규모의 멀티모달·다국어 양방향 인코더 제품군인 NeoMME를 소개한다. 두 모델 모두 마스킹된 이산 확산 텍스트 목적 함수를 사용하여 처음부터 사전학습되며, 멀티모달 예시의 경우 가시적 이미지 패치를 조건으로 한다. 두 모델 모두 16,384토큰 컨텍스트를 지원하며, 이는 표준 4K UHD 이미지 최대 2장을 인코딩하기에 충분한 길이이다. 다운스트림 성능을 입증하기 위해, 우리는 조밀(dense) 헤드와 늦은 상호작용(late-interaction) 헤드를 공동 학습하여 NeoMME를 미세 조정한다. ViDoRe v3 벤치마크에서, 결과적으로 얻어진 NeoMME-Retriever 260M은 0.523의 nDCG@10을 기록하며 엄밀히 800M 파라미터 미만의 모든 평가된 모델을 능가하고, NeoMME-Retriever 800M은 0.556에 도달한다. NVIDIA L40S에서 동일한 2048x2048 이미지 입력 크기로 NeoMME-260M은 ColModernVBERT보다 약 2배의 처리량으로 페이지를 인코딩한다. 계층적 토큰 풀링과 비대칭 양자화는 늦은 상호작용 멀티모달 문서 임베딩을 255배 압축하면서도 기준 nDCG@10의 95% 이상을 보존한다. 우리는 NeoMME를 Hugging Face Transformers에 기여하고, 사전학습된 백본과 검색 호환 체크포인트를 Apache 2.0 라이선스로 https://hf.co/collections/Hcompany/neomme에 공개한다.

간결한 토큰 시퀀스는 효율적인 3D 생성에 필수적이다. 그러나 기존의 3D 토크나이저들은 일반적으로 잠재 표현을 공간 영역별로 정리하거나 고정 크기의 전역 토큰 집합으로 구성하며, 두 접근 방식 모두 토큰 예산이 매우 낮은 수준으로 압축되면 재구성 품질이 급격히 저하된다. 본 논문은 극도로 짧은 토큰 시퀀스에서도 고충실도의 재구성을 수행하도록 설계된 3D 토크나이저 ZipTok3D를 제시한다. 그 핵심 아이디어는 객체의 기하학적 형태를 점진적으로 정보량이 풍부한 전역 토큰 프리픽스들로 구성하고, 반복적 디코딩을 통해 이렇게 압축된 표현을 펼쳐내는 것이다. 구체적으로, 중첩 드롭아웃이 훈련 중 인코딩 후 잠재 시퀀스를 무작위로 잘라내며, 이때 유지된 각 프리픽스가 전체 객체를 재구성하도록 강제함으로써 필수적인 기하 정보가 앞쪽 토큰들에 우선적으로 자리 잡게 된다. 이후 디코더는 파라미터가 공유된 트랜스포머 블록을 반복 적용하며, 별도의 생성 샘플링 단계 없이 각 프리픽스로부터 정밀한 기하학적 세부 정보를 복원한다. 동일한 토큰 차원을 사용할 때 ZipTok3D는 ShapeNet에서 단 1개의 토큰, TRELLIS에서 4개의 토큰만을 사용하여 32토큰 기반의 COD-VAE 기준선과 필적하는 재구성 품질을 달성하고, 이는 각각 32배 및 8배 짧은 토큰 시퀀스를 제공한다.

이미지 한 장이 천 마디 말보다 더 가치 있을 수 있지만, 대부분의 캡셔닝 모델은 그 이미지를 몇 마디로만 묘사한다. 최신 비전-언어 모델은 유창한 개괄적 캡션을 생성하지만, 이미지를 시각적으로 구체적으로 만들어 주는 속성, 개수, 질감, 재질, 공간적 관계는 빠뜨리기 일쑤다. 최근의 다단계 시스템은 생성, 분해, 검증, 재작성을 통해 이러한 세부 정보의 일부를 복구하지만, 그 대가로 추론 지연 시간이 크게 증가한다. 우리는 단일 패스의 세밀한 이미지 캡셔닝을 위한, 참조가 필요 없는 임베딩 공간 목적 함수인 SimLoss를 제안한다. SimLoss는 InfoNCE 대조 손실을 통해 비전-언어 모델이 투영된 은닉 상태 표현을 동결된 이미지 임베딩과 정렬하도록 학습시키며, 텍스트가 디코딩되기 전에 조밀한 시각적 감독 신호를 제공한다. 따라서 사람이 작성한 세밀한 캡션도, 다단계 파이프라인에서 생성된 의사 캡션도 요구하지 않는다. 우리는 이 SimLoss를 로컬에서 사용 가능한 임베딩 모델을 통해 역전파하는 SimLoss FFT와, 그 모델을 블랙박스 보상으로 취급하는 SimLoss GRPO로 구현한다. 단일 패스 방식, 다단계 검증 방식, 보상 최적화 방식, 지각 인식(perception-aware) 방식의 베이스라인들과 비교했을 때, 완전히 미분 가능한 미세 조정 변형인 SimLoss FFT는 가장 높은 정밀도를 달성하면서 다단계 방식의 F1 점수에 근접한다. 또한 단일 패스 추론을 유지하면서 다단계 파이프라인보다 약 20배 빠르게 동작한다. 보상 기반 변형인 SimLoss GRPO는 가장 높은 재현율을 달성한다. 종합하면, 이러한 결과들은 임베딩 공간에서의 감독이 단일 패스 캡셔너 수준의 지연 시간으로도 다단계 검증의 품질을 확보할 수 있음을 보여준다.

검증 가능한 보상을 활용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)은 대규모 언어 모델(LLM) 사후 학습을 위한 강력한 패러다임으로 부상했지만, 거친 결과 보상에 의존하기 때문에 중간 추론 과정에 대한 안내가 제한적이다. 프로세스 보상 모델링과 온-폴리시 증류 같은 기존 접근법은 전용 보상 모델에 의존하거나 교사 모델과 학생 모델 간의 동일한 추론 패턴을 가정하는 등 추가적인 제약을 도입한다. 그럼에도 불구하고, 우리는 추론 과정에서 첫 번째 오류가 발생하면 이후의 추론은 이미 유효하지 않은 접두부(prefix)가 조건으로 주어져 있기 때문에, 이후의 추론을 평가하더라도 추가로 얻을 수 있는 정보는 제한적이라는 점을 관찰한다. 따라서 우리는 각 롤아웃에서 첫 번째 오류를 식별하기 위해 기성 LLM을 교사 모델로 활용하는 보상 셰이핑 전략인 Cliff를 제안한다. 그 결과, 롤아웃은 정확한 접두부와 부정확한 접미부(suffix)라는 두 부분으로 자연스럽게 분해되며, Cliff는 이 신호를 토큰 수준의 어드밴티지로 변환하여 정확한 접두부에는 양(+)의 어드밴티지를, 부정확한 접미부에는 음(−)의 피드백을 할당한다. 12가지 서로 다른 시나리오에 걸친 실험 결과, Cliff는 보통 수준의 교사 모델을 사용하더라도 온-폴리시 증류보다 15%, 표준 GRPO보다 7% 더 높은 추론 성능을 일관되게 달성함을 보여준다. 또한, 우리는 Cliff에서 “그라운드 트루스(ground truth)”의 역할을 분석하고 학습 역학을 조사한다. 이러한 결과는 Cliff가 더욱 풍부하고 세밀한 감독을 통해 RLVR을 개선하는 간단하면서도 범용적이고 효과적인 접근법임을 입증한다.

샘플링 토큰 온-폴리시 증류(OPD)는 학생이 생성한 토큰을 활용하여 교사에서 학생으로의 능력 이전을 효율적으로 수행하며, 샘플링된 토큰에 대해서만 교사의 확률을 필요로 한다. 그러나 OPD는 다양성 증류 실패를 빈번히 겪는다: 학생의 pass@1은 개선되지만 pass@k는 정체되어 교사의 다양성을 계승하지 못한다. 이를 설명하기 위해 우리는 1차 국소 엔트로피 영향(First-Order Local Entropy Influence)을 도입한다. 이는 각 업데이트의 엔트로피 효과를 교사-학생 로그 확률 격차와 학생의 국소 확률 구조로 분해하는 부호 있는 1차 근사 지표로서, 엔트로피 수축이 음의 영향 위치와 연관됨을 경험적으로 규명한다. 이러한 동기에 기반하여 우리는 영향 지향 적응형 온-폴리시 증류(IDA-OPD)를 제안한다: IDA-OPD는 비용이 많이 드는 전체 어휘 순방향 KL 목적 함수에 의존하는 대신, 엔트로피를 확장하는 업데이트는 보존하면서 엔트로피를 수축시키는 업데이트는 발산 적응형 이점 축소로 대체하며, 교사의 샘플링 토큰 로그 확률만을 사용한다. 추론 중심 증류에 대한 실험은 IDA-OPD가 pass@k를 일관되게 개선하여 증류를 통해 교사의 다양성을 계승하고, 가장 강력한 교사 정보 활용 방법들과 엄격히 더 낮은 비용으로 성능이 일치하며, 전체 어휘 교사 정보 없이도 바닐라 OPD의 pass@1 수준을 대체로 유지함을 보여준다.

에이전트 성능은 모델 파라미터와 컨텍스트 및 제어 흐름을 관리하는 실행 가능한 하네스 코드에 공동으로 의존한다. 어느 한 구성 요소만 최적화하면 시스템이 고정된 반대편 구성 요소에 의해 병목 현상을 겪을 수 있다. 가중치 업데이트는 어떤 하네스가 효과적인지를 바꿀 수 있으며, 하네스 업데이트는 어떤 모델 기능이 노출되는지를 바꿀 수 있다. 기존의 공동 적응 방법은 가중치와 텍스트 프롬프트를 최적화하지만, 보다 포괄적인 하네스는 고정된 채로 둔다. 본 논문은 두 단계를 교대하는 간단한 기법인 가중치-하네스 교대 학습(Weight-Harness Alternating LEarning, WHALE)을 제안한다. 즉, 현재 하네스 하에서 모델을 업데이트한 다음, 업데이트된 모델 하에서 더 나은 하네스를 탐색한다. 이 두 단계는 각각 온라인 거부 샘플링 기반 미세 조정과 메타-하네스로 구현된다. 전환 시점은 핵심 설계 선택 사항이다. 변화하는 상대방에 과도하게 최적화하지 않으면서 실제 개선과 노이즈를 구분하기 위해, WHALE은 고정된 단계 기간 또는 학습 신호에 대한 적응형 인내 규칙을 사용한다. Qwen3.5-2B/4B 에이전트를 세 가지 도메인(검색 질문 응답, 수학적 추론, 체스 퍼즐)에서 평가한 결과, WHALE은 최고 mean@8 정확도에서 가중치 전용, 하네스 전용, Fast-Slow Training보다 4.15-24.38퍼센트 포인트 더 우수한 성능을 달성했다. 두 구성 요소 모두 병목이 될 수 있다. 하네스 탐색은 SearchQA에서 훨씬 적은 롤아웃으로 가중치 전용 최고 정확도에 도달하지만, 수학 정확도는 가중치 업데이트 이후에만 개선된다. 소규모 교대 업데이트는 가중치를 먼저 최적화한 후 하네스를 최적화하는 단계적 방식보다 정확도와 롤아웃 비용 측면에서 우수하다. 코드는 https://github.com/krafton-ai/WHALE에서 확인할 수 있다.

기존의 화자 귀속 ASR(speaker-attributed ASR) 시스템은 음성 인식과 화자 분할을 별개의 두 작업으로 취급했습니다. 최근에는 VibeVoice-ASR과 같은 엔드투엔드 모델들이 이 두 작업을 단일 모델 안에서 통합했습니다. 그러나 기존 통합 모델들은 여전히 주로 오프라인 인식을 지원하여, 실시간 음성 비서와 에이전트의 저지연 요구를 충족하기 어렵습니다. 이 문제를 해결하기 위해 우리는 스트리밍 화자 귀속 ASR을 위한 최초의 LLM 기반 엔드투엔드 접근법 중 하나인 VibeVoice-ASR-Streaming을 제시합니다. 이 모델은 고정 크기의 오디오 청크, 소량의 룩어헤드(lookahead) 오디오, 이전 텍스트를 인터리빙합니다. 이를 통해 모델은 별도의 화자 분할 단계 없이도 음성이 도착하는 대로 “누가 무엇을 말했는지”를 생성할 수 있습니다. 전사 정확도 측면에서 우리의 7B 모델은 다섯 개의 평가 세트에서 가장 낮은 평균 WER/CER을 달성했습니다. 화자 귀속 측면에서는 13개 평가 설정 중 12개에서 최고 또는 공동 최고 성능을 달성했습니다. 또한 우리는 1.5B 및 7B 모델 가중치와 추론 코드를 공개합니다.

역사적 신문은 공공 생활에 대한 풍부한 기록이지만, 밀도 높고 불규칙하며 때로는 노이즈가 많은 레이아웃으로 인해 이러한 자료에 대한 컴퓨팅 접근은 어렵고 제한적이다. 우리는 보스턴 공공도서관과 공동으로 설계한 모듈식 시스템인 Institutional Newspapers Pipeline을 제시한다. 이 시스템은 역사적 신문 스캔에서 고품질의 구조화된 데이터셋을 추출한다. 이 파이프라인은 각 단계가 해석 가능하고 사용자 정의가 가능하며, 파이프라인 전체가 워크스테이션급 하드웨어에서 실행될 수 있을 정도로 계산 효율적으로 유지되도록 설계되었다. 파이프라인은 각 스캔을 다단계 프로세스로 처리한다. 즉, 스캔을 유형에 구애받지 않는 개별 크롭으로 분할하고, 각 결과 세그먼트에 대해 OCR을 수행한 후, 모든 크롭에 대해 텍스트 분석, 유형 분류, 판독 순서 감지, 개체명 인식, 주제 분류, 언어 감지 및 사전 계산된 임베딩 생성을 수행한다. 우리는 보스턴 공공도서관 소장 자료의 일부에 이 파이프라인을 적용하고, 그 결과를 개방형 데이터셋으로 공개했다. 광학 문자 인식(OCR) 출력은 1795년부터 1930년 사이에 출판된 1,473,635건의 퍼블릭 도메인 신문 스캔에서 추출한 8,310만 개의 개별 크롭에 걸쳐 총 163억 개의 o200k_base 토큰으로 구성된다. 본 보고서는 각 처리 단계의 방법론, 우리가 학습시킨 소형 모델, 그리고 그 과정에서 수집한 평가 결과와 데이터셋 규모 측정치를 설명한다. 본 보고서는 파이프라인, 모델 및 데이터셋의 공개와 함께 제공된다. 우리는 이 작업을 수천만 건의 신문 스캔에서 고품질 데이터를 확보하기 위한 중대한 진전으로서 자리매김한다.

경쟁적 프로그래밍(competitive programming)은 대규모 언어 모델(LLM)의 추론 능력을 검증하는 핵심 시험대가 되었으며, IOI(국제 정보 올림피아드)와 ICPC(국제 대학생 프로그래밍 대회)와 같은 국제 대회는 그중 가장 도전적인 대회 환경을 대표한다. 본 논문에서는 대규모 문제 선별, 합성 추론 궤적(synthetic reasoning traces), 지도 미세 조정(SFT), 강화 학습(RL)을 결합한 엔드투엔드 특화 파이프라인을 제시한다. 선별된 22,000개의 문제를 활용하여 Nemotron-3-Nano-CC(30B-A3B)는 SFT와 RL로 학습하고, Nemotron-3-Ultra-CC(550B-A55B)는 SFT만으로 학습한다. 또한, 다양한 해법을 반복적으로 생성·평가·정제하는 피드백 기반 테스트 시점 연산(test-time compute) 전략인 GenCorrect를 소개한다. IOI 2025에서 Nano-CC는 사후 학습(post-training) 이후 130점에서 291점으로 향상되었고, GenCorrect를 적용하면 468점에 도달하여 금상 기준선(438.3점)을 초과했으며, Ultra-CC는 502점을 기록했다. 이러한 결과를 바탕으로 IOI 대회에 특화된 Ultra-CC 시스템을 개발하고 IOI 2026에서 이를 전향적으로 평가했다. 인간 참가자와 동일한 시간·인터넷 접근·제출 제약 조건 하에서 이 시스템은 600점 만점에 535.4점을 획득하여 금상 기준선(361.12점)과 인간 참가자 최고 득점(498.27점)을 모두 초과했다. 본 연구진이 아는 한, 이는 IOI 문제 세트에서 최고 득점을 올린 인간 참가자를 능가한 최초의 AI 시스템이다.

장문 컨텍스트 LLM 추론의 어텐션 프리필(prefilling) 단계는 이차적으로 확장되므로, 셀프 어텐션은 심각한 계산 병목 현상을 유발한다. 기존의 희소 어텐션(sparse attention) 방법은 고정된 패턴이나 오프라인 프로파일링을 통해 이를 완화하지만, 입력 의존적인 어텐션 구조에 적응할 수 있는 유연성이 부족하다. 최근의 동적 방법은 헤드를 희소 패턴으로 실시간 라우팅하여 이를 해결하지만, 간접적인 라우팅 프록시를 사용하여 오버헤드가 발생하고, 소프트맥스 이후 질량 계층 구조를 간과하는 예산 할당 메커니즘에 의존한다. 우리는 CRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)를 제시하여, 이러한 동적 라우팅 패러다임의 두 가지 구조적 과제를 식별하고 해결한다. 첫째, 라우팅 결정이 프록시 어텐션 맵의 구조에서 직접 읽혀질 수 있음을 보여준다. 우리는 Jensen-Shannon Divergence(JSD) 라우팅을 C_struct라는 구조적 프록시로 대체한다. C_struct는 Vertical-Slash 호환 위치에서 질량을 측정하며, 풀링된 행렬 곱셈과 이후의 KL 발산 오버헤드를 모두 제거하면서 JSD의 라우팅 결정을 재현한다. 둘째, 소프트맥스 이후 질량 절벽(mass cliff)을 공식화하고, 엄격한 누적 커버리지 임계값이 긴 컨텍스트에서 O(n)의 배경 잡음을 축적함을 이론적으로 증명한다. CRISP는 잡음 바닥(noise floor)에 기반한 싱크 인지 임계값(sink-aware threshold)을 통해 이를 탐색한다. 실증적으로, 두 모델 계열에 걸쳐 InfiniteBench, RULER 및 LongBench에서 CRISP는 전반적으로 가장 강력한 희소 방법이며, 검색 집약적 벤치마크에서 정확한 dense 어텐션과 동등하거나 이를 능가하여 검색 작업에서 기준선 대비 최대 +28.0 pp의 성능 회복을 달성하고, 512k 토큰에서 최대 5.30배의 어텐션 속도 향상을 달성한다. 이는 주로 선택 과정에서 구조적 무결성을 보존하면서 O(n) 잡음을 제거함으로써 실현된다.

정보 검색(IR)은 다양한 관점을 허용하는 개방형 질의를 점점 더 대상으로 삼고 있다. 그러나 기존 IR 벤치마크는 주로 폐쇄형 질의에 초점을 맞추고 있으며, 개방형 벤치마크조차 대부분 단일 주제 도메인과 모달리티에 걸친 지원 문서를 가진 질의로 구성되어 있다. 우리는 다양한 도메인과 모달리티에 걸친 개방형 질의의 다면적 관점을 검색기가 얼마나 잘 포괄하는지 평가하는 벤치마크인 Multi³IR을 소개한다. 이 벤치마크는 104.9K개의 Stack Exchange 질의로 구성되며, 각 질의는 질의의 암묵적 관점을 포착하는 관점 설명으로 주석 처리되어 있다. 또한 우리는 임베딩을 다양하면서도 의미 있는 의미적 방향으로 유도하는 노이즈 벡터를 학습하는, 파라미터 및 레이블 효율적 방법인 SPIN을 제안한다. 실험 결과, 기존의 다중 모달 검색기들은 단일 관점 편향을 보이며, SPIN은 Multi³IR에서 관점 포괄성을 크게 향상시키고 보지 못한 개방형 IR 벤치마크에도 잘 일반화된다. 데이터셋과 실험 코드는 https://github.com/seokwon99/Multi3IR에서 이용할 수 있다.

연구 논문을 저장소 수준의 구현으로 충실하게 변환하는 것은 여전히 어려운 과제이다. 논문은 종종 방법을 개괄적으로 기술하고 구현 관련 가정을 암묵적으로 남겨두며, 생성된 저장소가 방법의 논리, 평가 프로토콜, 파일 간 일관성을 보존할 것을 요구하기 때문이다. 최근 논문-코드 생성 에이전트의 발전에도 불구하고, 이들 에이전트의 중간 산출물은 대개 자유 형식의 계획이나 요약으로 제시되며, 후속 코딩 에이전트는 이를 무시하거나 재해석하거나 압축할 수 있다. 이로 인해 알고리즘의 단순화와 저장소 구조의 비일관성이 발생할 수 있다. 이러한 문제를 해결하기 위해, 우리는 논문에 근거한 증거를 명시적인 저장소 수준 구현 명세로 컴파일하는 논문-코드 생성 프레임워크인 PaperCompiler를 제안한다. PaperCompiler는 출처를 보존하면서 구현 관련 증거에 대한 논문 근거를 확보하고, 논문이 뒷받침하는 정보, 추론된 정보, 외부에 위임된 정보, 미해결 정보를 구분한다. 이로써 도출된 명세는 비-저하 요구사항, 소유권 할당, 파일 간 의존성, 파일 수준 제약 조건을 담는다. 저장소 생성은 이렇게 컴파일된 명세에 따라 진행되되, 논문에 의해 고정되지 않은 세부 구현 선택에 대해서는 유연성을 유지한다. PaperCompiler는 Paper2CodeBench에서 강력한 베이스라인들을 능가하여 참조 기반 충실도에서 13.8%의 상대적 개선(3.64 → 4.15)을 달성하고, 심각도가 높은 평가자 비판을 13.2%에서 6.1%로 감소시킨다.

임베딩 기반 코드 검색은 코딩 에이전트와 검색 증강 코드 생성의 핵심 구성 요소로서, 어휘적으로 유사한 코드를 검색하는 것보다 올바른 코드를 검색하는 것이 더 중요하다. 기존 코드 검색 벤치마크는 질의의 정규 구현에 대해 통제된 실행 검증 단일 편집 변형을 검색 풀에 심지 않기 때문에, 임베딩이 근접 클론이지만 올바르지 않은 코드와 올바른 코드를 기능적으로 구별할 수 있는지에 대한 질문은 검색 환경에서 답이 없는 채로 남는다. 이를 해결하려면 검색 풀 자체에 관련 반사실적 예시, 즉 각 정규 구현과 거의 동일한 실행 검증 버그 변형을 포함하는 벤치마크가 필요하며, 그래야 검색기의 순위 정렬이 주제적 또는 동일성 중복이 아닌 기능적 구별 측면에서 직접 검증될 수 있다. 우리는 939개의 파이썬 작업으로 구성된 ExecRetrieval을 제안한다. 각 작업은 실행 검증된 정규 구현 하나와 최대 네 개의 실행 검증된 버그 방해 항목을 짝으로 가지며, 각 방해 항목은 단일 목표 편집을 수행하는 기계적 변이로 생성된다. 또한 23개의 밀집 임베딩 구성과 BM25를 프로바이더 고유 호출 방식으로 평가하고, 짝지은 맥니마 검정과 쿼리 수준 부트스트랩 신뢰 구간을 적용했다. 근접 클론 반사실적 예시가 검색 풀에 존재할 때, 최고 성능의 호스팅 시스템은 exec@10 = 1.00에 도달하지만 exec@1 = 0.331에 그친다. 상위 네 개 주요 시스템에서 순위 1 누락의 91.5~99.4%가 짝지은 버그 변형이었으며, 주요 시스템에서는 쿼리의 67~78%에서 정규 구현의 점수가 네 개의 짝지은 방해 항목 중 적어도 하나보다 낮았다. 전체 데이터셋, 실행 오라클, 임베딩 행렬, 환경 스냅샷, 그리고 쌍별 통계 검정은 부록 D의 URL에 공개되어 있다.

LLM은 점점 더 자연어를 통해 특수화된 서브에이전트들을 조정하여 복잡한 작업을 해결하는 오케스트레이터로 배치되고 있다. 그러나 게임 플레이와 로보틱스 같은 많은 중요한 영역에서 가장 강력한 에이전트는 언어 모델이 아니다. 비(非)언어 에이전트와 LLM을 통합하려면 언어화(verbalization), 즉 각 상호작용 단계에서 풍부한 연속 표현을 희소한 텍스트 요약으로 압축하는 과정이 필요하다. 언어화가 병목 현상을 구성하는지 연구하기 위해, 우리는 행동 모방, 상태 평가, 자연어 설명이라는 세 가지 측면을 포괄하는 여섯 가지 다양한 협력적 체스 작업으로 구성된 벤치마크 스위트인 LLAMIA-Bench를 소개한다. 각 작업은 LLM이나 체스 엔진이 단독으로는 해결할 수 없는 잘 정립된 체스 문제를 구현한다. 비언어 에이전트와의 LLM 협력을 해결하기 위해 우리는 잠재 상태 내면화(latent state internalization)를 도입한다. 이는 서브에이전트의 연속 표현을 학습된 상태 토큰으로 LLM의 토큰 스트림에 직접 투영하며, 행동이 환경 상태를 진행시킴에 따라 동적 재인코딩을 수행한다. 내면화를 언어화 기반 통합과 비교한 실험에서 우리는 일관된 언어화 부채(verbalization debt)를 발견한다. 즉 성능 격차는 훈련 전반에 걸쳐 확대되며 LLM이 4B에서 14B 파라미터로 확장되어도 지속된다. 잠재 상태 내면화로 훈련된 단일 14B 모델인 LLAMIA는 모든 벤치마크 작업에서 도구 접근이 가능한 GPT-5.1을 포함한 프론티어 모델 및 작업별 전문가 모델과 동등하거나 더 나은 성능을 달성하며, 작업별 파인튜닝이 붕괴하는 분포 외(out-of-distribution) 상황에서도 일반화 능력을 보인다.

모바일 AI는 시각적 오라클 역할을 하여, 사용자가 사물을 촬영하고 그에 관한 정보를 질의할 수 있게 해준다. 촬영-질의(snap-and-ask) 검색은 이제 모바일 AI의 가장 보편적인 진입점 중 하나가 되었지만, 촬영된 사진은 흔히 흐릿하고 텍스트 질문은 짧거나 오타가 포함되기 쉽다. 기존 벤치마크는 손상이 없는 깨끗한 입력만을 테스트하거나, snap-and-ask 검색에서 입력 쌍의 강건성(paired robustness)을 분리하여 검증하지 못한다. 따라서 우리는 강건한 snap-and-ask 멀티모달 검색을 위한 최초의 쌍(pair) 기반 벤치마크인 SnapBench를 제안한다. SnapBench는 53가지 통제된 손상 조건과 1,145개의 질의 및 9,085개의 갤러리 항목으로 구성되며, 인간 주석을 포함한다. 우리는 듀얼 타워 인코더와 임베딩 기반 VLM(비전-언어 모델)을 포함한 16개의 멀티모달 검색기를 평가했다. 실험 결과, 이미지 손상은 검색 성능을 크게 저하시키는 반면, 텍스트 손상은 주로 텍스트 전용 검색에만 영향을 미치고 결합 검색에는 제한적인 영향만 미치는 것으로 나타났다. 손상이 없는 이미지 전용 검색이 결합 검색보다 더 나은 성능을 보이는 경우도 많았는데, 이는 조악한(coarse) 텍스트가 성능을 끌어내리는 문제와 잡음 입력 상황에서 교차 모달 폴백이 부재함을 시사한다. SnapBench는 snap-and-ask 시나리오에서 강건한 검색을 평가하기 위한 통제된 테스트베드를 제공한다. 나아가 우리는 간단한 적응형 융합 기법인 MOOR(Modality-anchored, Outlier-aware, Optimal Reweighting)를 제안하며, snap-and-ask 검색에서 신뢰도를 고려한 모달리티 보정의 필요성을 강조한다.

동물의 움직임을 이해하는 것은 동물 행동 모델링과 생체역학 연구의 기초이지만, 이 분야의 발전은 고품질 모션 데이터의 부족으로 인해 인간 모션 연구에 비해 크게 뒤처져 있다. 인간의 모션은 통제된 환경에서 캡처할 수 있지만, 대부분의 동물 종에는 이를 적용하기 어렵기 때문에 소규모의 도메인 한정 데이터셋만 존재하며, 이는 애니메이션과 같은 하위 응용 분야를 제약한다. 이러한 문제를 해결하기 위해 우리는 Kirin을 소개한다. Kirin은 비디오에서 모션을 재구성하고, 대규모로 모션 사전을 학습하며, 애니메이션 에셋에 직접 적용할 수 있는 사실적인 모션을 생성하는 프레임워크이다. 대규모의 실제 환경 동물 비디오 컬렉션을 활용하여 3D 모션 시퀀스를 재구성하고 캡션을 짝지어, 사족 동물을 위한 정렬된 비디오-텍스트-모션 튜플을 제공하는 최초의 대규모 데이터셋인 AiM3D를 구축했다. 이 데이터셋을 기반으로, 우리는 텍스트와 이미지 모두를 조건으로 사용하여 다양한 동물 종에 걸쳐 사실적인 모션 생성을 유도하는 시각 유도 모션 생성 모델을 개발한다. 마지막으로, 기성 이미지-투-3D 모델을 활용하여 생성된 모션으로 3D 메시를 자동으로 리깅하고 애니메이션화함으로써, 즉시 렌더링 가능한 애니메이션 동물을 제작한다. 우리의 데이터셋과 프레임워크는 대규모의 텍스트 및 이미지 조건 동물 모션 생성과 애니메이션을 위한 새로운 기반을 마련한다. 프로젝트 페이지: https://kirin-ani.github.io/.

텍스트와 코드만으로 훈련된 대규모 언어 모델(LLM)은 때때로 알아볼 수 있는 이미지를 그려내는 프로그램을 생성할 수 있다. 그러나 이것이 2D 공간 배치에 대한 내부 표상을 반영하는 것인지, 아니면 단순히 공간 묘사를 코드로 변환하는 능력인지는 불분명하다. 본 논문에서는 이러한 요인들을 분리하는 벤치마크인 자기회귀 모자이크(AM-Bench)를 소개한다. 첫째, 변환 과제는 모델에게 그림의 완전히 명시된 기하학 구조를 단어 형태의 프롬프트로 제공하고 이를 생성하는 코드를 요구한다. 둘째, 배치 과제는 모델이 명시가 부족한 프롬프트로부터 이미지를 구성하도록 요구한다. 여덟 개의 오픈 가중치 텍스트-및-코드 전용 모델을 대상으로 한 실험에서, 모든 모델은 명시된 기하학 구조를 코드로 안정적으로 변환했지만, 개방형 배치 성능은 모델 간에 상당한 차이를 보였으며, 이는 이러한 차이가 코드 생성 능력만으로는 설명되지 않음을 시사한다. 출력 매체 절제 실험은 모델이 사용하는 인터페이스 또는 표현 매체가 중요함을 추가로 보여준다. 절차적 코드를 원시 SVG로 대체하면 모든 모델에서 배치 점수가 향상되었다. 마지막으로 모델 활성화를 프로빙한 결과, 생성 이전에 대략적인 배치 계획이 존재하지만, 이는 프롬프트에 함축된 배치만을 반영한다. 생성 과정에서 모델은 처음부터 고정된 계획을 실행하는 대신 변화하는 기하학적 상태를 추적한다. 종합하면, 이러한 결과는 텍스트 전용 LLM의 2D 공간 성능이 모델과 출력 매체 모두에 의존하며, 코드 생성 능력만으로는 설명될 수 없음을 보여준다.

우리는 종이접기 시연 동영상에서 명시적 매개변수 접기 프로그램을 직접 추론하는 에이전트 기반 프레임워크인 FoldingAgent를 제시한다. 이 프레임워크는 에이전트가 기하학적 변환을 시뮬레이션하고, 물리적 타당성을 검증하며, 시각적 콘텐츠를 검색하고 비교하며, 자체 예측을 평가할 수 있게 해주는 일련의 특수 도구를 갖춘 사전 훈련된 비전-언어 모델(VLM)의 추론 능력을 활용한다. 시각적 콘텐츠를 접기 프로그램으로 변환하기 위해, 우리는 종이의 기하학적 구조와 일련의 매개변수 접기 동작으로 구성된 매개변수 공간을 정의한다. 정적 접힘 패턴을 예측하는 모델과 달리, 우리의 에이전트는 순차적으로 작동하며 동작을 재계획하는 능력을 지녀 다단계 접기에 내재된 누적 오류를 효과적으로 완화한다. 본 접근 방식은 주로 비구조화된 시각적 시연을 통해 공유되는 인간의 종이접기 지식과, 전형적으로 접힘 패턴이나 실행 가능한 매개변수 계획과 같은 구조화되고 매개변수화된 표현에 의존하는 계산 방법 사이의 간극을 좁히는 방향으로 한 걸음 나아간다. 우리는 다양한 Pureland 종이접기 동영상과 이에 대한 정답 기하 정보 및 동작 레이블을 포함하는 새롭게 구축된 벤치마크인 PurelandFold에서 본 접근 방식을 평가한다. 실험 결과는 VLM 추론을 특수 도구 모음 및 물리 시뮬레이션과 결합함으로써 비구조화된 시각적 시연을 실행 가능하고 물리적으로 타당한 접기 절차로 성공적으로 변환할 수 있음을 보여준다.

전문 에이전트 과제는 공개 말뭉치에 존재하지 않는 관례에 의존하는 경우가 많지만, 벤치마크는 에이전트가 그러한 관례에 접근할 수 있는지 여부를 거의 통제하지 않는다. 본 연구는 과제 지시문과 비공개 관례, 참조 테이블, 유틸리티 연산자를 포함하는 간결한 아티팩트를 분리하는 지식-게이트 과제 구축 프로토콜을 도입한다. 구축 시점의 출처 정보, 아티팩트 제공 조건과 비제공 조건 간 바이트 단위 동일 과제 지시문, 누출 감사, 실행 가능한 증인은 아티팩트에 대한 의존성을 명시적이고 검증 가능하게 만든다. 15개 교정 과제에서 하나의 프론티어 에이전트 구성은 아티팩트가 있을 때 68.0%의 통과율을, 없을 때 0%의 통과율을 달성했다. 한 과제에서는 그럴듯하지만 부정확한 아티팩트도 5회 시행에서 0%의 결과를 산출했다. 결정적 솔버와 규칙 말뭉치는 구조화된 과제에 대한 정확한 실측 자료를 제공하며, 명명된 기준 수준 루브릭은 단일 실행 가능한 오라클로 검증할 수 없는 출력을 지원한다. 구성-상대적 교정 선별 기준은 5회 시행 경험적 지식-게이트 선별을 충족하는 7개 과제를 유지한다. 이러한 실험은 구축 프로토콜의 작동 방식을 검증하며, 유지된 과제가 사후 훈련을 개선한다는 것을 입증하지는 않는다. 과제 모음의 일부와 지원 도구를 https://github.com/DatagridsAI/Knowledge-Gated-Task-Construction 에서 공개적으로 배포한다.

모델 압축 기법인 프루닝과 양자화는 대규모 언어 모델(LLM)의 효율적인 배포와 가속화를 가능하게 한다. 그러나 최근 연구에 따르면 SparseGPT와 같은 가중치 희소화 방법은 모델 내 기존 편향을 증폭시킬 수 있으며, 프롬프트의 페르소나 단서에 따라 출력이 크게 달라질 수 있다. 본 논문에서는 인구통계학적으로 대조되는 입력에 대해 정의된 2차 항을 활용한 표현적 편향 제거를 통합한 학습 후 프루닝 방법인 Debias-SparseGPT를 소개한다. 우리는 다양한 생성형 LLM에 걸쳐 제안 방법의 경험적 검증을 수행한다. 다양한 모델과 희소성 수준(25%, 50%, 구조적 2:4 희소성) 전반에 걸쳐, Debias-SparseGPT는 모델의 퍼플렉서티와 제로샷 정확도를 유지하면서 SparseGPT 대비 프루닝 유발 편향을 일관되게 감소시킨다. 모델 품질을 가장 심각하게 저하시키는 가장 제한적인 2:4 구조적 희소성 패턴 하에서는, 긴 문맥과 내용이 풍부한 예제로 보정 세트를 확장함으로써 다운스트림 성능과 공정성을 모두 추가로 개선할 수 있다. 전반적으로 Debias-SparseGPT는 희소 모델의 계산 효율성을 유지하면서 편향-성능 트레이드오프를 개선한다.

언어 모델에서 다음 토큰 예측은 레이어를 거치며 발달한다. 렌즈 방법은 중간 은닉 상태를 토큰으로 디코딩함으로써 이 과정을 추적한다. 그러나 렌즈 판독은 은닉 상태와 이를 디코딩하는 데 사용되는 리드아웃(언임베딩 행렬)을 모두 반영한다. 많은 렌즈가 코퍼스에 피팅된다. 우리는 피팅 코퍼스만 다른 두 렌즈가 동일한 은닉 상태에 대해 서로 다른 토큰을 보고할 수 있음을 보이고, 이러한 의존성을 코퍼스 조건성(corpus conditionality)이라 부른다. 피팅 코퍼스와 무관하게 리드아웃 구조를 조사하기 위해, 희소 리드아웃 프리즘(Sparse Readout Prism, SRP)을 제안한다. SRP는 리드아웃의 가중치만을 사용해 리드아웃을 분해하고, 임의의 토큰 로짓 또는 로짓 차이를 희소 리드아웃 특성들의 기여도의 합으로 표현한다. 이를 통해 리드아웃 특성은 렌즈 판독의 새로운 분석 단위로 부각되며, 토큰 정체성에 가려질 수 있는 구조를 드러내고, 토큰·맥락·레이어·렌즈 간 비교를 가능하게 한다. 원래 리드아웃을 SRP의 희소 근사로 대체할 경우, 테스트된 로짓 차이는 리드아웃 행 간의 기하학적 관계에 기반해 구축된 여섯 가지 베이스라인 중 성능이 가장 좋은 베이스라인보다 8.9~17.3퍼센트 포인트 더 많이 재구성된다. 특성 절제 시 로짓 차이는 해당 특성의 SRP 기여도에 비례하여 이동한다. 판독되는 토큰은 피팅 코퍼스에 따라 달라지지만, 지배적인 리드아웃 특성은 안정적으로 유지된다. SRP는 구축 과정에서 코퍼스를 사용하지 않으므로, 렌즈 분석에 있어 피팅 코퍼스와 독립적인 통제 수단을 제공한다.

대화형 추천 시스템(CRS)은 일반적으로 도메인 특화 대화 데이터를 필요로 하는데, 이러한 데이터는 비용이 많이 들고 희소하며 새로운 도메인에서는 종종 이용할 수 없다. 본 연구에서는 비대화형 신호(item reviews, metadata, user-item interactions)로부터 대화 말뭉치 없이 합성 대화 지도 신호를 생성하는 제로 데이터 CRS 부트스트래핑(zero-data CRS bootstrapping)에 대한 체계적인 실증 연구를 수행한다. 우리는 Jensen-Shannon 다양성과 Fisher 정보라는 두 가지 정보 이론적 선택 전략을 도메인 신호, 모델 아키텍처, 데이터셋, 파인튜닝 패러다임에 걸쳐 비교한다. 실험 결과, 도메인 기반 합성 데이터는 제로샷 프롬프팅 및 단순 합성 기준선을 일관되게 능가했으며, 능동 선택은 무작위 샘플링보다 데이터 효율성을 향상시켰다. 또한 메타데이터와 협업 필터링 신호는 각각 선택 품질을 개선했고, 저자원 환경에서는 합성 데이터가 부족한 실제 대화보다 우수한 성능을 보이면서도 실제 대화를 추가로 보완할 수 있음을 확인했다. 이러한 결과는 비대화형 도메인 신호가 대화형 훈련 데이터 없이 CRS를 구축할 수 있는 실현 가능한 경로임을 입증한다. 코드는 https://anonymous.4open.science/r/zero_data_crs/ 에서 확인할 수 있다.

루브릭 기반 강화학습은 정답이 명확한 과제나 규칙 기반 검증기로 처리되는 작업을 넘어, 개별 사례(인스턴스)별 기준에 따라 응답을 채점함으로써 RL의 적용 범위를 확장한다. 그러나 이는 보상 계산을 비용이 많이 들게 만든다. 학습 과정에서 반복적인 루브릭 판정이 필요하며, 이는 흔히 독점 API 또는 7B(70억) 개 이상의 파라미터를 가진 로컬 생성형 LLM 판정기에 의존하기 때문이다. 우리는 더 작은 언어 모델이 효율적이고 신뢰할 수 있는 루브릭 기반 판정기로 기능할 수 있는지 연구한다. 이 질문을 측정 가능하게 만들기 위해, 우리는 인스턴스별 기준과 항목별 충족 라벨을 갖춘 두 개의 점별(pointwise) 루브릭 기반 평가 데이터셋인 PointRubric과 RaR-Science-Static을 구축한다. 우리는 소형 모델에서 기준 수준의 판정을 추출하는 세 가지 방법, 즉 생성형 판정(Generative verdicts), 예/아니오 로그확률 마진(Yes/No Logprob margins), 프로브 판정기(Probe judges)를 비교한다. 두 데이터셋 모두에서 Qwen3-1.7B 프로브 판정기는 이 방법들 중 가장 높은 기준 수준 일치도를 달성하여 생성형 및 로그확률 판정기를 능가한다. GRPO 보상 모델로 사용될 때, 프로브 판정기는 RaR-Science 루브릭 점수에서 정책을 0.232에서 0.643으로 훈련시키며, 이는 8B 생성형 판정기 기준선의 0.594와 비교된다. 반면 기준선은 보상 판정에 10.7배 더 많은 시간이 소요된다. 과제 및 도메인 전이 실험은 또한 프로브 판정기가 다양한 설정에서 기준 수준의 보상 구조를 보존함을 시사한다.

포트폴리오 위험 평가는 일반적으로 자산 간 수익률 공분산에 대한 신뢰할 만한 추정에 의존하는데, 그러한 추정은 시계열이 짧고 차원이 높은 패널에서는 확보하기 어렵다. 본 연구는 기업 수준의 분포값(distribution-valued) 특성이 대신 포트폴리오 위험에 대한 단측 증명(one-sided certificates)을 제공할 수 있음을 보인다. 특성에서 체계적 노출로, 그리고 노출에서 수익률로 이어지는 관계가 유지된다는 가정 아래에서, 다기업에 걸친 Wasserstein-2 산포는 포트폴리오의 체계적 분산에 대한 예리한 상한과 표준화된 수익률에 대한 대응 경계를 산출한다. 가중 쌍별 완화(weighted pairwise relaxation)는 확인 가능한 조건 아래에서 볼록한 목적 함수를 만들며, 주변 변동성 스케일(marginal volatility scales)만 요구할 뿐 자산 간 수익률 공분산은 요구하지 않는다. 기업별 여유(slack)가 0이면, 공통 맵 스케일(common-map scale)은 보증되는 분산 감소량을 변화시키지만, 관측된 정보 기하학에만 의존하는 정규화된 배분은 변화시키지 않는다. 2018~2022년의 52개 기업 패널에서 Qwen3-Embedding-8B 뉴스 표현들로 구성한 배분의 표본 내 분산 백분위수는 사전에 지정된 네 개의 상한 적용(capped) 포트폴리오 모집단에서 0.69번째와 1.33번째 사이에 있으며, 동일 위험 가중(equal risk weighting) 배분의 경우 21.1번째와 28.6번째 사이에 있다. 동일 위험 대비 더 낮은 표본 내 분산 순위는 보고된 고정(frozen) 언어 모델 표현들 전반에서도 나타난다. 따라서 이 프레임워크는 분포값 기업 정보를 일관된 위험 경계와, 자산 간 수익률 공분산 없이 구축되는 실행 가능한 배분 규칙으로 전환한다.

공간 수익률 모형은 상호작용 행렬을 주어진 것으로 간주하고 피드백을 해석하지 않은 채로 둔다. 우리는 타깃 고정 워서스타인 바리센트릭 재구성을 이용하여 기업들의 언어모델 기사 임베딩 분포로부터 대역폭이 필요 없는 장(field)을 구축한다. 이차 노출-조정 문제는 피드백을 동료 기업 불일치 패널티 비율로 변환한다. 52개 기업의 경우, 2018-2022년 뉴스로부터 동결된 이 장(field)은 2023-2026년 패널티 비율 3.46(95% 구간 [2.89, 4.17])을 산출하며, 동일한 거리를 사용하는 등가중 동료 지지 또는 RBF 가중보다 높은 조건부 준우도를 갖는다. 바리센트릭 필드와 뉴스 동시 언급 필드에 대한 결합 패널티 비율은 각각 2.33과 0.86이며, 경계 보정 검정은 두 배제 모두를 기각한다.