일간 논문

비전 언어 모델(VLM)은 DocVQA, ChartQA, MMLongBench-Doc과 같은 시각 문서 이해 벤치마크에서 강력한 성능을 보여주었다. 그러나 실제 문서는 길이, 레이아웃 복잡성, 양식, 질문 난이도 등의 여러 요소가 결합되어 있어, 모델 실패의 원인을 특정하기 어렵다. 본 연구에서는 문서 길이, 레이아웃 구조, 양식 구성, 질문 유형을 체계적으로 통제하는 완전 합성 기반의 장문 맥락 시각 문서 이해 벤치마크인 SynthDocBench를 제안한다. 이 벤치마크는 조합적 설계를 통해 구축되었으며, 각 요소는 생성된 문서 전반에 걸쳐 독립적으로 변이되어 모델 행동의 통제된 분석을 가능하게 한다. 문서는 6가지 레이아웃 원형에 걸쳐 LLM 파이프라인을 사용해 종단간 생성되며, 40%의 무작위 재정의를 적용하여 모델이 허위 상관관계를 활용하는 것을 방지한다. 또한 SynthDocBench는 기존 벤치마크보다 훨씬 더 긴 길이와 구조적 다양성을 지닌 장문 맥락 문서를 포함한다. 일곱 개의 최첨단 VLM을 평가한 결과, 기존 벤치마크로는 포착할 수 없는 세 가지 실패 모드가 드러났다. 즉, 문서 길이에 따른 급격한 성능 저하, 6개 모델 중 5개에서 문서의 중간 3분의 1이 가장 어려운 체계적 위치 민감성(가장 가파른 하락 폭: 8.3 퍼센트 포인트)과 6개 모델 중 5개가 음의 초반-후반 추세를 보이는 현상, 그리고 장문 문서 환경에서의 차트 이해 붕괴이다. 이러한 결과는 현재 모델이 강건한 장문 맥락 시각 문서 이해를 달성하기보다는 벤치마크 인공물에 과적합하고 있을 가능성을 시사한다.

본 논문에서는 사전 훈련된 MLLM을 이미지 생성 강화 학습을 위한 기성 보상 모델로 전환하는 훈련 없는 보상 함수인 SpectraReward를 제안한다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 생성된 이미지로부터 원래 프롬프트가 얼마나 잘 복구될 수 있는지를 단일 이미지 조건부 교사 강제 순방향 전파를 통해 측정한다. 평균 이미지 조건부 프롬프트 로그 우도를 보상으로 사용하며, 선호 레이블이나 보상 모델 미세 조정 없이 MLLM의 사전 훈련된 이미지-텍스트 정렬 능력을 직접 재사용한다. 또한, 통합 멀티모달 모델을 위한 특수 사례인 Self-SpectraReward를 도입하는데, 이는 정책의 자체 이해 브랜치가 생성 브랜치의 보상 모델 역할을 하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward는 두 가지 확산 모델, 세 가지 RL 알고리즘, 4B에서 235B 파라미터에 이르는 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 그리고 다섯 가지 분포 외 텍스트-이미지 벤치마크를 포괄하는 광범위한 이미지 생성 RL 연구를 통해 검증되었다. 결과는 SpectraReward와 Self-SpectraReward 모두 생성 성능을 크고 일관되게 향상시키며, 기존 MLLM 기반 보상 훈련 방법보다 우수함을 보여준다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 나은 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 일치하거나 능가할 수 있어, 보상-정책 정렬이 효과적인 이미지 생성 RL의 핵심 요소임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

시각 생성 모델은 렌더링에 탁월하지만, 자신이 알지 못하는 내용은 자신 있게 지어낸다. 사용자 요청은 무한하고, 진화하며, 깊이 있는 롱테일(long-tail)을 형성한다: 새로운 캐릭터, 유행하는 개체, 데이터 수집 이후의 사건 등이 포함된다. 이러한 세계 지식 병목 현상은 구조적이다. 생성 모델은 고정된 코퍼스로 학습되지만, 시각 세계는 개방형이기 때문이다. 우리는 12가지 실패 범주와 22개 도메인에 걸친 20,839개의 프롬프트로 구성된 SearchGen-20K와 SearchGen-Bench를 구축하고, 사전 실행된 다중 모달 SearchGen-Corpus-1M을 함께 제공하여 오프라인 및 재현 가능한 연구를 지원한다. SearchGen-Bench에서 최첨단 오픈 생성 모델은 100점 만점에 21~28점에 불과하며, 이는 기존 벤치마크에서는 드러나지 않는 40포인트 하락이다. 자연스러운 해결책은 검색 도구를 활용하여 에이전트 기반 시각 생성을 가능하게 하는 것이다. 그러나 우리는 단순한 검색이 실패한다는 사실을 발견했다. 검색이 무분별하게 결과를 가져와 생성 모델이 이미 처리할 수 있는 프롬프트에 잡음을 주입하기 때문이다. 우리는 이 근본 원인을 생성 모델 특화적이며 진화하는 지식 경계, 즉 생성 모델이 학습을 통해 내재화할 수 있는 것과 외부 맥락에 남아 있어야 하는 것 사이의 경계에서 찾는다. 이 경계는 사전에 명시하기 어렵지만, '가르친 후 탐색하는(teach-then-search)' 공동 학습 프레임워크를 통해 발견 가능함을 보여준다. 이 공동 학습 방법의 최소 버전조차도 단조적 개선을 만들어내며, 세계 지식에 기반한 요청을 충족할 수 있는 시각 생성의 재귀적 자기 개선을 위한 기반을 마련한다. 우리는 전체 데이터셋, 공동 학습 코퍼스, 검색 코퍼스를 도구 기반의 세계 지식 중심 시각 생성을 위한 재현 가능한 프레임워크로 공개한다.

현대 AI 모델은 많은 기존 벤치마크에서 뛰어난 성능을 달성했지만, 여전히 인간이 거의 사소하다고 여기는 작업(예: 끈을 조작하거나 다섯 개의 다리를 가진 개를 그리기)에서는 실패한다. 이러한 사례는 기존 벤치마크가 현재 시스템의 지속적인 사각지대를 충분히 측정하지 못할 수 있음을 시사한다. 본 연구에서는 인간에게는 단순해 보이지만 현대 AI에는 여전히 어려운 작업을 통해 이러한 사각지대를 드러내도록 설계된 벤치마크인 blind-spots-bench를 소개한다. AI 수업의 학생들로부터 원시 질문을 수집하고, 이를 정리하여 구조화된 참조 해답과 함께 주석을 달았으며, 결과적으로 얻은 235개 샘플의 데이터셋에 맞춤화된 작업 분류 체계를 제안한다. 또한 오픈웨이트 모델과 폐쇄형 소스 언어, 비전-언어, 이미지 생성 모델을 포함한 다양한 모델을 평가하기 위한 자동 채점 파이프라인을 개발한다. blind-spots-bench에 대한 분석 결과, 폐쇄형 최첨단 모델이 오픈웨이트 모델보다 약 10%의 격차로 크게 우수한 성능을 보일 수 있으며, 이는 기존 벤치마크에서 유사한 성능을 보일 때조차 그러하다. 더 세분화된 분석은 어떤 단일 모델도 모든 작업 유형에서 지배적이지 않으며, 일부 작업은 평가된 모든 모델에 대해 여전히 어려움을 겪는다는 것을 보여준다. 이러한 결과는 blind-spots-bench가 현재 현대 모델의 구체적인 취약점을 식별하기 위한 진단적 스트레스 테스트로서의 가치를 강조한다.

코딩 에이전트는 외부 도구의 반환값을 진행 중인 추론 과정에 통합해야 하는데, 이는 코드에 대한 표준 좌측-우측 사전 훈련이 순방향으로만 노출하는 능력이다. 우리는 코딩 에이전트의 행동-관찰-계속 루프가 구조적으로 함수 호출 지점과 동형(isomorphic)임을 관찰한다. 함수 호출 지점에서는 호출자가 인수를 바인딩하고, 피호출자가 다른 곳에서 계산된 값을 반환하며, 이후 코드가 그 값을 소비한다. 이러한 조건화 구조는 일반 코드에서 인터넷 규모로 존재한다. 우리는 이를 함수 인식 중간 채우기(FIM) 중간 훈련을 통해 활용한다. 이는 프로그램 종속성 그래프 분석과 복잡성-추론 가능성 이중 기준을 통해 선택된 함수를 마스킹하는 자기 지도 학습 목적 함수이다. 우리는 968개의 GitHub 저장소에서 추출한 2.6B-토큰(26억 토큰) 규모의 오염 제거 말뭉치에 대해 Qwen2.5-Coder-Instruct (7B/14B) 및 Qwen3-8B를 중간 훈련한 후, 기존의 에이전틱 사후 훈련 파이프라인을 적용했다. 중간 훈련은 SWE-Bench-Verified에서 7B/14B에 대해 각각 +2.8/+3.0, Qwen3-8B에서 +3.2의 성능 향상을 보였으며, SWE-Bench-Lite에서는 동일 모델에 대해 각각 +3.7/+4.0/+5.4의 향상을 보였다. 이러한 성능 향상은 두 가지 사후 훈련 파이프라인(R2E-Gym, SWE-Smith)과 Qwen2.5가 아닌 기본 모델(Qwen3-8B with SWE-Lego)에서도 유지되었다. 도메인 내 성능 향상 외에도, 중간 훈련은 에이전틱 사후 훈련이 그렇지 않으면 비에이전트 코딩(예: LiveCodeBench) 및 비코딩 도구 사용 벤치마크(tau-bench, BFCL)에 가하는 능력 저하를 완화한다. 중간 훈련 말뭉치가 Python 코드만 포함하고 있음에도 불구하고, 함수 호출 귀납적 편향은 사후 훈련 후에도 유지되어 일관된 성능 향상을 가져온다.

LLM 기반 코딩 에이전트는 자동화된 소프트웨어 이슈 해결에서 상당한 발전을 이루었으나, 저장소 이해 부족으로 인한 사실 오류에 여전히 취약하다. 최근 방법들은 수리 전 저장소 탐색을 통해 이러한 한계를 완화하려 시도하지만, 이들의 수정 중심 전략은 에이전트의 지식 격차를 식별하지 않고 저장소를 탐색하여 종종 근본적인 이해 결핍을 해소하지 못하는 부정확한 맥락을 산출한다. 본 논문에서는 소프트웨어 이슈 해결을 위한 QA 기반 프레임워크인 ACQUIRE를 제안한다. 숙련된 개발자가 수정을 시도하기 전에 먼저 익숙하지 않은 코드를 이해하는 방식을 반영하여, ACQUIRE는 수리 전에 명시적으로 저장소 지식을 획득한다. 이 프레임워크는 지식 획득을 패치 생성과 분리하여 두 단계로 진행한다. 첫 번째 단계에서는 질문자와 응답자가 협력하여 구조화된 저장소 지식을 획득하는데, 질문자는 목표 지향적인 질문을 제기하고 응답자는 자율 탐색을 통해 증거에 기반한 답변을 생성한다. 두 번째 단계에서는 해결자가 획득된 QA 지식을 활용하여 정보 기반 패치를 생성한다. 암묵적 지식 격차를 명시적이고 사실적으로 신뢰할 수 있는 이해로 전환함으로써, ACQUIRE는 지식 집약적 수리 단계를 가속화하고 더 정확한 해결을 가능하게 한다. SWE-bench Verified에서의 실험 결과, ACQUIRE는 대표적인 수리 전 방법들을 일관되게 능가하며, 적은 추가 비용과 시간으로 Pass@1을 최대 4.4퍼센트 포인트 향상시킨다.

기존의 자동 음악 전사 방법은 종종 단일 악기 녹음에 국한되거나 실제 복잡한 음악 믹스에서 실패하는 경우가 많다. 이전 연구에서 합성 훈련 데이터를 활용했지만, 결과 모델은 일반화 성능이 낮아 실제 다중 악기 환경에서 거의 사용할 수 없는 전사 결과를 초래한다. 본 연구에서는 합성 데이터의 사전 훈련 효과를 분석하면서, 실제 음악 오디오에 대한 미세 조정과 강화 학습을 이용한 후속 훈련을 결합한다. 또한 악기 존재 여부에 따른 조건화를 도입하여 전사를 맞춤화한다. 마지막으로, 다양한 음악 장르에 걸친 실제 음악 녹음에 적용 가능한 공개 가중치 다중 악기 음악 전사 모델인 MuScriptor를 공개한다.

주류 시각 인코더는 자연 이미지에 사전 학습되어 있어 문서 지향적인 적응 없이는 문서 이미지에 효과적으로 적용될 수 없는데, 이는 조밀한 텍스트와 미세한 문자 획이 문자 수준의 시각적 인지를 요구하기 때문이다. 본 논문에서는 문서 AI를 위한 시각-텍스트 사전 학습 모델인 MonkeyOCRv2를 제시한다. 첫째, 우리가 아는 한 가장 큰 문서 이미지 사전 학습 말뭉치인 MonkeyDoc v2를 구축하였으며, 이는 17개 언어에 걸쳐 1억 1300만 개의 이미지로 구성된다. 둘째, 이미지-텍스트 생성과 픽셀 수준의 문서 재구성을 공동으로 학습하는 사전 학습 전략을 제안한다. 전자는 시각적 표현을 텍스트 내용과 정렬하고, 후자는 문자 획과 레이아웃 세부 사항을 보존한다. 텍스트 인식, 수식 인식, 텍스트 검출, 문서 변조 탐지, 겹치는 텍스트 분할을 포함한 다섯 가지 대표적인 문서 분석 작업에 대해 광범위한 실험을 수행했다. MonkeyOCRv2로 원래 인코더를 교체하면 다섯 작업 모두에서 일관되게 성능이 향상되었다. 마지막으로, 보다 도전적인 문서 파싱 및 문서 이해 작업에서 다중 모달 대규모 언어 모델의 시각 인코더로서의 효과성을 검증했다. 동결 상태로 유지하고 경량 언어 모델과 결합했을 때, 0.7B 문서 파싱 모델을 생성하여 MDPBench에서 새로운 오픈소스 최첨단 성능을 달성했으며, 이는 디지털 생성 및 촬영 문서를 17개 언어로 포괄하는 최신 벤치마크로, 약 11배 더 큰 시각 인코더를 가진 이전 최고 모델인 3B dots.mocr을 절대 성능 2.8% 초과했다. 동결 인코더는 또한 CLIP, DINO 및 SAM을 기반으로 한 대응 모델을 동일한 학습 설정에서 8개 벤치마크에 걸쳐 능가하는 문서 이해 모델을 구동한다. 이러한 결과는 문서 지향 시각 사전 학습이 그 자체로 문서 지능의 기반이 될 수 있음을 시사한다.

가장 도전적인 게임 중 하나를 정복하게 한 심층 신경망을 활용한 상태-행동 가치 함수 근사화에서부터, 당면한 과제의 규칙을 명시적으로 제시하지 않고도 문제를 해결할 수 있게 한 알고리즘적 발전에 이르기까지, 강화 학습 연구는 지난 10년간 놀라운 과학적 진보의 중심에 있어 왔다. 본 논문에서는 이러한 연구 진전의 핵심 요소에 초점을 맞추고, 강화 학습의 정규 설계 및 평가 패러다임을 분석한다. 우리는 강화 학습에서 스케일링 법칙의 이론적 기초를 소개하고, 강화 학습 알고리즘의 점근적 성능이 성능 순위와 데이터 영역 간에 단조로운 관계를 갖지 않음을 보인다. 대규모 실험을 수행한 결과, 정규 설계 및 평가 패러다임 하에서의 일련의 강화 학습 연구가 잘못된 결론을 초래했음을 입증한다. 우리의 분석과 결과는 심층 강화 학습의 스케일링, 용량 및 복잡성에 대한 핵심 분석을 제공한다.

대규모 언어 모델(LLM) 에이전트는 계획 수립, 코드 실행, 디버깅, 실증적 피드백을 결합하여 머신러닝 엔지니어링(MLE)을 자동화하기 시작하고 있다. 이러한 역량을 의료 영상에 적용하는 것은 각 과제가 특정 양식에 특화된 실험과 검증 프로토콜 및 예측 결과물에 대한 엄격한 요구사항을 부과하기 때문에 여전히 어렵다. 본 논문에서는 의료 영상 모델 개발을 위한 자율적 다중 에이전트 프레임워크인 AMID를 소개한다. AMID는 먼저 데이터 조건 기반 방법 계획(Data-Conditioned Method Planning)을 제안하는데, 이는 작업 수준의 탐색 공간을 과제별 데이터 분석 및 실행 가능한 의료 영상 자원에 기반하여 실행 가능하고 병렬화가 가능한 방법 경로(method lanes)로 세분화한다. 이후 검증 기반 2단계 최적화(Verification-Guided Two-Stage Optimization)를 개발하여, 다양한 방법 경로에 대한 광범위한 초기 탐색에서 유망한 후보에 대한 선별적 활용으로 전환하며, 최적화 전반에 걸쳐 검증 프로토콜, 지표 계산, 예측 결과물에 대한 엄격한 검증을 강제한다. 다양한 양식과 예측 유형을 아우르는 20개의 의료 영상 챌린지 과제에 대해 AMID는 평가된 범용 MLE 시스템보다 뛰어난 성능을 보였으며, 여러 과제에서는 강력한 인간 설계 챌린지 솔루션에 근접하거나 일치하는 결과를 달성했다. 이러한 결과는 AMID가 과제 특화 의료 영상 모델 개발을 맞춤형 수동 엔지니어링에서 이질적인 과제 전반에 걸쳐 고성능의 감사 가능한 모델 결과물을 생성하는 에이전트 기반 워크플로우로 전환할 수 있음을 시사한다.

본 연구는 비전 모델을 위한 통합된 공식화를 소개한다. 여기서 마스크, 깊이 맵 및 기타 구조화된 시각 신호와 같은 자연 이미지 외의 다양한 형태의 시각 정보는 모두 RGB 이미지로 표현되며, 일반적인 시각 작업은 공통의 RGB-to-RGB 이미지 편집 문제로 변환될 수 있다. 이 패러다임에서 다양한 유형의 시각 정보는 내부적으로 자연 이미지와 동일한 인코딩 및 디코딩 아키텍처와 파라미터를 공유하여, 단일 모델이 통합된 시각 인터페이스를 통해 작업 간 전이를 가능하게 한다. 이는 언어 모델이 텍스트를 처리하는 방식과 유사하다. 우리는 이 공식화를 RGB In and RGB Out (RINO)이라고 명명한다. 작업별 미세 조정 없이 일반적인 이미지 편집 백본을 기반으로 구축된 RINO는 분할 및 깊이 추정과 같은 밀집 이해 작업(출력을 RGB로 통합)과 포즈-투-이미지 생성과 같은 밀집 조건 생성 작업(입력을 RGB로 통합) 모두에서 강력하고 경쟁력 있는 제로샷 성능을 보여준다. 우리는 이 연구가 다양한 시각 작업이 공유된 시각 언어를 통해 표현, 해석 및 해결될 수 있는 일반적인 통합 비전-언어 시스템에 유용한 통찰력을 제공하기를 바란다. 코드는 https://github.com/yangtiming/RINO에서 확인할 수 있다.

예측을 위해 미세 조정된 대규모 언어 모델은 정확할 수 있지만 보정이 잘 안 될 수 있으며, 이들의 사고 사슬 추론이 예측의 근거를 충실히 반영하지 못할 수도 있다. 우리는 내부 표현이 이 두 문제에 대해 더 직접적인 창을 제공하는지 질문한다. OpenForesight 데이터셋에서 Eternis-Forecaster 8B를 사용하여 중간 활성화에 대한 표현 풀링 탐침을 훈련했으며, 이들이 훨씬 더 나은 보정을 달성함을 발견했다. 이 결과는 GLM-4.7-Flash와 GLM-4.5-Air에도 적용된다. 그런 다음 증거 제거와 오도 정보 주입을 통해 사고 사슬 충실도를 평가했다. 프롬프트에서 영향력 있는 출처를 제거하면 모델의 예측은 자주 변하지만 추론 과정은 그대로 남아 있었다. 동일한 탐침이 거짓말 탐지기로 기능했다. 이들의 활성화는 추론 과정보다 행동 변화를 훨씬 더 잘 추적했으며, 또한 사고 사슬이 교란의 영향을 숨기는 경우를 포함하여 84%의 사례에서 변화 방향을 예측했다. 마지막으로, 강제 응답은 예측이 추론이 시작되기 전에 대부분 고정됨을 드러냈다. 단일 추론 전 통과로 확정된 답변과 신뢰도가 회복되었으며, 이 미리 설정된 답변 분포의 퍼짐에 따라 질문을 라우팅하면 정확도 손실 없이 생성된 토큰을 30~47% 절약했다. 종합적으로, 이러한 결과는 내부 표현 탐침을 언어 모델 예측기 및 더 넓은 범위의 추론 모델을 보정, 감사 및 분류하기 위한 실용적인 도구로 확립한다.