일간 논문

최근 비디오 생성기는 전쟁, 재난, 공공 비상사태 및 기타 실세계 위기에 대한 사실적인 묘사를 만들어낼 수 있으며, 이는 상당한 허위 정보 위험을 초래한다. 그러나 기존 벤치마크는 탐지 가능성이 생성 조건에 따라 어떻게 달라지는지, 사람들이 생성된 비디오를 어떻게 인식하는지, 탐지기가 사회적 확산 과정에서도 신뢰할 수 있는지 여부 등 이러한 상황에서의 탐지기와 생성기의 행동에 대한 제한적인 증거만 제공한다. 이러한 격차를 해소하기 위해, 우리는 실제 비디오를 앵커로 사용하는 AI 생성 비디오 탐지 벤치마크인 RA-Bench를 소개한다. RA-Bench는 17,886개의 비디오로 구성되며, 10개의 사회적 위험 범주에 걸친 1,830개의 실제 비디오 앵커와 4개의 오픈소스 및 5개의 클로즈드소스 생성기에서 생성된 16,056개의 생성 클립을 포함한다. RA-Bench를 기반으로, 우리는 평가를 세 가지 차원으로 구성한다. 먼저, 우리는 일곱 개의 전통적 탐지기, 세 가지 검토 설정에서의 열 개의 제로샷 멀티모달 모델, 그리고 AI 생성 비디오 탐지에 특별히 미세 조정된 두 개의 MLLM에 걸쳐 탐지기 일반화를 평가한다. 이러한 방법들 전반에 걸쳐, 세 탐지기 계열 중 어느 것도 RA-Bench 인스턴스에서 일관되게 일반화되지 않는다. 그런 다음 우리는 탐지 가능성이 생성 품질, 조건화 정보, 그리고 샘플링 시드에 따라 어떻게 달라지는지 조사한다. 이러한 분석은 생성 속성이 탐지기 계열에 서로 다르게 영향을 미치는 반면, 소스 수준의 탐지 패턴은 시드에 걸쳐 안정적으로 유지됨을 보여준다. 마지막으로, 우리는 사회적 확산 과정에서 인간의 진위성 판단과 탐지기 신뢰성을 연구한다. 우리는 사람들을 오도하는 비디오가 현재의 탐지기에게도 탐지하기 어렵고, 사회적 확산이 탐지를 더 어렵게 만든다는 것을 발견한다. 종합하면, 이러한 발견은 현재의 방법들이 사실적인 AI 생성 비디오를 탐지하는 데 어려움을 겪고 있음을 보여주며, 진화하는 비디오 생성기에 강건한 탐지기의 필요성을 강조한다.

시각적 온-정책 증류는 더 크고 강한 교사 모델이나 참조 답안, 실측 관심 영역과 같은 특권적 감독을 통한 정보성 있는 교사-학생 비대칭성에 크게 의존한다. 이는 근본적인 질문을 제기한다: 특권적 정보가 전혀 없을 때 정보성 있는 비대칭성은 어디에서 비롯될 수 있는가? 우리는 비대칭성의 원천을 역전시켜 이 질문에 답한다. 교사에게 특권적 정보를 추가하는 대신, 학생으로부터 정보를 제거한다. 이러한 비대칭성은 실측 주석, 보상, 또는 별도의 더 강한 교사 모델 없이도, 학생이 접근할 수 없는 정보에 접근하는 교사와 동일한 효과적 학습 신호를 추가 비용 없이 생성한다. 이 원리를 바탕으로, 우리는 비대칭적 증강 뷰로부터 온-정책 학습 신호를 구성하는 간단하면서도 효과적인 방법인 자기지도 시각적 온-정책 증류(S^2VOPD)를 제안한다. S^2VOPD는 원본 이미지에 조건화된 교사 분포를 동일한 이미지의 강하게 증강된 뷰에 조건화된 학생 분포로 온-정책 증류한다. 우리는 시각적 증강의 광범위한 설계 공간을 체계적으로 탐구하여 다음을 발견한다: (1) 비대칭성이 중요하다: 네 가지 증강 패밀리 모두 성능을 향상시키는 반면, 대칭적 자기 증류는 성능을 저하시킨다; (2) 강도가 중요하다: 성능은 적절한 강도에서 최고조에 달한다; (3) 격차는 과제와 일관성을 유지해야 한다: 질문 관련 증거를 완전히 제거하는 증강은 크지만 정보를 제공하지 않는 불일치를 유발할 수 있다. 여섯 개의 세밀한 지각 벤치마크에서 S^2VOPD는 Qwen3.5-4B를 70.7%에서 77.4%로 향상시키며, 비교된 모든 오픈소스 모델(Qwen3-VL 235B까지 포함)보다 높은 성능을 달성하고 GPT-5.4를 능가한다. 훈련 데이터를 동일하게 유지하면서, 특권적 정보를 사용하는 방법들이 달성한 성능 향상의 96%를 회복한다. 웹사이트: https://williamium3000.github.io/s2vopd

자율 에이전트는 장기적인 실험을 통해 모델, 시스템 및 기타 기술 산출물을 개선하는 능력이 점점 더 향상되고 있다. 그러나 이러한 능력의 현재 상태를 이해하려면 평가가 최종 점수를 넘어서야 한다. 최종 점수는 진전이 어디에서 얻어지거나 상실되는지 드러내지 않으며, 축적된 경험이 이후의 결정을 개선하는지도 나타내지 않기 때문이다. 따라서 우리는 솔루션 프레이밍, 실행, 피드백 제어를 통해 실행 내 행동을 특성화하는 규칙 기반 지표와 작업 내 및 작업 간 경험 재사용을 평가하는 통제된 비교를 활용하는 새로운 프레임워크를 기반으로 36개의 장기 과제에 걸쳐 7개의 최첨단 모델에 대한 체계적인 평가를 제시한다. 결과는 현재 에이전트가 완전히 자율적인 연구자라기보다는 공학적 최적화 도구에 가깝게 작동함을 보여준다. 즉, 실용적인 솔루션을 공식화하고 구현할 수 있지만, 성능은 실행마다 크게 달라지며, 가장 강력한 솔루션은 주로 기존 기법을 변형하거나 결합한 것이고, 진정한 방법론적 혁신은 여전히 드물다. 상세 분석은 관찰된 성능이 여러 요인에 의해 형성됨을 보여준다. 유사한 최종 결과 이면의 서로 다른 프로세스 병목, 후속 결정을 돕거나 오도할 수 있는 경험 재사용, 그리고 성능 안정성에 영향을 미치는 하네스 설계가 그러한 요인에 포함된다. 이러한 발견은 모델 훈련, 추론 시간 전략, 경험 관리 및 하네스 설계를 개선하기 위한 구체적인 방향을 제시한다.

우리는 전역적으로 공유되는 메모리(FFN)에 지식 벡터를 저장하고, 여러 추론기(Self-Attn)가 반복적으로 합성적 추론을 수행하는 구조인 Mobius-v0를 소개한다. 은닉 상태를 캐시 및 전달체로 활용하여, 추론기는 필요한 지식 벡터를 메모리에 반복적으로 질의하며, 지식은 다시 추론 연산자로 전송된다. 이러한 지식-추론 분리 구조를 통해 Mobius는 더 나은 지식 압축과 추론 효율성을 달성한다. Mobius-v0 구조를 기반으로: 1) 처음부터 학습된 우리의 7B 모델은 7B Transformer 기준 모델과 유사한 다운스트림 점수를 달성하면서도, 기준 모델 학습 데이터의 62.6%만을 사용한다. 2) Qwen3.5-35B에서 지속적 사전학습된 우리의 Intern-S2-Mobius는 유사한 다운스트림 점수를 달성하면서도, 약 4배의 종단 간 추론 속도 향상을 제공한다.

온-정책 증류(OPD)는 강한 교사 모델의 추론 능력을 전이하는 유망한 방법이지만, 이를 장문맥 추론 교사 모델과 단문맥 학생 모델에 적용하는 것은 토크나이저 불일치, 교사-학생 분포 불일치, 응답 길이 폭발, 훈련 불안정성 등의 실질적인 문제를 야기한다. 본 연구에서는 장문맥 추론 모델인 SU-01의 증명 추론 능력을 단문맥 학생 모델로 전이함으로써 이러한 설정을 연구한다. 토크나이저 차이를 처리하기 위해 공유 텍스트 공간에서 OPD를 수행하고, 학생 및 교사 토크나이저에서 동일한 텍스트 범위를 차지하는 토큰만 정렬한다. 과도한 생성 길이와 빈번한 절단 문제를 완화하기 위해 학생 참조 KL 손실을 도입하고 </think> 및 <|im_end|>와 같은 특수 종료 토큰의 어드밴티지를 마스킹한다. 이 전략은 학생이 초기 정책에서 과도하게 이탈하지 않도록 제약하여 교사-학생 분포 불일치 문제를 완화하고 안정적인 길이 성장을 촉진한다. Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4를 포함한 동일 계열 및 이종 계열 학생 모델에 대한 실험은 수학적 추론, 특히 자연어 수학 증명에서 일관된 성능 향상을 보여준다. 특히 Intern-S2-Preview는 ProofBench에서 21.2점 향상되어 55.2점을 달성하며 Gemini-2.5-Pro를 능가한다. 또한 HLE 및 HiPhO와 같은 과학 벤치마크에서도 개선되어, OPD가 수학 훈련 영역을 넘어 일반화되는 추론 능력을 전이함을 시사한다.

아폴로가 달에 도달할 수 있었던 것은 단지 엔지니어들이 어려운 방정식을 풀 수 있었기 때문만은 아니었다. 그것은 먼 포부를 명시적 목표, 시뮬레이션, 검증, 그리고 반복적 수정으로 구성된 임무 아키텍처로 전환함으로써 성공했다. AI는 이제 유사한 전환점에 직면해 있다: 프런티어 모델은 문제, 도구, 성공 기준이 명시되면 어려운 작업을 해결할 수 있지만, 결과적으로 중요한 실제 세계의 문제는 실행 가능하거나 검증 가능한 형태로 제공되는 경우가 드물다. 우리는 발견적 AI를 구축하고 평가하기 위한 프레임워크인 Apodex Discovery를 소개한다. 이는 파운데이션 모델, 하네스, 도구, 제어 정책으로 구성된 시스템인 heavy-duty solver를 기반으로 하며, 확장된 상태 유지형 검증 가능한 조사를 추구한다. 이 프레임워크는 세 가지 핵심 구성요소를 가진다. 첫째, 문제 발굴 프로세스는 16개 섹터에 걸친 561개 산업을 조사하고, 423개의 고가치 실제 세계 문제를 수집했으며, 초기 릴리스를 위해 20개를 선정했다. 둘째, 공통 환경-작업-에피소드 추상화는 데이터, 도구, 제약 조건, 피드백, 궤적 기록, 그리고 중간 산출물과 최종 제출물의 검증을 제공한다. 셋째, HDS6은 최종 작업 성공과 독립적으로 도구, 수리, 대안, 일관성, 증거, 범위를 평가한다. AAV 캡시드 설계에서 Apodex는 생존성, 조직 친화성, 구조 예측, 생성 설계 전반에 걸쳐 발표된 최신 기술 대비 7%의 성능 향상을 달성했다. 약물 재창출 및 재제형화에서, 작업 특화 생체의학 환경은 GPT-5.5와 GPT-5.6-sol의 평균 정규화 예측 점수를 동일한 폐쇄형 백본 대비 각각 2.5점과 7.6점 향상시켰다. 통제된 절제 실험은 고정된 TRACES 에피소드 인터페이스가 성능 차이를 특정 솔버 구성요소에 귀속시킬 수 있게 함을 보여준다. Apodex Discovery는 AI 평가를 사전 정의된 벤치마크를 넘어 진정한 발견을 목표로 하는 검증 가능한 조사로 이동시킨다.

대화형 게임 세계 모델은 일반적으로 시각적 관측을 픽셀 또는 잠재 공간에서 직접 자기회귀하므로, 자세, 기하학, 가림과 같은 구조적 속성이 동일한 생성 시퀀스에 의해 암묵적으로 유지되어야 한다. 긴 지평에 걸쳐 이러한 잠재 세계 속성의 오류가 누적되어 일관성과 제어 가능성이 취약해진다. 우리는 진화하는 세계 상태를 명시적으로 모델링하고, 정확한 기하학 계산을 매개변수가 없는 고정 렌더러에 위임하며, 신경망 모델은 외관 합성만 담당하게 한다. 이 아이디어를 관절형 캐릭터가 등장하는 대화형 게임용 세계 모델인 Marionette로 구현한다. 첫째, 2단계 자기회귀 동역학 모델이 다중 개체 관절형 골격, 미터 단위 루트 궤적, 회전을 포함하는 명시적이고 해석 가능한 276차원 3D 세계 상태를 예측한다. 둘째, 매개변수가 없는 그래픽 브리지가 예측된 상태를 자세 제어 비디오로 변환하고, 세계 공간 기하학과 가림을 닫힌 형태로 계산한다. 셋째, 제어 조건부 비디오 확산 관측 모델이 결과적으로 얻어진 구조적 제어로부터 사진실사 RGB 관측을 합성한다. 실험을 통해 Marionette의 두 가지 속성을 확인한다. 첫째, 예측된 세계 상태는 직접 제어 가능하다. 일치하지 않는 행동 스트림을 강제하면 48개의 보류 세그먼트에서 루트 정렬 관절 오차가 31% 변한다. 둘째, 장기적 행동은 상태에서 결정되며, 그 상태에서 수정할 수 있다. 방치할 경우 생성된 두 캐릭터는 21.2m까지 멀어지고(기록된 세션은 약 5m를 유지), 프레임의 3분의 1에서 지면 관통이 발생한다. 명시적 상태에 부과된 두 가지 규칙, 즉 지형 충돌체와 분리 상한은 관측 모델을 변경하지 않고도 관통을 66% 줄이고 두 캐릭터가 상호작용하도록 유지한다. 예측된 상태를 통해 외관을 라우팅하는 것은 FVD가 기록된 자세의 799와 비교하여 831로, 우리가 감지할 수 있는 충실도 손실이 없다.

현재 대규모 언어 모델 개발은 방대하고 종종 사용이 허용되지 않는 데이터셋에 의존하고 있으며, 이는 오픈소스와 윤리적으로 확보된 데이터를 지향하는 연구자들에게 높은 진입 장벽을 만든다. 우리는 계층적 추론 모델(HRM) 아키텍처를 기반으로 하는 10억 파라미터 언어 모델 Mimir v1을 소개한다. Mimir v1은 처음부터 훈련되었으며, 오직 사용이 허용된 사후 훈련 데이터만을 사용하여 영어에서 매우 경쟁력 있는 성능을 제공하고 덴마크어에서 새로운 최첨단 성능을 달성한다. 161개 데이터셋의 혼합 훈련을 통해 얻은 Mimir v1은 원래 HRM-Text 1B를 능가하며, 영어, 수학·코드 및 덴마크어를 포괄하는 20개 벤치마크에서 Qwen 3.5 4B 및 Gemma 4 E2B와 같은 대형 프런티어 모델과 경쟁할 만한 성능을 보인다. 모델은 Hugging Face Hub에서 확인할 수 있다: https://huggingface.co/danish-foundation-models/DFM-Mimir

차세대 AI 에이전트는 고립된 질문에 답하는 시스템을 넘어, 사용자의 경험을 이해하고 기억하며 지속적으로 학습할 수 있는 상시형 개인 비서로 진화하고 있다. 이러한 비서는 시간이 지남에 따라 사용자 특정 경험을 축적하고 활용하기 위한 장기 기억이 필요하지만, 기존 벤치마크는 경험이 이질적이고 멀티모달하며 진화하고 깊이 개인화된 실제 모바일 환경을 평가하기에는 여전히 부적합하다. 본 논문에서는 1년 규모의 모바일 경험 컬렉션에 기반하여, 온디바이스 장기 기억을 연구하기 위한 벤치마크이자 프레임워크인 MobileMem을 소개한다. MobileMem은 지식 기반 합성 파이프라인을 활용하여 사용자-앱 세션으로부터 일관성 있고 시간적으로 정합적인 장기 지평 궤적을 구축한다. 또한 다중 홉 및 시간적 추론, 지식 갱신, 암묵적 선호도 추론을 포괄하는 상호보완적인 텍스트 및 멀티모달 설정을 제공한다. 구체적으로, MobileMem은 에이전트가 과거를 기억하고 현재를 이해하며 미래에 적응할 수 있게 한다. MobileMem은 고립된 사실이 아닌 경험을 모델링함으로써, 기억을 정보 검색의 차원을 넘어 지속적인 개인 학습을 위한 경험적 지능으로 확장한다.

휴머노이드 모션 트래킹은 원격 조작과 전신 모방의 핵심 요소이지만, 평가 결과는 종종 사람들이 영상에서 인지하는 바와 일치하지 않는다. 운동학적 오류는 프레임별 자세 차이를 평균화하지만, 가장 중요한 물리적 결함, 특히 불안정한 지지와 발 미끄러짐 및 잘못된 타이밍의 착지와 같은 부정확한 접촉을 놓친다. 한편, 널리 사용되는 테스트 스위트는 규모가 작고 접촉이 빈번하고 장기간에 걸친 행동을 평가하기에 필요한 다양성이 부족하다. 본 논문에서는 휴머노이드 트래킹 평가를 지각적으로 정렬되고 확장 가능하게 만드는 HumanTracker를 소개한다. HumanTracker 벤치마크는 여러 전문 퍼포머의 약 153시간 분량의 광학 모션 궤적을 포함하며, 세밀한 진단을 위한 텍스트 레이블과 함께 네 가지 동작 패밀리로 구성된다. 또한 24K 동작을 포함하는 12K 동작 쌍으로 훈련된 선호도 정렬 지표인 HumanScore를 제안한다. 대표적인 최신 트래커들에 대한 평가에서 HumanScore는 인간의 선호도를 더 잘 예측하며, 운동학적 지표가 종종 놓치는 접촉 및 안정성 실패를 드러낸다.

이미지 편집 모델의 급속한 발전과 다양한 영역에서의 광범위한 응용에 따라, 이러한 모델의 기능을 실제 세계 시나리오에 직접 배포해야 할 필요성이 점점 더 절실해지고 있다. 그러나 기존 벤치마크는 단순한 단일 이미지 작업에 국한되어 있어, 평가 범위가 제한적이고 다양한 모델 간의 성능을 효과적으로 변별하지 못한다. 결과적으로, 기존 벤치마크는 복잡한 다중 이미지 편집, 고도의 추론 능력을 요구하는 지시문, 그리고 실용적 배포 환경에서의 모델 성능을 신뢰성 있게 평가하지 못한다. 이러한 한계를 해결하기 위해, 우리는 실제 세계 이미지 편집을 위한 종합적이고 실용적이며 지능적인 벤치마크인 CPI-Bench를 제안한다. CPI-Bench는 세 가지 핵심 하위 집합으로 구성된다: 다양한 편집 작업을 포괄적으로 다루고 다중 이미지 편집 평가를 최초로 포함하는 CPI-General-Bench, 고빈도 실제 사용자 응용 시나리오에 초점을 맞춘 CPI-Practical-Bench, 그리고 고도의 추론 기반 편집 능력 평가에 전념하는 CPI-Intelligent-Bench이다. CPI-Bench에 기반한 주류 이미지 편집 모델의 평가 결과는 CPI-Bench가 모델 간 성능 변별력을 향상시킴을 보여준다. CPI-Bench는 일반 편집 능력, 실용적 배포 효율성, 그리고 고급 추론 기반 편집의 격차에 대한 종합적이고 신뢰할 수 있는 정량화를 제공하며, 향후 이미지 편집 모델 최적화에 귀중한 지침을 제시한다. 결정적으로, 우리의 순위 분석은 CPI-Bench가 Arena 이미지 편집 리더보드와 가장 높은 정렬도를 달성함을 보여주며, 이는 CPI-Bench가 인간 평가자의 선호도와 지각적 판단을 충실히 포착하여 실제 사용자 경험에 대한 견고한 대리 지표로 기능함을 시사한다.

인간의 뇌는 현저한 수준의 기능적 특화를 보여 주며, 언어, 형식적 추론, 타인의 마음에 대한 추론, 물리적 세계에 대한 추론을 각각 지원하는 별개의 네트워크가 존재한다. 이러한 모듈식 조직이 지능적 시스템이 반드시 구축되어야 하는 근본 원리인지, 아니면 생물학적 뇌에 특화된 진화적 우연인지는 여전히 미해결 과제이다. 본 연구에서는 매우 상이한 최적화 과정을 통해 만들어진 또 다른 부류의 지능적 시스템인 대규모 언어 모델에서 유사한 조직이 나타나는지 검증한다. 네 가지 인지 영역(언어, 형식적 추론, 사회적 추론, 물리적 추론)에 걸친 N=46개 과제에 대한 회로 분석을 통해, 대규모 언어 모델이 인간의 뇌를 반영하는 모듈식 구조를 발달시킴을 발견하였다. 즉, 인간의 뇌에서 동일한 네트워크를 활용하는 과제들은 대규모 언어 모델에서도 중첩된 뉴런을 활성화하는 반면, 서로 다른 네트워크를 활용하는 과제들은 구별되는 뉴런을 활성화한다. 뇌와 신경망에서 모듈성이 수렴적으로 발현된다는 사실은 그것이 지능적 시스템의 근본적 속성일 수 있음을 시사한다.

에이전트가 경험으로부터 학습하고 이를 정책에 내재화하는 것은 자기 진화 AI의 핵심 문제가 되었다. OPSD(On-Policy Self-Distillation)는 특권적 자기 교사를 활용하여 학생 자신의 궤적에 대해 밀집 지도를 제공함으로써 효과적인 경로를 제시한다. 그러나 기존 방법들은 여전히 설계자가 지정한 특권적 인공물(예: 답변, 피드백, 스킬, 궤적)에 크게 의존하며, 이는 지속적 자기 개선에 필요한 종단 간 학습 가능성과 확장성을 제한한다. 본 연구에서는 LOPD(Latent On-Policy Self-Distillation)를 소개한다. LOPD는 새롭게 규정된 형태의 특권적 맥락을 가진 또 다른 수작업 OPSD 변형을 제안하는 대신, 교사의 특권적 맥락 자체를 경험으로부터 종단 간 학습 가능하게 만든다. 기술적으로 LOPD는 관련 경험을 검색하여 이를 연속적인 잠재 토큰으로 구성하고, 이 토큰이 자기 교사를 조건화한다. 학생은 과제와 상호작용 이력으로부터 궤적을 생성하며, 방문한 모든 접두사(prefix)에서 토큰 수준의 밀집 지도를 받는다. 또한, 잠재 맥락 학습을 안정화하고 조절하기 위해 특권적 마진 목적 함수를 도입한다. 실험적으로 LOPD는 (I) 에이전트형 도구 사용과 코드 생성 모두에서 RLVR 및 OPSD, SDPO, Skill-SD를 포함한 대표적인 OPSD 방법들을 능가하는 강력한 성능을 보여주며, (II) 롤아웃 예산의 30% 미만만으로 GRPO 및 Skill-SD를 능가하는 높은 학습 효율을 달성한다. 절제 연구는 특권적 맥락을 학습 가능하게 만드는 것이 이러한 성과를 실현하는 데 필수적이라는 직접적인 증거를 추가로 제공한다. 종합적으로, 이러한 결과는 LOPD를 에이전트 진화를 위한 보다 확장 가능하고 자기 주도적인 패러다임으로 나아가는 한 단계로 자리매김한다.

우리는 테스트 시간 확장의 원리로서 주장 수준 반증(claim-level falsification)을 제안하고, 이를 추가적인 해 샘플링에서 목표 지향적 검증으로 테스트 시간 계산을 재배분하는 훈련 없는 프레임워크인 주장 수준 신뢰성 평가(Claim-Level Reliability Assessment, CLR)를 통해 구현한다. 전체 추적 평가는 일상적인 토큰에서 비롯된 신호 희석으로 인해 결정적 오류를 종종 모호하게 만들기 때문에, CLR은 각 추론 추적을 의사결정에 중요한 주장들로 이루어진 간결한 집합으로 압축하여 논리적 기준점을 분리한다. 나아가, 고정된 모델 능력 하에서 완전히 올바른 해를 생성하는 것의 본질적 어려움을 인식하여, CLR은 의미론적 반증에 초점을 전환한다. 이 접근법은 해 구성과 주장 반박 사이의 근본적 비대칭성을 활용한다. 유효한 해를 구성하려면 완벽한 추론 경로가 요구되는 반면, 잘못된 주장을 반박하는 데에는 단 하나의 결정적 결함만 식별하면 된다. 이러한 부정적 증거에 대한 목표 지향적 탐색은 고신뢰 오류 추적이 생존할 수 있는 공간을 체계적으로 압축하며, 비선형 신뢰도 점수화를 통해 오류 합의를 효과적으로 억제한다. 동일한 예산 하에서 네 개의 LLM과 네 개의 추론 벤치마크에 걸쳐, CLR은 일반적으로 pass@1 및 자기 일관성을 개선한다. 예를 들어, GPT-OSS-20B/CMIMC25에서 CLR은 pass@1을 27.15퍼센트포인트 능가하고, 자기 일관성 정확도를 77.50\%에서 82.19\%로 끌어올리면서 토큰 사용량을 37.0\% 줄인다.

세밀한 로봇 평가는 이진 성공률과 규칙 기반 프로세스 점수를 넘어 체화된 모델을 이해하는 데 중요하다. 우리는 롤아웃 비디오를 조밀한 진행 곡선으로 변환하고 여러 세밀한 지표를 도출하는 로봇 프로세스 평가 도구 키트인 PRM-as-a-Judge 1.5를 제시한다. PRM-as-a-Judge 1.5는 버전 1.0을 기반으로, 실패 측 진행, 하락 후 회복, 성공 측 실행 품질을 특성화하는 세 가지 지표를 도입하여 사용자가 체화된 모델의 능력을 이해하도록 돕는다. 벤치마크의 롤아웃 비디오를 기반으로 우리는 체화된 모델에 대한 포괄적인 평가를 수행하고, 세밀한 지표 결과와 주요 발견을 제공한다. 또한 프로세스 보상 모델(PRM)의 신뢰성을 평가하기 위해 RoboPulse++를 도입하여 평가자에게 더 정확한 테스트 플랫폼을 제공한다. 더욱이, 우리는 벤치마크, 지표 구현 및 시각화 도구를 포함한 사용자 친화적인 평가 스위트를 공개하여 재현 가능한 조작 프로세스 평가를 지원한다. 우리는 커뮤니티가 로봇 평가 방식을 재고하고, 투명하고 절차적이며 재현 가능한 평가를 차세대 체화된 지능의 기반으로 확립할 것을 촉구한다.

ReAct 패러다임의 LLM 에이전트는 추론, 행동, 관찰을 번갈아 수행하지만, 의도적인 추론은 Thought 단계로 제한된다. 에이전트가 행동을 직렬화하고 환경을 기다리는 동안 추론은 정지된다. 우리는 Action과 Observation 단계로 이루어진 반복 구간을 추론 유휴 구간으로 식별하고, 이 구간이 향후 턴에 기여하는 추가 추론을 병렬로 수행할 수 있는지 묻는다. 이에 우리는 Second Thought를 제안한다. Second Thought는 학습이 필요 없는 추론 프레임워크로, 각 Thought 단계가 끝나는 즉시 네 개의 보조 분기를 생성하고, 이를 메인 루프와 동시에 디코딩하며, 환경 관찰이 도착하면 생성된 Thought를 다시 병합한다. 이처럼 Second Thought는 추가된 추론을 메인 스레드의 순차적 디코딩 경로 밖으로 재배치한다. 세 가지 에이전트 벤치마크와 세 가지 추론 LLM에 걸쳐, Second Thought는 9개의 (모델, 벤치마크) 쌍 모두에서 평균 턴 수를 낮춘다. 그중 6개에서는 메인 스레드 디코딩을 최대 43%까지 줄이며(해당 설정들에서 평균 약 20%), 일곱 번째에서는 사실상 변화가 없다. Pass@1은 9쌍 중 7쌍에서 유의미한 변화를 보이지 않으며, 유의미한 두 차이는 각각 +12.4 및 +10.2 포인트이다. 동일한 예산을 메인 스레드의 자체 추론에 부과하는 계산량 일치 대조군과 비교했을 때, Second Thought는 대조군이 적용되는 네 가지 설정 모두에서 1.3~3.2만큼 적은 순차 디코딩으로 엄격히 더 높은 Pass@1을 달성한다.

다중모달 대규모 언어 모델(MLLM)은 강력한 시각적 이해 능력을 보이지만, 이러한 행동을 유발하는 내부 특징은 식별, 감사, 제어하기 어렵다. 사후 검사에는 적용할 수 있지만, 희소 오토인코더(SAE)를 사용하여 해석 가능한 특징 방향으로 분해된 은닉 상태는 다중모달 훈련에 의해 변경된 특징을 쉽게 분리하지도 못하며, 표적 제어에 직접적으로 유용하지도 않다. 우리는 다중모달 SAE를 훈련하고 이를 다중모달 행동을 발견하고 제어하기 위한 특징 수준 인터페이스로 전환하는 다중모달 모델 차이 분석(diffing) 프레임워크인 MMDiff를 도입한다. MMDiff는 세 가지 용도를 지원한다: (i) 기본 언어 모델(base-LM) SAE를 다중모달 적응 대응 모델과 비교(diff)하여 다중모달 훈련에 의해 변경된 특징을 식별하는 특징 분리, (ii) 토큰별 대비 활성 분석을 통해 인과적 특징을 분리해 내는 작업 특화 특징 탐지, (iii) 발견된 특징 방향을 인과적으로 제거하거나 조종(스티어링)하는 특징 수준 제어. 우리는 LLaVA-MORE, PaliGemma 2, InternVL3.5의 세 가지 MLLM 계열에 대해 다중모달 SAE를 훈련하고 시각-공간 이해, 다중모달 안전성, OCR로 평가한다. MMDiff는 희소하고 인과적으로 특이적인 특징을 발견하며, 그 제거는 공간 과제에서 평균 12%, OCR에서 17%의 대상 행동을 선택적으로 저하시키고 다중모달 안전성 공격에 대한 공격 성공률을 24% 감소시키며 VQA 성능에는 영향을 미치지 않는다. 이러한 특징을 조종하면 표준 단일 계층 스티어링 기준선 대비 공간 및 OCR 정확도를 평균 +3.6% 및 +1.8% 향상시킨다. 이러한 결과는 다중모달 SAE가 해석 가능성 도구일 뿐만 아니라 더 안전하고 더 유능한 생성을 위해 MLLM의 행동을 감사, 조종, 제어하는 메커니즘으로 기능할 수 있음을 보여준다.

1,000개 미국 주식의 시간별 수익률을 예측할 때, 우리는 예상치 못한 현상을 관찰한다: 예측값이 거의 평평해지고, 횡단면 상관관계로 측정한 주식 순위 성능이 저조해진다. 우리는 이를 예측 붕괴(forecast collapse)라고 명명한다. 놀랍게도, 동일한 설정에서 거래량을 예측할 때는 이러한 현상이 대부분 사라진다. 우리는 시계열 기반 모델(TSFM), 12개의 딥러닝 예측 모델, 97개의 공개 벤치마크 구성에 걸쳐 예측 붕괴를 조사했으며, 이것이 목표 변수의 예측 가능성과 밀접하게 연관되어 있음을 발견했다. 우리는 그 이면에 두 가지 서로 다른 원인이 있음을 확인했다: 낮은 예측 가능성은 보정된 점 예측의 진폭을 제한하고, 계열별 목적 함수는 계열 간 구조를 식별하지 못하게 한다. 이러한 발견은 보정-순위 트레이드오프를 드러낸다: 제곱 오차를 최적화하면 평평한 예측이 생성되는 반면, 횡단면 상관관계를 직접 최적화하면 순위는 개선되지만 예측 진폭이 한 자릿수 이상 부풀려질 수 있다. 이러한 트레이드오프를 해결하기 위해 우리는 보정과 순위의 균형을 맞추는 간단한 목적 함수인 CalibRank를 도입한다. Finance1K에서 CalibRank는 진폭을 목표값에 가깝게 유지하면서 횡단면 상관관계를 거의 3배로 높이며, 테스트한 모든 모델에서 상관관계를 개선한다. 우리의 결과는 기존 시계열 평가의 사각지대를 드러낸다: 계열별 지표는 후속 의사결정에 필요한 계열 간 구조의 실패를 숨길 수 있다.

현대 언어 모델은 이질적인 웹 규모 텍스트 코퍼스로 학습된다. 그 결과, 관련 내용에 대한 사전 노출을 특성화하기 어렵기 때문에 지식 및 기술 습득을 연구하는 것은 까다롭다. 이러한 문제를 해결하기 위해, 우리는 미국 초등학교 교육과정에 맞춰 선별되었으며 5학년 이상에서 가르치는 개념, 사실, 어휘를 명시적으로 배제한 880억 토큰 규모의 큐레이팅된 사전 학습 코퍼스인 LITTLECURRICULUM을 소개한다. LITTLECURRICULUM을 처음부터 학습한 50억 매개변수 LLM은 LITTLELEARNER를 산출하며, 이 모델은 개방형 평가를 수행할 수 있는 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 매핑되는 명확한 지식 및 능력 경계를 보여준다. 우리는 LITTLECURRICULUM과 LITTLELEARNER를 명확히 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고 표현하며 사용하는지 연구하기 위한 발달 제한적 샌드박스로 공개한다. 우리는 사후 학습과 맥락 내 학습을 통한 새로운 지식 주입에 관한 첫 번째 실험군에서 이 샌드박스의 유용성을 입증한다. 이러한 방법들은 LITTLELEARNER가 기존 지식을 더 잘 활용할 수 있게 하지만, 범위 밖의 능력을 끌어올리지는 않는다. 우리의 발견은 향후 연구를 위한 이 통제된 환경의 가치를 강조한다.

대규모 언어 모델이 확장됨에 따라 적절한 토큰-파라미터 비율(TPP)을 유지하기 위해 학습 토큰 예산도 함께 증가해야 한다. 그러나 고품질 도메인 데이터는 일반 웹 데이터보다 확장하기가 훨씬 어렵다. 모델 크기와 학습 토큰 예산이 증가하면 학습 혼합물에서 도메인 데이터가 차지하는 비율은 감소하는 경향이 있다. 사용 가능한 고품질 데이터를 반복하는 것은 이러한 희석 효과를 상쇄하는 효과적인 방법이지만, 과도한 반복은 과적합으로 이어질 수 있다. 우리는 학습 토큰 예산이 모델 크기에 비례하여 증가하는 실제적인 LLM 확장 조건에서 이러한 절충 관계를 연구한다. 고정된 도메인의 경우, 놀랍게도 고정된 TPP에서 최적 반복 횟수는 모델 크기에 따라 약간 증가하는 것을 발견했다. 여러 도메인에 걸쳐서는 최적 반복 횟수가 도메인의 최종 검증 손실과 강한 음의 상관관계를 보인다. 즉, 손실이 낮은 도메인은 일반적으로 더 많은 반복으로부터 이점을 얻을 수 있다. 반면, 고유 도메인 데이터의 양은 최적 반복 횟수와 약한 관련성만을 가진다. 이러한 발견은 동일한 TPP를 가진 더 작은 대리 모델에서 조정된 반복 횟수가 더 큰 모델에 대한 실용적인 추정치를 제공할 수 있음을 시사한다.

임상 의사결정 지원은 공유 작업 공간에서 숙의하는 언어 모델 에이전트 위원회 방식으로 나아가고 있다. 우리는 그러한 위원회가 편법, 즉 벤치마크가 보상하지만 임상의라면 무시할 단서에 의해 조작될 수 있는지를 묻는다. 텍스트(MedQA-USMLE, MedMCQA, MIMIC-CXR 판독문), 영상(NIH ChestX-ray14, MIMIC-CXR-JPG, CheXpert), 표형식 중환자실 기록(SUPPORT2)을 아우르는 여섯 개 공개 데이터셋의 일곱 코호트에 걸쳐, Gemini 위원회는 단독으로 제시된 이러한 단서에는 저항하지만(반전률 5~16%), 사회적으로 개연성 있는 편법은 확산된다. 두 동료가 동일한 오답을 주장하면 시험 대상 홀드아웃은 38%의 사례에서 그 답을 채택하며, 허위 "사전 선별" 시스템 플래그도 두 성능 계층 모두에서 동일한 효과를 보인다. 세 명의 감독 에이전트 중에서, 게이트는 채택을 정직한 동의와 구분하지 못한다(오탐률 100%). 동일 계열 판정자는 전사본만 읽고 텍스트에서 채택을 정확하게 식별하지만(정밀도 100%, 재현율 93%), 영상에서는 게이트와 동일한 수준으로 붕괴된다. 홀드아웃을 비공개로 재질의하는 심판은 영상에서도 전이 가능하며(정밀도 77~88%, 오탐률 13~21%). 단서의 시각적 현저성을 세 배로 늘려도 전염은 움직이지 않지만, 두 번째 동료 목소리는 전염을 다시 절반만큼 높인다. 숨겨진 루브릭을 조작하는 것은 거의 드러나지 않는다. 텍스트의 10분의 1, 영상의 134분의 1의 이탈 사례만이 자신이 이동한 루브릭을 언급할 뿐이다. 위원회를 조작하는 것은 사회적 개연성이며, 자기 보고와 독립적인 심판만이 이를 잡아낸다. 코드: https://github.com/criticaldata/benchmaxxing

Muon 최적화기는 3차 시간(세제곱 시간)이 걸리는 Newton-Schulz 직교화 단계로 인해 상당한 오버헤드 비용을 발생시킵니다. 가중치가 샤딩되면 통신 오버헤드가 이러한 계산 비용을 가중시켜 많은 환경에서 Muon의 이점을 잠식합니다. 우리는 스택의 모든 수준에서 이러한 오버헤드를 겨냥한 Muon의 개정판인 Dion3를 제시합니다. 우리의 Gram Newton-Schulz 알고리즘은 직교화의 FLOP 비용을 줄이고, CuteDSL 커널은 대칭성을 활용하여 이를 가속화하며, 메가배칭 전략은 통신 오버헤드를 줄입니다. 나아가, 우리는 비용을 더욱 절감하는 간단한 업데이트 규칙 변경을 제안합니다. 즉, 각 단계에서 모멘텀 행렬의 일부 행만 선택하여 직교화하는 것입니다. 이 업데이트 규칙은 또 다른 "압축된" Muon 버전인 Dion보다 속도와 성능 모두에서 개선된 결과를 보여줍니다. 전반적으로 Dion3는 Muon이 달성한 손실과 동일하거나 더 나은 손실을 달성하면서도 최적화기 스텝 시간을 최대 6배 단축합니다. Dion3는 Muon의 대체 솔루션으로 dion 패키지(https://github.com/microsoft/dion)를 통해 제공됩니다.

우리는 검증 가능한 보상 기반 온-폴리시 강화 학습(RLVR)이 현재 목표를 향상시키는 반면, 이후 목표에 대한 성공적인 행동을 샘플링하고 강화하기에는 너무 드물게 만들 수 있음을 보인다. 우리는 이를 검증기 유발 지지 집합 재형성(verifier-induced support reshaping)이라 부르고, 유효 보상 가능 지지 집합을 고정 롤아웃 예산 내에서 도달 가능한 성공 궤적들로 정의한다. 두 모델 계열에 걸쳐 우리는 수학적 추론과 제약 조건이 있는 지시 수행에 대해 반복적인 검증기 채점 샘플링과 양방향 훈련을 통해 이 효과를 연구하며, 반대 검증기를 사용한 순차적 훈련도 포함한다. Math-RLVR은 평균 지시 수행 성공률을 높이지만, 반복 샘플링에서 성공적인 응답이 하나라도 있는 프롬프트의 수를 감소시킨다. Qwen3-8B-Base로 IFEval에서 pass@1은 6.5퍼센트포인트 상승하는 반면 best@32는 9.8퍼센트포인트 하락하며, 동일한 발산이 두 모델과 IF 벤치마크 모두에서 나타난다. 반대로, IF-RLVR은 수학 응답을 단계별 서두에서 직접 답변 쪽으로 이동시키고, 샘플링 예산 전반에서 best@k를 낮추며, 이후 Math-RLVR을 위한 보상 변동성을 감소시킨다. 토큰 분포 분석과 통제된 서두 개입 실험은 이러한 변화가 응답의 처음 몇 개 토큰에 집중됨을 보여준다. RLVR은 기본 정책에 이미 존재하는 서두들을 주로 재순위화하며, 선택된 서두는 수학 탐색 가능성에 인과적으로 영향을 미친다. 테스트된 참조 정책 제약, 라우팅 사전, 온-폴리시 증류는 교차 작업 지지 집합을 부분적으로만 보존한다. MathIF와 ReasonIF는 한계적 이득이 정확성과 제약 조건을 모두 충족하는 응답으로 부분적으로만 전환됨을 보여준다. 따라서 최종 지표의 개선은 온-폴리시 최적화 하에서 미래의 훈련 가능성이나 결합 능력을 보장하지 않는다. 코드는 https://github.com/sylvain-wei/verifier-induced-support-reshaping 에서 확인할 수 있다.

대규모 비전-언어 모델(LVLMs)은 인상적인 시각적 추론 및 대화 능력을 달성하지만, 시각적 입력에 의해 뒷받침되지 않는 내용을 빈번하게 환각한다. 효과적인 완화를 위해서는 토큰 수준의 국소화가 필요하며, 이를 통해 전체 응답을 폐기하지 않으면서 표적 개입이 가능해진다. 기존 탐지기들은 값비싼 전체 모델 미세 조정을 요구하거나, 모델의 생성 과정을 무시하는 외부 검증기에 의존하거나, 내부 신호를 고립된 특징과 수동 설계 통계량으로 축소하여 공간적, 순차적, 관계적 구조를 폐기한다. 우리는 UniProbe를 제안한다. 이는 고정된(frozen) LVLM의 이질적인 계산 궤적을 단일 순전파로부터 모델링하는 경량의 통합 학습 가능 탐지기이다. UniProbe는 이미지 패치, 쿼리 토큰, 생성된 토큰 위에 방향성 그래프를 구축하며, 어텐션 가중치가 이들의 관계를 인코딩한다. 이 궤적은 구조 인식 모듈을 교차 배치하여 처리된다: 관계적 증거를 위한 GNN, 2차원 시각적 기하학을 위한 ViT, 응답 순서를 위한 GRU. 이들을 인터리빙함으로써 공간적, 관계적, 순차적 증거가 탐지기 전반에 걸쳐 상호작용할 수 있다. 또한 우리는 환각 인식 디코딩을 위한 스트리밍 변형을 개발하는데, 이는 생성 중 환각 토큰을 탐지하고 재샘플링하며, 탐지기를 LVLM 자체 생성물과 정렬하는 자기 적응 전략을 포함한다. 다양한 LVLM 백본에서 UniProbe는 최첨단 토큰 수준 및 객체 환각 탐지 성능을 달성한다. 디코딩 중에는 표준 생성 지연 시간의 1.06배라는 비용으로 객체 환각을 최대 55%까지 감소시킨다.

과학적 도표와 표는 필수적인 실험 증거를 담고 있지만, 디지털 도서관과 다중모달 AI 시스템이 이를 검색하고 해석하기는 여전히 어렵다. ALD/E-ImageMiner 벤치마크와 원자층증착/식각 과학 도표의 정보 추출을 위한 ICDAR 2026 대회는 205개 출판물에서 수집한 1,951개의 도표를 제공하며, 분류, 데이터 표 추출, 요약, 시각적 질의응답을 위해 전문가 주석을 수행하였다. 본 동반 논문에서 우리는 이 벤치마크가 향후 과학적 이미지 과제를 어떻게 안내할 수 있는지에 대한 전향적 관점을 제시한다. 우리는 이 과제들이 시각적·정량적 판독에서부터 도메인 기반 추론 및 증거 기반 정당화에 이르는 역량을 어떻게 검증하는지, 그리고 블룸 분류학에 기반한 질문 설계가 더 깊은 과학적 이해를 어떻게 지원할 수 있는지를 살펴본다. 우리는 "이미지로부터의 과학적 개념적 이해"를 장기적 벤치마크 목표로 제안하며, 향후 방향으로 더 광범위한 도메인과 도표 유형, 맥락적 및 문서 간 종합, 가설 평가, 출처 추적, 불확실성, 반사실적 근거, 개방형 다중모달 연구를 포함한다. 본 관점은 ICDAR 2026 과제를 기계가 처리 가능한 과학적 시각 지식과 검증 가능한 다중모달 과학적 AI를 위한 더 광범위한 의제로 연결한다.

어떤 추론 행동이 추론 모델의 정답과 연관되어 있으며, 추론 지향 훈련은 그러한 행동을 증폭하는가? 이 구분은 추론 지향 훈련이 모델 정확성과 가장 밀접하게 연결된 행동을 증폭하지 않으면서도 추론 궤적을 더 신중하게 보이게 만들 수 있기 때문에 중요하다. 우리는 행동 향상도(Behavioral Lift)라는 지표를 통해 이러한 불일치를 정량화한다. 이 지표는 모델의 추론 궤적에서 특정 행동이 존재할 때와 부재할 때 정확성이 얼마나 변화하는지를 측정한다. 텍스트 전용 및 비전-언어 추론을 포괄하는 15개 모델과 6개 벤치마크에 걸쳐, 우리는 LLM 궤적과 VLM 궤적 모두에 대해 정의된 핵심 행동을 포함하는 분류 체계로 15,282개의 추론 궤적에 주석을 달았다. 그 결과, 사고 모델이 자기 수정, 가설 검증, 불확실성 인정을 강하게 증폭하는 반면, 가장 높은 향상도를 지닌 행동은 신뢰도 교정, 지식 정렬, 자기 인식이라는 증폭-향상 격차(Amplification-Lift Gap)의 증거를 발견했다. 신뢰도 교정은 두 모달리티 모두에서 정확성의 가장 강력한 긍정적 신호 중 하나임에도 불구하고 거의 증폭되지 않으며, 불확실성 인정은 3~7배 증폭되지만 정확성과 약하게 또는 부정적으로 연관된다. 우리는 추론 지향 훈련이 가장 높은 향상도를 보이는 행동을 우선적으로 증폭하지 않음을 발견하며, 이는 표면적 형태만이 아니라 교정되고 근거가 있는 추론에 보상을 주는 프로세스 수준의 목표를 고려하게 한다.

대규모 크라우드소싱 말뭉치로 훈련된 신경 언어 모델은 진정한 언어적 또는 인과적 관련성 없이 목표 레이블에 결합된 허위 표면 패턴을 자주 이용하여, 적대적 입력이나 분포 외 입력에서는 실패하면서도 벤치마크 성능을 끌어올린다. 기존 접근법은 특징 어휘의 수동 지정을 요구하거나 발견 과정을 부분적으로만 자동화하여, 데이터셋 수준 상관관계와 모델 수준 이용 사이의 격차를 해결하지 못한다. 우리는 추가적인 인간 주석 없이 텍스트 분류기의 허위 상관관계를 발견, 인과 검증, 완화하는 완전 자동화 파이프라인 U N M ASK를 제시한다. 라벨이 없는 훈련 예제가 주어지면 U N M ASK는 실행 가능한 부울 표현식으로 후보 표면 패턴을 생성하고, 독립적 반복을 포함한 통계적 검증 프로토콜로 이를 필터링하며, 검증된 반사실적 개입을 통해 인과적 모델 의존성을 확립한다. 이후 인과적으로 확인된 특징들은 Deep Feature Reweighting(DFR)을 위한 주석 없는 그룹 정의로 사용되어, 표준 DFR이 요구하는 그룹 레이블을 제거한다. MNLI로 훈련된 BERT와 RoBERTa에 적용한 결과, 우리의 파이프라인은 기존에 알려진 어휘 중첩 및 부정 편향을 독립적으로 재발견하여 BERT에서는 10개 중 9개, RoBERTa에서는 6개의 특징을 검증했고, HANS 정확도를 최대 12.58퍼센트 포인트 향상시켰다. CivilComments-WILDS에서는 프로그램 기반 그룹이 인구통계학적 주석 없이도 수동 레이블 DFR(Kirichenko et al., 2023)의 최악 그룹 정확도 70.1%와 일치하는 성능을 보였다. 또한 발견 및 검증 단계가 보상 모델 선호 데이터로 일반화됨을 입증하여, RewardBench2에서 해석 가능한 허위 상관관계를 표면화한다.

Nanbeige4.2-3B는 하나의 레이어 스택을 두 번째 순전파에 재사용하여 추가 파라미터 없이 유효 깊이를 늘리는 루프형 트랜스포머(LT)를 기반으로 구축된 3B 파라미터 규모의 에이전트 모델이다. Apple Silicon(MPS) 환경에서 평가한 결과, 공개된 체크포인트가 Hugging Face transformers로 별도의 수정 없이 실행되지 못하게 하는 다섯 가지 독립적인 버그를 식별했다(여기에는 조용히 0으로 설정되는 RoPE 버퍼와 제거된 transformers 캐시 API 호출이 포함된다). 또한, 이러한 버그를 수정하더라도 파라미터 효율성을 달성하기 위해 사용된 LT의 레이어 재사용 전략(이는 최대 어텐션 메모리를 사실상 두 배로 만든다) 때문에 에이전트 작업에는 여전히 충분하지 않음을 보인다. 따라서 우리는 발생하는 메모리 용량 패널티를 완화하는 청크 단위 프리필(chunked-prefill) 전략을 도입하여, 32GiB 공유 메모리에서 허용 컨텍스트 폭을 2.7배 확장한다. 그러나 메모리 오버헤드가 줄어든 경우에도 Nanbeige4.2-3B를 사용 가능하게 만들려면 패치가 필요함을 보인다. 시스템 프롬프트와 MPS 고유 메모리 버그를 모두 해결해야 표준 MCP 및 도구 호출 벤치마크에서 신뢰할 수 있는 평가가 마침내 가능해진다. MCPMark의 하위 집합에서 디버깅된 모델은 실제 에이전트 작업의 최대 30%를 완료하며(원래 모델의 0%에서 증가), BFCL에서는 단일 도구 호출에 거의 완벽한 성능을 보인다(그러나 대부분의 다중 도구 테스트에서는 실패한다). 우리는 패치된 체크포인트, 시스템 프롬프트 최적화 도구, 그리고 평가 하네스를 https://github.com/johnhalloran321/Nanbeige4.2-3B-mps-fix에서 공개한다.

의회 회의록은 민주적 숙의의 일차적 기록이지만, 그 방대함과 분산성 때문에 시민, 언론인, 연구자들이 다양한 관점에 접근하기 어렵다. 검색 증강 생성(RAG)을 의회 속기록에 적용할 때 세 가지 구체적인 위험이 발생한다: 가장 빈번하게 발언하는 화자의 지배, 주제 전문성에 따른 화자 가중치 부여 불능, 정치적으로 민감한 텍스트에서의 인용 오귀인이다. 우리는 이러한 위험을 함께 해결하는 이탈리아 하원용 RAG 시스템인 ParliamentRAG를 제시한다. 그 핵심 기여는 현재 쿼리의 함수로서 각 화자의 권위를 추정하는 주제 의존적 권위 모델로, 직업, 교육, 이전 발언 등 해석 가능한 구성 요소를 결합한다. 사용자 쿼리가 주어지면 시스템은 관련 발언 청크를 검색하고, 각 의회 교섭단체에서 주제 관련 전문가를 식별하며, 이들의 관점을 종합한 요약을 뒷받침 인용문과 함께 생성한다. ParliamentRAG는 15개 정책 주제에 대해 Google NotebookLM과 비교 평가되었으며, 자동화 지표와 6명의 도메인 전문가에 의한 맹검 A/B 인간 평가를 결합한 2단계 프로토콜을 사용했다. 이 시스템은 정치 그룹 전반에 걸친 더 높은 커버리지(0.97 대 0.95), 완벽한 인용 충실도(1.00 대 0.95), 그리고 출처 관련 차원에서 더 강한 전문가 선호도를 달성한 반면, NotebookLM은 산문적 차원에서 더 우수한 것으로 나타났다.

시각적 관측으로부터의 공간 지각과 추론은 기하학적 구조를 복원하고, 대응 관계를 수립하며, 공간 관계를 이해하는 것을 요구한다. 기존 접근법은 일반적으로 이러한 능력을 작업별 아키텍처나 외부 기하 모듈을 통해 개별적으로 처리하여, 동일한 물리적 장면의 상보적 표현 간 지식 전이를 제한한다. 우리는 3D 재구성, 밀집 대응, 공간 추론을 지시 조건부 생성 작업으로 설정하는 통합 멀티모달 프레임워크인 SPARGen을 제안한다. SPARGen은 간결한 구조적·언어적 출력을 토큰 시퀀스로 직렬화하는 동시에, 밀집 기하 필드를 이미지 정렬 형태로 생성함으로써, 공간 감독이 자체 멀티모달 생성 모델 내에서 공유 표현을 공동으로 형성하게 한다. 3D 재구성, 대응, 공간 추론 벤치마크에 걸친 실험은 SPARGen이 단일 자체 멀티모달 생성 프레임워크 내에서 이질적인 공간 작업들에 대해 경쟁력 있는 성능을 달성함을 보여준다.

2023년, 뉴욕의 한 판사는 Mata v. Avianca 사건에서 ChatGPT가 생성한 허위 인용문이 포함된 변론서를 제출한 두 변호사에게 제재를 가했다. 이러한 실패는 대부분 데이터베이스 조회를 통해 적발된다. 더 어려운 문제는 실제 사건을 가리키지만 해당 명제를 지지하지 않는 인용문을 탐지하는 것인데, 이는 법률 사용 사례에 대한 기존의 LLM 평가에서 대부분 간과되는 실패 유형이다. 본 논문에서는 두 개의 법률 말뭉치에서 얻은 실제 법률 인용문에 통제된 변형을 가하여, 인용된 사건을 대체하거나 동일한 사건 내에서 정확 페이지(pinpoint page)만 변경함으로써 명제 수준의 인용 지지 검증을 연구한다. 우리는 생성된 예시들에 대해 14가지 모델 구성을 평가한다. 모델은 잘못된 사건 변형의 93-100%를 적발한다. 그러나 법원 의견에서 잘못된 정확 페이지 변형은 37-61%만 적발하고, 법률 변론서에서는 52-83%만 적발한다. 모델이 잘못된 정확 페이지 변형을 적발하지 못할 때, 페이지 수준의 지지가 아닌 주제적 중복에 기초하여 인용문을 수용한다. 규모 확대와 확장된 추론은 그 격차를 줄이지만 완전히 메우지는 못한다: 높은 추론 강도를 가진 GPT-5.4는 법원 의견에서 정확 페이지 불일치의 40%, 변론서에서 18%를 여전히 놓친다. 인용된 페이지에서 지지를 검증하도록 모델에 프롬프트를 주면 재현율이 향상되지만, 오탐률도 함께 높아진다. 올바른 법률 주제를 인식하는 것과 인용된 명제에 대한 지지를 검증하는 것은 별개의 능력이며, 현재 모델은 이 둘을 혼동한다.

다중모달 대규모 언어 모델(MLLM)이 놀라운 발전을 이루었지만, 시각 이해와 생성은 일반적으로 서로 다른 목표로 취급된다. 기존의 통합 프레임워크는 종종 이산 시각 토큰화나 확산 목표에 의존하는데, 이러한 생성 목표는 시각 이해 모델이 소비하는 연속 표현과 다르므로 사전학습된 MLLM을 향상시키기 위한 직접 전이를 어렵게 만든다. 본 연구에서는 시각 생성을 표현 학습을 위한 보조 감독으로 재해석하는 생성 유도 훈련 프레임워크인 GAS를 제시한다. 구체적으로, GAS는 분리된 Mixture-of-Transformers(MoT) 아키텍처 내에서 교차 모달 생성 패러다임으로서 다음 임베딩 예측(Next Embedding Prediction, NEP)을 적용한다. GAS는 공유 하부 트렁크와 병렬 상위 레이어를 유지하여, 생성 손실이 공유 시각 경로를 더 세밀한 공간 정밀도와 더 강한 시각 유지력으로 풍부하게 하면서도 상위 이해 레이어를 직접적인 생성 그라디언트로부터 보호한다. 이러한 시너지를 극대화하기 위해, 우리는 단순한 일반적 합성보다 깊은 인지적 근거를 요구하는 고도로 연관된 생성 작업을 추가로 구성한다. 모델 규모와 훈련 단계에 걸쳐 GAS는 종합적 다중모달 이해를 개선하며, 지각과 공간 이해에서 가장 안정적인 향상을 보인다. 중요한 점은 보조 생성 분기가 훈련 후 폐기되므로 이러한 성능 향상이 추론 오버헤드를 전혀 발생시키지 않는다는 것이다. 광범위한 통제 비교와 표현 수준 분석은 생성 유도 훈련이 이해에 이점을 주는 시기와 이유를 추가로 명확히 하며, 보다 강력한 다중모달 이해를 위한 실용적 경로로서의 실현 가능성을 입증한다.