일간 논문

수조 파라미터 규모 MoE 모델의 전체 파라미터 사후 학습은 대규모 분산 훈련에서 심각한 메모리 압박, 중첩되지 않은 통신 오버헤드, 비효율적인 커널 실행 등 상당한 시스템 수준의 문제를 야기합니다. 대부분의 대규모 LLM 훈련 시스템은 GPU 기반 클러스터를 중심으로 구축되지만, 본 보고서는 Ascend NPU SuperPOD에서의 종단간 최적화 사례를 제시합니다. DeepSeek-V4 모델 제품군을 대상 워크로드로 삼아, 모델 수준 병렬화, 연산-통신 조율, 저수준 커널 실행을 포괄하는 계층적 최적화 프레임워크를 개발했습니다. 그 결과, 훈련 안정성을 유지하면서 오픈소스 기준 레시피 대비 2.93배 개선된 34.22%의 모델 FLOPs 활용률(MFU)을 달성했습니다. 이 최적화된 인프라를 기반으로 복잡한 운영 연구(OR) 작업을 위한 CPT 및 SFT 워크플로우를 추가로 구축했습니다. 통합 프레임워크를 SLAI T-Rex라고 명명했습니다. DeepSeek-V4-Flash를 사용하여 수집된 도메인 리소스와 솔버 검증 합성 최적화 문서를 결합한 OR 지향 CPT 및 SFT 데이터 파이프라인을 개발했습니다. 결과 데이터셋은 4개 작업 범주와 3개 문제 표현을 포괄하는 10K 개의 고품질 SFT 샘플로 구성됩니다. 특화된 모델은 평가 대상 모델 중 최고 평균 제로샷 Pass@1 점수인 71.81%를 달성하여, GPT-5.4-Mini와 기본 DeepSeek-V4-Flash 모델을 각각 3.98퍼센트 포인트 및 11.27퍼센트 포인트 능가했습니다. 전반적으로, 본 연구는 Ascend 인프라에서의 효율적인 수조 파라미터 모델 사후 학습부터 솔버 기반 수학적 모델링을 위한 도메인 특화 Flash 모델에 이르는 전체 스택 경로를 제시하며, 복잡한 추론을 위한 프론티어 모델 시스템을 발전시킵니다.

최근 자기회귀 비디오 확산 방법들은 점점 Self Forcing(자기 강제) 방식을 기반으로 구축되고 있는데, 이는 모델(학생)이 실제 비디오 컨텍스트가 아닌 자체 롤아웃에서 생성된 이력을 바탕으로 학습된다. 이는 노출 편향을 줄여주지만, 과거 키-값 캐시는 여전히 미래 프레임에 의해 단순히 고정된 롤아웃 상태로만 사용된다. 그 결과, 미래 손실이 초기 생성된 잠재 변수를 이후 비디오 잠재 생성에 더 유용한 키와 값으로 기록하도록 지도할 수 없다. 우리는 이를 역사적 컨텍스트-그래디언트 격차라고 부른다. 우리는 Self Gradient Forcing (SGF, 자기 그래디언트 강제)를 제안한다. 이는 전체 직렬 롤아웃을 통해 역전파하지 않으면서 누락된 지도 신호를 복원하는 이중 패스 학습 전략이다. 패스 1은 추론과 일치하는 그래디언트 없는 자기회귀 롤아웃을 수행하고, 샘플링된 잡음 제거 종료 단계에서 자체 생성된 컨텍스트와 모델에 입력된 노이즈가 있는 잠재 변수를 모두 기록한다. 패스 2는 기록된 종료 단계에 대해 병렬 컨텍스트-그래디언트 재구성을 수행한다. 생성된 컨텍스트는 그래디언트 정지 클린 잠재 입력으로 사용되는 반면, 모델은 컨텍스트 KV 표현과 미래-컨텍스트 인과 어텐션을 재계산한다. 따라서 SGF는 본질적인 자기회귀 학습 목표 내에서 누락된 메모리 기록 지도를 제공하며, 미래 비디오 잠재 변수에 대한 손실을 사용하여 모델이 컨텍스트를 보다 효과적인 인과 메모리로 인코딩하도록 훈련한다. 다양한 초기화 조건에서 장기 프레임 단위 및 청크 단위의 광범위한 실험을 통해 SGF는 Self Forcing보다 특히 주제 정체성, 배경/레이아웃 일관성 및 시간적 안정성에서 더 뛰어난 본질적 장기 비디오 외삽 성능을 달성한다. 놀랍게도, 단 5초의 훈련 윈도우만 사용하여 SGF는 수 분 길이의 비디오로 외삽할 수 있다. 코드와 모델은 자기회귀 비디오 생성 연구를 발전시키기 위해 공개될 예정이다.

대규모 언어 모델과 AI 에이전트가 검색 결과의 주요 소비자가 되면서, 문서 집합의 품질이 하위 생성(다운스트림 생성)의 상한선을 결정한다. 그러나 기존 평가 시스템은 문서를 독립적으로 평가하고 nDCG를 통해 집계하는 데 그쳐, 문서 간 상호작용(중복, 충돌, 보완성)을 무시하며, 어떤 문서 집합이 다른 집합보다 우수한지에 대한 답을 제시하지 못한다. 이러한 문제를 해결하기 위해 우리는 완전한 평가-진단-최적화 프레임워크를 제안한다. 단문 및 장문 시나리오를 모두 포괄하는 세 수준, 아홉 차원의 문서 집합 평가 벤치마크인 SetwiseEvalKit을 설계하였으며, 약 28,000개의 고품질 평가 루브릭을 포함한다. 우리는 12개의 재순위화기를 체계적으로 평가한 결과, 최고 성능의 방법조차 50% 이하의 커버리지를 보였고, 교차 문서 조정 차원에서 전반적으로 취약했으며, 어떤 단일 방법도 두 설정에서 모두 최고 성능을 유지하지 못했다. 이를 바탕으로, 루브릭 기반 평가 기준을 문서 집합 선택 신호로 변환하는 훈련 불필요 방식인 Rubric4Setwise를 제안한다. 이 방법은 더 적은 문서와 검색 라운드로 최상의 하위 생성 성능을 달성하며, 두 시나리오 모두에서 최첨단 결과를 유지하는 유일한 방법으로, 평가에서 최적화로 이어지는 폐쇄 루프의 효과성을 입증한다.

인간의 시각은 폐쇄 루프(closed loop)로 작동한다: 시선은 단일 스냅샷이 아닌 중간 가설들에 의해 지속적으로 재조정된다. 수십 년간의 심리물리학 및 인지과학 연구는 이러한 능동적 관찰이 다양한 과제 수행에 필수적이라는 점을 주장해 왔다. 오늘날의 다중 모달 대규모 언어 모델(MLLM)이 능동적 관찰을 수행하는지 여부는 현재의 시각-언어 벤치마크로는 답할 수 없는 경험적 질문이다. 본 연구에서는 MLLM의 능동적 관찰을 측정 가능하게 만드는 벤치마크인 ActiveVision을 소개한다. 이 벤치마크는 3개 범주에 걸쳐 17개의 과제로 구성된다. 과제들은 단일 정적 설명이 아닌 반복적인 시각적 지각을 강제하도록 설계되었다. 최첨단 MLLM들은 ActiveVision에서 성능이 급락한다: 우리가 평가한 최고 점수 모델인 GPT-5.5(최고 수준의 추론 노력 단계)는 항목의 10.6%만을 해결했으며, 17개 과제 중 11개에서 0점을 기록했다. 또한 대부분의 추론 및 코딩 리더보드에서 1위를 차지한 Claude Fable 5조차 단 3.5%만을 해결하여, 평균 96.1%를 기록한 세 명의 인간 참가자에 크게 뒤처졌다. 더 나아가, 모델이 자체적으로 시각 코드를 작성하고 실행하더라도 이러한 격차의 상당 부분이 지속된다: 이러한 코드는 실제 이미지에서 신뢰할 수 없으며, 실패를 포착하는 것 자체가 모델이 결여한 능동적 지각을 필요로 한다. 종합하면, 이러한 결과는 현재의 MLLM이 견고한 능동적 시각 관찰을 결여하고 있음을 시사하며, 지각-추론 루프를 폐쇄하는 아키텍처와 훈련 목표의 필요성을 제기한다.

대규모 언어 모델(LLM)에 사실적 지식을 안정적이고 확장 가능하게 주입하는 것은 여전히 해결되지 않은 과제이다. 하이퍼네트워크는 대규모 지식 주입에 유망한 해결책을 제공한다. 일반적으로 하이퍼네트워크는 테스트 시 적응에 적용되지만, 본 연구에서는 훈련 시 지식 주입(train-time knowledge injection)에 하이퍼네트워크를 활용하는 방안을 탐구한다. 즉, 방대한 사실 말뭉치가 주어졌을 때, 하이퍼네트워크를 훈련시켜 고정된 LoRA 어댑터를 생성하고, 이를 대상 모델에 삽입하면 모델이 해당 사실에 관한 질문에 답변할 수 있게 하는 방식이다. 본 연구에서는 하이퍼네트워크가 훈련 시 지식 주입에 사용될 수 있는지, 그리고 이러한 능력이 규모에 따라 어떻게 달라지는지 조사한다. 하이퍼네트워크의 확장 행동은 거의 연구되지 않았다. 본 설계는 하이퍼네트워크의 주입 용량과 대상 모델의 일반 능력을 분리함으로써, 처음으로 하이퍼네트워크 아키텍처에 대한 스케일링 법칙을 엄밀하게 연구할 수 있게 한다. 우리는 손실, 추론 정확도, 분포 외(OOD) 일반화가 하이퍼네트워크의 깊이, 너비 및 대상 네트워크 크기에 따라 어떻게 달라지는지 특성화한다. 또한 Wikidata5M의 예제를 기반으로 39개 도메인에 걸쳐 수천만 개의 다중 홉 질문-답변 예제를 포함하는 대규모 데이터셋인 MegaWikiQA를 구축한다. 실험 결과는 다음을 보여준다: (i) 하이퍼네트워크 기반 주입은 모든 아키텍처 축에 대해 광범위하게 예측 가능한 멱법칙 스케일링을 나타낸다; (ii) 하이퍼네트워크는 규모가 증가함에 따라 신뢰할 수 있는 OOD 일반화가 가능하며, 이는 하이퍼네트워크가 LoRA 미세 조정이나 전체 미세 조정과 같은 다른 훈련 시 적응 방법에 비해 유망한 대안을 제공하며, 모든 OOD 평가에서 더 가파른 스케일링 지수를 보인다. 종합하면, 이러한 결과는 하이퍼네트워크를 훈련 시 적응을 위한 원칙적이고 확장 가능한 기반으로 확립하며, 대규모 언어 모델의 사실적 추론을 위한 하이퍼네트워크를 안내하는 최초의 경험적 스케일링 법칙을 제공한다.

사전 학습된 시각-언어 모델(VLM)을 로봇 시연 데이터에 행동 복제(BC) 방식으로 미세 조정하는 것은 시각-언어-행동(VLA) 정책의 표준 방법론이 되었다. 그러나 BC 미세 조정은 시각적 및 의미적 일반화를 지원하는 사전 학습된 표현을 점진적으로 덮어쓴다. 이에 대한 일반적인 해결책인 웹 이미지-텍스트 데이터 공동 학습은 이러한 문제를 방지하지 못한다. 이는 언어 손실과 행동 손실을 서로 다른 관측 데이터에 적용함으로써, 표준 조작 벤치마크가 드러내지 못하는 VLA의 언어-행동 불일치를 초래한다. 우리는 Anchor-Align을 제안한다. 이는 BC에 두 가지 목표를 추가한다. 첫째, 시각-언어 앵커링은 동결된 VLM 복사본의 계층별 표현을 증류하여 이러한 표류를 방지한다. 둘째, 언어-행동 정렬은 각 행동 목표를 이산적인 운동 방향 레이블로 변환하고, 동일한 로봇 관측 데이터에 대해 언어 예측과 행동 예측을 공동으로 학습한다. 실제 xArm7 로봇에서, 널리 사용되는 두 가지 VLA 아키텍처에 대해 Anchor-Align은 실제 로봇 성공률을 각각 28%에서 54%, 37%에서 60%로 향상시켰다. 시뮬레이션 대규모 실험에서는 LIBERO-PRO, LIBERO-Plus, CALVIN에서 각각 분포 외 변동, 지각적 강건성, 장기 제어에 걸쳐 일관된 성능 향상을 보였으며, 이는 사전 학습된 표현의 보존과 효과적인 행동 학습이 근본적으로 상충되지 않음을 시사한다. 프로젝트 페이지: anchoralignvla.github.io

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었다. 그러나 PPO-Clip을 사용하는 RL 알고리즘은 본질적으로 탐색 붕괴(exploration collapse)에 제한된다. 이후의 연구들은 주로 경험적(heuristic) 접근에 머물러 있으며, PPO-Clip 실패의 근본 원인을 규명하지 못하고 있다. 본 연구는 PPO-Clip의 근본적 결함을 밝힌다. 즉, PPO-Clip은 정책 불일치(policy discrepancy)를 유클리드 거리(Euclidean metric)로 암묵적으로 측정하는데, 이는 정책 리만 다양체(policy Riemannian manifold)의 고유 기하와 이론적으로 일치하지 않는다. 이러한 기하학적 부정합(geometric mismatch)은 저확률 영역에서는 지나치게 보수적인 업데이트를, 고확률 영역에서는 공격적인 업데이트를 초래하여 궁극적으로 탐색을 붕괴시킨다. 이러한 기하학적 결함을 바로잡기 위해, 우리는 리만 다양체 상에서 등거리 정책 업데이트(isometric policy update)를 보장하여 탐색과 활용(exploitation)을 효과적으로 균형 맞추는 리만 등거리 정책 최적화(RIPO, Riemannian Isometric Policy Optimization)를 제안한다. 또한, RIPO가 최적화를 안정화하는 유리한 편향-분산 절충(bias-variance trade-off)을 달성함을 보인다. 광범위한 실험을 통해 RIPO가 7개의 경쟁 수준 벤치마크( AIME24에서 GRPO 대비 최대 60% 향상)에서 기존 LLM RL 알고리즘을 크게 능가함을 입증한다.

자율 에이전트가 급속도로 발전함에 따라, 보편적인 디지털 문서를 안정적으로 조작하는 능력은 범용 AI 어시스턴트 구현과 복잡한 작업 공간 워크플로 자동화에 핵심적인 요소로 부상하고 있다. 본 논문에서는 실제 사례에서 영감을 얻은 문서 조작을 원자적 차원과 단계적 워크플로 복잡성으로 분해하는 계층적 분류 체계를 기반으로 하는 결정론적 검증 평가 프레임워크인 DocOps를 소개한다. DocOps를 기반으로 다양한 에이전트 프레임워크에서 대표적인 폐쇄형 및 개방형 모델을 체계적으로 평가한 결과, 가장 발전된 최첨단 구성조차도 높은 결합도와 장기적 범위를 가진 작업을 처리할 때 여전히 심각한 한계를 보임을 확인했다. 또한 기존 에이전트의 조작 행동에 대한 세부 분석을 통해 장기 상태 추적 붕괴, 피상적 의미론적 검증, 구조적 메타데이터의 파괴적 편집이라는 세 가지 주요 실패 유형을 발견했다. 궁극적으로 본 연구는 문서의 전역적 일관성을 유지하는 에이전트의 능력 한계를 드러내며, 복잡한 디지털 생태계를 위한 강건하고 비파괴적인 에이전트의 미래 설계에 대한 시사점을 제공한다.

비디오 확산 트랜스포머는 긴 시공간 시퀀스를 처리하므로, 자기 주의(self-attention)가 고해상도 비디오 생성의 주요 병목 현상이 됩니다. 훈련 없는 희소 주의는 이 비용을 줄이지만, 적응형 Top-p 라우팅은 다중 GPU 시퀀스 병렬 처리에서 헤드별 작업 부하를 불균등하게 만듭니다. 그 결과 작업 부하 이질성은 희소 주의를 랭크 수준의 지연(straggler) 문제로 만듭니다. 본 논문에서는 다중 GPU 시퀀스 병렬 처리에서 적응형 희소 주의의 분산 실행 효율성을 개선하는 훈련 없는 희소 주의 시스템인 을 제시합니다. 은 희소 라우팅 프론트엔드로 Top-p 라우팅, Top-k 안전 하한 및 비디오 인식 블록 구성을 사용한 후, 런타임에 구체화된 마스크를 수정합니다. 런타임 부하 균등화는 P2P 통신을 통해 소수의 무거운 헤드를 마이그레이션하여 현재 중요 경로를 단축합니다. 여유 인식 희소 증강은 잔여 비중요 랭크 여유를 추가적인 고가치 블록으로 채우며, 오버랩은 기존 계산 뒤에 스케줄링 및 마이그레이션 오버헤드를 숨깁니다. 단계 증류된 Wan2.2 I2V에서 은 평균 부하 불균형을 1.34에서 1.08로 줄이고 FlashAttention 대비 4.41배의 주의 속도 향상을 제공하며, 경쟁력 있는 비디오 품질로 2.02~2.11배의 DiT 추론 속도 향상을 달성합니다.

검증 가능한 보상 기반 강화 학습(RLVR)은 언어 모델 추론을 크게 개선했지만, 비전-언어 모델로의 확장은 광범위하면서도 정확히 검증 가능하고 재현 가능한 훈련 데이터의 부족으로 인해 제약을 받고 있다. 본 연구에서는 다중 도메인 시각적 추론을 위한 분류 체계 기반 환경인 Trace를 소개한다. Trace는 작업 구성을 장면 문법(scene grammar)과 실행 가능한 작업 프로그램(executable task program)으로 분해하여 시각적 구현과 정답 계산을 분리한다. 공유 의미 상태(shared semantic state)는 렌더링된 이미지, 프롬프트, 유형화된 정답, 검증기 상태, 재생 가능한 인스턴스 추적을 결정한다. 결과적으로 생성된 환경은 277개의 장면 문법과 11개의 시각적 도메인에 걸쳐 1,000개의 작업으로 구성되며, 통제된 의미적 및 시각적 변형을 포함한다. 64,000개의 Trace 인스턴스에 대한 RLVR은 Qwen2.5-VL-3B에서 24개 외부 벤치마크 전체의 매크로 평균을 3.51%포인트, Qwen2.5-VL-7B에서 4.06%포인트 향상시켜, 광범위한 절차적 훈련이 생성된 작업 분포를 넘어 전이될 수 있다는 증거를 제공한다. 프로젝트 페이지: https://maveryn.github.io/trace/.

검증 가능한 보상을 통한 강화 학습은 명시적 사고 사슬(Chain-of-Thought) 추론기에서 테스트 시간 확장을 유도하는 주요 방법이 되었다. 그러나 이 확장 경로는 모든 중간 단계를 언어 토큰으로 디코딩해야 하므로 계산 비용이 여전히 높다. 반면 잠재 추론은 중간 계산을 연속 벡터로 수행하며, 훨씬 짧은 수평선에서 명시적 CoT와 성능이 일치하거나 이를 능가한다. 이러한 가능성에도 불구하고 잠재 추론기는 대부분 모방 학습에 머물러 있는 반면, 명시적 CoT는 결과 보상 강화 학습을 통해 모방 학습을 넘어섰다. 잠재 궤적은 다루기 쉬운 단계별 우도와 고정된 사고 예산 하에서의 적응형 정지 인터페이스가 부족하기 때문에, 결과 보상으로는 잠재 테스트 시간 확장을 유도할 수 없다. 우리는 대리 잠재 정책 최적화(SLPO)를 도입하여 결과 보상 강화 학습을 자기회귀적 잠재 추론기에 적용한다. SLPO는 궤적 수준의 신용 할당을 위한 잠재 전이에 대한 경험적 대리 정책 밀도와, 결과 보상 최적화가 가변 수평 정책으로 정제하는 정확성 감독 정지 헤드로 구성된다. 연속 및 소프트 사고 설정 전반에서 SLPO는 병렬 샘플링 하에서 Pass@k를 개선하고, 더 어려운 사례에 더 긴 잠재 계산을 할당하여 더 높은 결정론적 정확도를 달성한다.

본 연구는 G-MAD를 소개합니다. 이는 Arma3를 활용하여 항공 객체 탐지를 위한 동기화된 다중 시점 RGB-T 데이터를 생성하는 오픈소스 프레임워크입니다. G-MAD는 실제 항공 데이터셋 구축의 주요 한계점인 제한적인 시점 제어, 불완전한 RGB-T 정렬 및 높은 주석 비용을 해결합니다. 이 프레임워크는 구조화된 시나리오 지정, 제어 가능한 다중 시점 카메라 배치, 동시 가시광선/적외선 촬영, 엔진 수준 기하 메타데이터를 활용한 자동 바운딩 박스 주석을 지원합니다. 이러한 기능을 통해 항공 객체 탐지에서 시점 변화, 다중 모드 융합, 합성-실제 전이에 대한 통제된 연구가 가능합니다. 또한, G-MAD를 사용하여 대규모 다중 시점 항공 RGB-T 객체 탐지 벤치마크인 AMOD를 구축 및 공개합니다. 소스 코드와 데이터셋은 https://unique-chan.github.io/G-MAD-Project에서 확인할 수 있습니다.

자연어 오토인코더는 재구성(reconstruction)을 통해 은닉 활성화에 대한 설명을 평가한다. 활성화가 설명으로부터 재생성될 수 있으면 그 설명은 충실한 것으로 간주된다. 이 검사는 개별적인 거짓 주장에 대해 구조적으로 둔감하다. 즉, 주장을 뒤집어도 재구성이 변하지 않으면 그 주장은 결코 불이익을 받지 않는다. 우리는 이 검사가 두 가지 방식으로 통과되지만, 어느 것도 충실하지 않음을 보인다. 공개된 Qwen-2.5-7B 버발라이저에서 설명은 우연 수준보다 훨씬 높은 재구성 점수를 보이지만, 특정 주장의 약 2%만이 재구성에 의존적이다. 따라서 점수는 구체적인 사실이 아닌 요지를 추적한다. 정확한 합성 실제값(synthetic ground truth) 하에서, 표준 방법은 5번의 실행 모두에서 공동 적응 비밀 코드(재구성이 의존하는 거짓 표현)를 개발하며, 대상 모델을 변경하지 않는 수정은 도움이 되지 않는다. 우리는 두 가지 감사 프로토콜, 즉 근거-대-진실 교차(the grounded-vs-true cross)와 평가자 교체(the evaluator swap), 그리고 RECAP(Readable Encodings via Co-trained Auxiliary Predictors)을 제안한다. RECAP은 대상 모델과 함께 학습된 선형 헤드로, 지정된 내용을 디코딩 가능하게 유지한다. RECAP으로 학습된 샌드박스 모델에서, 새로운 버발라이저는 지정된 내용을 진실하게 진술하며 코드는 사라지고, 그 비용은 +0.001 nat이다. 이는 사전 학습된 Pythia-160M에서도 재현된다. 내용이 신뢰할 수 있게 프로브로 디코딩 가능해지지만, 새로운 버발라이저는 그 내용을 부분적으로만 전달한다(진실도 0.44-0.46 대 거의 0에 가까운 대조군). 해석 가능성 측면에서, 높은 재구성은 개별 주장을 보증하지 않는다. AI 안전성 측면에서, RECAP은 지정된 내부 내용을 모델이 조작할 수 있는 문장으로 주장하는 대신 프로브를 통해 독립적으로 확인 가능하게 만든다. 독립적인 프로브는 버발라이저의 참 주장을 거짓 주장보다 높게 점수 매긴다(AUC 0.96, RECAP 없으면 0.82). 재구성 점수를 최대화하기 위해 설명을 편집하면서 거짓말을 하는(거짓말 페널티의 약 87%를 억제) 적대자에 대해, RECAP 프로브는 여전히 거짓말을 식별하지만(AUC 0.95), 대조군 프로브는 우연 수준(0.51)으로 무력화된다.

3D 가우시안 스플래팅(3DGS)은 3D 공간에서 자유롭게 배치된 프리미티브를 최적화하고 재구성이 부족한 영역에서 적응적으로 밀도화함으로써 고품질의 새로운 시점 합성을 달성한다. 그러나 기존 피드포워드 3DGS 방법에서는 이러한 장면 적응형 용량 할당이 대부분 상실되는데, 이들 방법은 일반적으로 입력 픽셀에서 가우시안을 회귀하고 이를 카메라 광선을 따라 리프트한다. 이러한 픽셀 정렬 방식은 프리미티브의 수와 배치를 장면 복잡도가 아닌 이미지 해상도와 입력 시점에 의존하게 하여, 밀집되고 종종 중복되는 가우시안 집합을 초래한다. 본 논문에서는 적응형 3D 토큰(Adaptive 3D Tokens)을 통해 3DGS 최적화의 적응형 할당 능력을 복원하는 피드포워드 3DGS 프레임워크인 ATSplat을 제안한다. ATSplat은 먼저 거친 패치 수준의 깊이와 카메라 정보를 희소한 3D 앵커 토큰으로 리프트하여 장면의 간결한 스캐폴드를 형성한다. 그런 다음 각 토큰을 학습 가능한 3D 오프셋을 사용하여 로컬 가우시안으로 회귀하여, 프리미티브 배치를 입력 이미지 그리드로부터 분리한다. 적응형 토큰 확장(Adaptive Token Expansion) 모듈은 렌더링 오류 맵으로 감독되는 토큰 수준의 불확실성 점수를 예측하고, 학습 가능한 확장 레이어를 통해 불확실성이 높은 토큰을 선택적으로 확장한다. 이러한 희소-적응형 구성은 ATSplat이 간결한 표현을 유지하면서 까다로운 영역에 프리미티브를 집중시킬 수 있게 한다. 두 개의 대표적인 데이터셋인 RealEstate10K와 DL3DV에 대한 실험 결과, ATSplat은 밀집 피드포워드 3DGS 방법들과 비교하여 가우시안 수를 5.7배 이상 줄이면서 최신 수준의 렌더링 품질을 달성함을 보여준다. 512×960 해상도의 12개의 입력 이미지로부터 ATSplat은 단일 상용 GPU를 사용하여 1초 미만으로 재구성을 완료하고, 단 311K개의 가우시안만으로 1136 FPS(512×960 해상도)의 고품질 새로운 시점을 렌더링한다.

엣지 디바이스에서의 실시간 뇌파(EEG) 분류는 기존 신경망의 부동소수점 연산에 의해 병목현상이 발생한다. 본 연구에서는 미분 가능 논리 게이트 네트워크(Diff-Logic)를 하드웨어-네이티브 대안으로 조사하였으며, 이는 모델을 비트 단위 CPU 연산으로 실행 가능한 순수 부울 회로로 컴파일한다. 두 가지 분류 과제(이진 치매 탐지 및 3클래스 감정 인식)에 걸친 4개의 EEG 데이터셋에서 엄격한 동일 파라미터 실험을 통해, Diff-Logic을 동일 용량의 다층 퍼셉트론(MLP) 및 이진화 신경망(BNN) 기준 모델과 4가지 복잡도 계층(50k~500k 파라미터)에서 비교하였다. 치매 선별에서 Diff-Logic은 80.2%의 매크로 F1을 달성하여 MLP 기준 대비 6.8% 향상된 성능을 보였다. 감정 인식에서는 MLP가 적당한 성능 우위를 유지했으나, 전력 제약(7W) Nvidia Jetson Orin Nano CPU(싱글 코어)에 배치 시 2.3배 높은 지연 시간과 14배 더 큰 모델 크기를 초래했다. 결정적으로, Diff-Logic 추론 시간은 모델 규모가 10배 증가해도 거의 일정하게 유지되었으며, 가장 큰 복잡도 계층에서 MLP 대비 최대 2.9배의 속도 향상을 달성했다. 본 결과는 논리 기반 신경 아키텍처가 자원 제약적 뇌-컴퓨터 인터페이스를 위한 실용적 패러다임임을 입증하며, 휴대용 엣지 배치의 지연 시간 및 메모리 제약을 본질적으로 충족시키면서 경쟁력 있거나 우수한 성능을 제공한다. 코드는 GitHub에서 확인 가능: https://github.com/Shyamal-Dharia/eeg-difflogic

맥락적 동조화(contextual entrainment)는 모델이 입력의 보조 맥락이 해당 맥락의 관련성, 진실성, 또는 의미성과 무관하게 출력을 유도하는 경향을 의미한다. 최근 단일 양식 언어 모델에서 이 현상이 확인되고 메커니즘적으로 설명되었으나, 시각-언어 모델(VLM)에서의 발현 여부와 방식은 대체로 검토되지 않았으며, 현재 이 분야에는 이를 조사하기 위한 전용 도구가 부족하다. 본 연구는 VLM에서의 맥락적 동조화를 연구하는 것이 기존의 텍스트 전용 벤치마크를 다중 양식 환경으로 이식하는 것 이상을 요구한다는 입장을 취한다. 즉, 해당 항목(텍스트 스트림 내 묘사된 이미지, 시각 스트림 내 텍스트 질의)을 중심으로 구성된 조건들을 포함하는, 분류학적으로 구조화된 이중 양식 도구가 필요하다. 우리는 VLM으로의 전환이 점진적이 아닌 실질적이라고 주장한다. 이 전환은 동조화를 이중 현상으로 만들며, 텍스트 맥락과 시각 맥락에 의해 독립적으로 유도될 수 있게 하고, 이전 연구의 단일 양식 세계 지식 기반 공식화에는 존재하지 않는 진위 구분(묘사된 장면에 대해서는 거짓이지만 현실 세계에서는 가능한 맥락)을 열어준다. 이 입장을 구체화하고 실행 가능하게 만들기 위해, 본 연구는 ENTRAP-VL(시각-언어용 동조화 평가 프로브)을 소개한다. 이는 두 축(맥락과 항목 간의 연관성 및 진리와의 관계)으로 구성된 분류 체계에 따라 정리된 8개 범주의 1,500개 항목을 수동으로 선별한 데이터셋이며, 텍스트 동조화 스트림(8가지 맥락 조건)과 시각 동조화 스트림(3가지 맥락 조건)으로 나뉜다. 우리는 특정 모델에서의 동조화를 측정한다고 주장하지 않는다. 대신, 커뮤니티가 이 현상을 엄격히 조사할 수 있도록 도구와 이를 뒷받침하는 분류 체계, 그리고 이를 통해 가능해진 평가 프로토콜을 제공한다. 데이터셋과 관련 문서는 공개할 예정이다.

동시적 위치추정 및 지도작성(SLAM)은 로봇공학의 근본적인 문제 중 하나로, 실제 환경에서의 자율적 동작을 가능하게 한다. 저조도 환경에서는 대비 감소, 센서 잡음, 모션 블러로 인해 특징 추출과 특징 정합이 저하되는 반면, LiDAR, 깊이 또는 열 센서로 보완하면 비용, 전력 소모, 통합 복잡도가 증가한다. 기존 벤치마크는 조명이 잘 갖춰진 실내 또는 주간 시퀀스가 주를 이루며, 표준 RGB 카메라를 사용한 SLAM이 어두운 환경에서 어느 정도 성능을 발휘할 수 있는지는 여전히 미해결 과제로 남아 있다. 본 논문에서는 특징 기반, 직접, 필터 기반, 학습 기반 패러다임에 속하는 6가지 시스템(ORB-SLAM3, DSO, Kimera-VIO, OpenVINS, DPVO, DPV-SLAM)을 조명 난이도가 다양한 5개의 LaMARia 시퀀스에서 평가하고, 절대 및 상대 자세 오차와 함께 제어점 재현율을 보고한다. Kimera-VIO는 루프 폐쇄 부재로 인해 낮은 상대 자세 오차와 함께 꾸준히 증가하는 절대 오차를 보이면서도 5개 시퀀스를 모두 완료까지 추적한 유일한 시스템이다. DPVO와 DPV-SLAM은 추적 손실이 발생하지 않지만 저조도에서 약 100m의 절대 오차를 보이며, 고전적인 모노큘러 파이프라인(ORB-SLAM3, DSO)과 필터 기반의 OpenVINS는 대부분의 어렵거나 저조도 시퀀스에서 완전히 실패하거나 발산한다. 이러한 결과는 RGB 전용 SLAM이 관성 융합과 전역 최적화가 모두 존재할 때만 안정적인 저조도 추적을 유지함을 시사한다. 남은 격차를 해소하려면 저조도 특화 학습 전단부나 보완적 센싱으로의 회귀가 필요할 것으로 보인다.

복잡한 장면에서의 실용적인 로봇 파지는 3차원 공간 추론과 작업별 요구사항에의 정렬을 모두 필요로 한다. 시각-언어 모델(VLM)은 언어를 사용하여 이러한 요구사항을 명시하는 자연스러운 방법을 제공하지만, 기존 접근법은 제한된 공간 인식만으로 파지를 직접 예측하기 위해 VLM을 사용하거나, 파지 모델과 함께 VLM을 학습시켜 훨씬 더 많은 데이터와 계산을 요구한다. 이러한 한계는 성능을 저해하고 복잡한 장면에서 다중 체현으로의 확장을 방해해 왔다. 우리는 이 문제를 해결하기 위해 SeededGrasp를 제안한다. 이는 VLM이 시드 포인트를 예측하여 이후의 경량 파지 생성 모델의 조건으로 사용할 수 있게 하는 새로운 데이터 효율적 프레임워크이다. 우리의 아키텍처는 고수준 의미 추론과 저수준 기하 실행을 분리하여, 비용이 많이 드는 엔드-투-엔드 학습의 필요성을 우회하면서 다중 체현 지원을 가능하게 한다. 이러한 모델의 학습을 지원하기 위해, 우리는 혼잡한 장면에서 250만 개 이상의 파지를 포함하는 최초의 다중 체현 탁상 파지 데이터셋을 공개한다. 실험 결과는 우리의 접근법이 기존 기준 모델보다 우수하여 시뮬레이션에서 72%, 실제 세계 파지 실험에서 78%의 성공률을 달성함을 보여준다. 데이터와 코드는 프로젝트 사이트를 참조하십시오: https://uoft-isl.github.io/seeded-grasp/

지난 5년간 모델 크기, 데이터 및 연산량의 확장을 통해 텍스트-비디오 생성 기술이 크게 발전했다. 모델 아키텍처와 달리 학습 데이터는 종종 충분히 탐구되지 않았다. 실제 데이터 큐레이션은 복잡하고 간단하지 않으며, 원시 비디오에서 클립을 선택하고 캡션을 생성하여 텍스트-비디오 매핑 학습을 위한 비디오-텍스트 쌍을 만드는 과정을 포함한다. 본 연구는 데이터 분포와 캡션 품질이 텍스트-비디오 모델에 미치는 영향을 조사한다. 통제된 실험을 위해, 다양한 폰트, 색상, 크기 및 위치의 글자가 검은 배경 위에서 서로 다른 방향과 속도로 움직이는 Moving Alphabet이라는 절차적 테스트베드를 도입한다. 이 설계는 실제 메타데이터를 손상시켜 데이터 분포와 캡션 품질을 정밀하게 제어할 수 있게 한다. 실험 결과는 세 가지 발견점을 제시한다: a) 비디오 내용과 길이의 다양하고 균형 잡힌 분포는 일반화에 중요하다; b) 캡션 품질은 모델 성능과 학습 효율성 모두에 유의미한 영향을 미치며, 이는 텍스트-비디오 모델이 비디오 이해 능력에 의해 제한됨을 시사한다; c) 분류기-자유 유도 및 고품질 데이터에 대한 미세 조정은 손상된 캡션으로 학습된 모델에서 부분적인 회복을 제공하지만, 열악한 사전 학습 데이터를 완전히 보상할 수는 없다. 이러한 통찰이 대규모 텍스트-비디오 모델 개발에 도움이 될 수 있다고 믿으며, 사전 학습 데이터의 과학에 더 많은 관심을 기울일 것을 제안한다.