일간 논문

우리는 디지털 캐릭터의 음성 제어를 지원하는 실시간 대화형 비디오 생성 모델인 Vidu S1을 소개합니다. 사용자는 음성 명령을 통해 언제든지 비디오 생성 콘텐츠를 제어할 수 있습니다. Vidu S1은 흐림, 드리프트 또는 시각적 왜곡 없이 무제한 길이의 실시간 비디오 생성을 지원합니다. TurboDiffusion과 TurboServe로 구축된 Vidu S1은 일반 소비자 GPU에서 최대 42 FPS로 540p 실시간 비디오를 출력합니다. 사용자는 실제 인물, 애니메이션, 반려동물의 맞춤 이미지를 업로드하고 다양한 음성 톤을 선택하여 개인화된 경험을 할 수 있습니다. 실험 결과 Vidu S1은 실시간 추론 요구 사항을 완전히 충족하면서 모든 테스트 지표에서 최고의 성능을 달성함을 보여줍니다. 플레이 가능한 온라인 데모는 https://vidu.com/vidu-stream에서 제공됩니다.

비디오 이해의 본질적 복잡성으로 인해 Video-LLM 벤치마크 성능이 시각적 인지, 언어적 추론, 또는 지식 사전(prior)에서 비롯된 것인지 판단하기 어렵다. 고수준 추론을 평가하기 위한 많은 벤치마크가 등장했지만, 비디오 이해를 평가하기 위한 공유 기준은 여전히 간과되고 있다. 우리는 또 다른 벤치마크를 제안하는 대신, 한 걸음 물러서서 비디오 이해 평가 기준을 재검토한다. 본 연구에서는 기존 비디오 이해 벤치마크를 체계적으로 감사(audit)하기 위한 지속 가능한 진단 도구 모음인 Video-Oasis를 소개한다. 이 감사 결과, 기존 벤치마크 샘플의 55%가 시각적 입력이나 시간적 맥락 없이도 해결 가능한 것으로 드러났다. 이러한 단축 경로(shortcut)를 걸러낸 후 남은 비디오 고유 과제(video-native challenge)는 상당한 능력 격차를 드러낸다. 최첨단 모델도 무작위 추측보다 약간 나은 수준의 성능만을 보인다. 이러한 발견을 바탕으로, 우리는 추출된 과제를 테스트베드로 활용하여 강건한 비디오 이해에 기여하는 알고리즘 설계 선택이 무엇인지 조사한다. 우리의 연구가 엄격한 비디오 벤치마크를 구축하고 향후 Video-LLM을 평가하기 위한 실용적인 기초를 제공하기를 기대한다. 코드는 https://github.com/sejong-rcv/Video-Oasis에서 확인할 수 있다.

제로샷 구성적 행동 인식(ZS-CAR)은 이전에 관찰된 기본 요소들로 구성된 새로운 동사-목적어 조합을 인식해야 한다. 본 연구에서는 주요 실패 모드를 해결한다: 모델이 시간적 증거보다는 객체 기반 지름길(즉, 레이블된 객체 클래스에 의존)을 통해 동사를 예측하는 것이다. 희소한 구성적 지도와 동사-객체 학습 비대칭성이 객체 기반 지름길 학습을 촉진할 수 있다고 주장한다. 제안된 진단 메트릭을 사용한 분석은 기존 방법들이 훈련 공동발생 패턴에 과적합하고 시간적 동사 신호를 충분히 활용하지 못하여, 보이지 않는 구성에 대한 일반화가 약함을 보여준다. 객체 기반 지름길을 해결하기 위해, 두 가지 구성 요소를 가진 RCORE(Robust Compositional Representations)를 제안한다. 공동발생 사전 정규화(CPR)는 보이지 않는 구성에 대한 명시적 지도를 추가하고, 빈번한 공동발생 사전을 하드 네거티브로 처리하여 이에 대해 모델을 정규화한다. 구성에 대한 시간적 순서 정규화(TORC)는 시간적 순서 민감성을 강제하여 시간적으로 근거한 동사 표현을 학습한다. Sth-com과 EK100-com 데이터셋에서 RCORE는 지름길 진단을 줄이고 결과적으로 구성적 일반화를 향상시킨다.

대규모 언어 모델과 멀티모달 대규모 언어 모델의 급속한 발전은 일상 도구를 조작하고 실제 환경에서 사용자를 지원할 수 있는 능동적 에이전트의 등장을 가속화했습니다. 그러나 기존 벤치마크는 샌드박스 환경과 단일 턴 평가 패러다임에 의존하는 경우가 많아 이러한 에이전트를 효과적으로 평가하는 데 어려움을 겪고 있습니다. 또한 시나리오 기반 작업 분류 체계는 동일한 작업 범주 내에서 여러 모델 능력을 혼합하여 에이전트 실패의 근본 원인을 식별하기 어렵게 만듭니다. 이러한 한계를 해결하기 위해, 우리는 동적 실제 환경에서 능동적 에이전트를 평가하도록 설계된 최초의 능력 기반 벤치마크인 UniClawBench를 소개합니다. UniClawBench는 기술 사용, 탐색, 긴 맥락 추론, 멀티모달 이해, 플랫폼 간 조정이라는 다섯 가지 기본 모델 능력을 중심으로 구축되었습니다. 이러한 능력을 기반으로 400개의 이중 언어 실제 작업을 설계했습니다. 정적이고 사전 녹음된 답변에 의존하는 이전 벤치마크와 달리, 우리의 벤치마크는 세분화된 단계별 완료 체크포인트를 사용하여 라이브 Docker 컨테이너에서 에이전트를 평가합니다. 또한, 평가 기준을 노출하지 않으면서 현실적인 다중 턴 인간 피드백을 시뮬레이션하기 위해 실행 에이전트, 숨겨진 감독 에이전트 및 사용자 에이전트로 구성된 폐루프 평가 전략을 설계했습니다. 기본 모델 능력과 프레임워크 수준 설계 선택을 분리하기 위해, 우리는 여러 에이전트 프레임워크에서 최첨단 모델을 평가합니다. 모델과 프레임워크에 대한 포괄적인 비교를 통해 기본 모델 능력과 에이전트 프레임워크 설계가 실제 환경에서 성능을 어떻게 공동으로 결정하는지 보여줍니다. 향후 연구를 촉진하기 위해, 벤치마크와 코드를 https://github.com/HKU-MMLab/UniClawBench에서 공개적으로 제공합니다.

과학적 아이디어는 백지 상태에서 시작되는 경우가 드물다. 그들은 생물학적 게놈과 마찬가지로 메커니즘을 물려받고, 알려진 한계를 수정하며, 이전 연구의 조각들을 재조합한다. 현재의 벤치마크는 AI 시스템이 이러한 상속 구조를 따를 수 있는지에 대해 거의 말해주지 않는다. 우리는 과학적 계통 추론(linage reasoning)과 계통 기반 아이디어 생성을 위한 벤치마크인 IdeaGene-Bench(IG-Bench)를 제시한다. IG-Bench는 IdeaGene 프레임워크를 중심으로 구성된다. 각 논문이나 제안은 최소한의 유형화된 증거 기반 아이디어 게놈 객체(Idea Genome objects)의 집합으로 표현되며, GenomeDiff는 이러한 객체를 정렬하여 여섯 가지 작동적 진화 역학(상속, 돌연변이, 손실, 외부 도입, 새로운 삽입) 하에서의 상속, 돌연변이, 손실, 외부 도입 및 새로운 삽입을 기록한다. 이 벤치마크는 10개의 과학 분야에 걸쳐 1,961개의 황금 계통 추적(golden lineage traces), 1,085개의 큐레이션된 아이디어 게놈 객체, 920개의 쌍별 GenomeDiff 기록을 포함한다. 이는 두 가지 평가를 지원한다. IG-Exam(42개 작업 유형, 1,029개 인스턴스)은 아이디어 게놈 추상화, 상속 추적, 진화 추론 및 계통 검증 전반에 걸린 폐쇄형 계통 추론을 테스트한다. IG-Arena는 계통 조건부 인구-진화 점수(Population-Evolution Score, PES)를 사용한 생성을 평가하며, 제안이 주어진 계통 모집단의 일관된 후손으로 삽입될 수 있는지 묻는다. 즉, 올바른 아이디어 게놈 객체를 상속하고, 주변 연구와 의미 있게 차별화되며, 미래 연구를 위한 선택 가치를 제공해야 한다. 14개의 LLM 기반 과학자에 대한 실험은 구성적 병목 현상을 드러낸다. 가장 강력한 시스템도 계통 추론에서 정확도가 27.3%에 불과하며, 구조화된 계통 맥락은 모든 참가자에게 균일하게 도움을 주기보다 시스템 순위를 재구성한다.

희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 까다로운 작업이다. 회귀 방법은 종종 텍스처를 흐리게 만드는 반면, 기존 생성 모델은 장기 안정성에 어려움을 겪는다. 우리는 사전 학습된 비디오 확산 사전을 활용하여 이벤트 기반 비디오 복원, 예측 및 프레임 보간을 공동으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세 조정함으로써, 우리의 접근 방식은 높은 데이터 효율성과 우수한 지각 품질을 달성한다. 극도로 긴 시퀀스에서 시간적 드리프트를 완화하기 위해 자기회귀 언롤링과 적응형 컨텍스트 전환을 도입한다. 또한 프레임 보간 중 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 통한 재인코딩 정렬을 제안한다. 더불어 이벤트 복셀 밀도 증강은 다양한 센서 해상도에서 강건성을 보장한다. 실제 벤치마크에 대한 광범위한 실험을 통해 LongE2V가 세 가지 작업 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화를 보여줌을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/

본 연구에서는 기하학 인식 사전 학습과 하위 작업 특화 미세 조정을 결합한 맥락 내 파노라마 생성을 위한 2단계 프레임워크인 Canvas360을 제시한다. 맥락 내 파노라마 작업에 특화된 대규모 고품질 훈련 데이터의 부족 문제를 해결하기 위해, 스타일 변환, 인페인팅, 아웃페인팅, 편집을 위한 100만 개의 고품질 쌍형 파노라마 샘플로 구성된 Canvas360Dataset을 제안하며, 이를 통해 다양한 맥락 내 생성 시나리오에서 효과적인 지도 학습을 가능하게 한다. 모델링 측면에서 Canvas360은 병렬 깊이 생성, 속도 원형 패딩, 유사도 손실 정규화를 통해 텍스트-투-파노라마 생성을 개선하여, 모델이 기하학 인식 표현을 학습하고 객체 왜곡 세부 사항을 포착하며 기하학적 일관성과 전역적 연속성을 향상시킨다. 또한 강력한 파노라마 사전 지식을 바탕으로, Canvas360은 토큰 수준 연결을 통해 다양한 하위 작업을 지원하는 통합된 맥락 내 파노라마 생성 프레임워크를 가능하게 하여, 작업 범위와 모델링 유연성 모두에서 기존 방법을 능가한다. 광범위한 실험을 통해 Canvas360이 파노라마 이미지 충실도를 개선하며, 특히 파노라마 특화 FAED 지표에서 매우 우수한 성능을 보이고 보고된 정량적 평가 전반에서 경쟁력 있는 또는 선도적인 결과를 달성함을 입증한다. 자세한 내용은 프로젝트 페이지(https://zry000.github.io/Canvas360/)에서 확인할 수 있다.

현재 약물 설계를 위한 컴퓨터 기반 접근법은 일반적으로 특정 표적이나 일반적인 분자 특성에 조건화된 분자를 생성하는 데 초점을 맞추며, 질병 맥락이 표적 행동 및 치료 결과에 미치는 영향을 종종 간과한다. 이러한 격차를 해소하기 위해, 우리는 질병 온톨로지와 표적 단백질 서열 모두에 조건화된 소분자를 설계하는 새로운 생성 모델인 DrugGen-2를 소개한다. DrugGen-2는 승인된 약물과 이들의 질병 및 표적을 연결한 선별 데이터셋을 기반으로 사전 훈련된 GPT-2 모델을 미세 조정하여 개발되었으며, 지도 미세 조정 후 그룹 상대 정책 최적화(GRPO)를 통한 강화 학습의 2단계 전략을 사용했다. 이 과정은 화학적 유효성, 신규성, 다양성 및 높은 예측 결합 친화도를 최적화하는 보상 함수에 의해 안내되었다. 당뇨병성 신증과 관련된 5개의 단백질 표적에 대해 평가했을 때, DrugGen-2는 베이스라인 모델(DrugGPT 및 DrugGen)을 크게 능가했다. 이는 고유한 분자를 생성하는 뛰어난 능력, 승인된 약물과 더 큰 구조적 유사성, 그리고 모든 표적에서 개선된 예측 결합 친화도를 보여주었다. 분자 도킹 분석은 이러한 결과를 추가로 뒷받침하여 강력한 결합 잠재력을 가진 후보 리간드를 식별했으며, 특히 안지오텐신 전환 효소에 대한 참고 약물인 에날라프릴(-8.283)을 초과하는 예측 친화도(-9.917, -9.485, -9.367)를 가진 화합물을 포함했다. 질병 특이적 맥락을 분자 생성에 통합함으로써 DrugGen-2는 질병과 분자 표적 간의 복잡한 상호작용을 고려한 AI 기반 약물 발견을 발전시키며, 신규 설계 및 약물 재창출을 위한 강력한 도구를 제공한다.

모바일 기기에서 이미지-비디오 생성에 대한 수요가 증가함에 따라, bullet time, dolly zoom, 슬로우 모션 등과 같은 영화적 모션 효과에 대한 관심이 높아지고 있다. Diffusion Transformers(DiTs)는 비디오 생성에서 뛰어난 성능을 보이지만, 큰 파라미터 크기와 다단계 반복적 잡음 제거 과정으로 인해 상당한 계산 오버헤드가 발생하여 모바일 기기에서의 효율적인 생성이 어렵다. 본 논문에서는 이러한 격차를 해소하기 위해 CineMobile을 제안한다. 구체적으로, CineMobile은 세 가지 최적화 전략을 채택한다: (1) 증류 기반 가지치기(distillation-guided pruning) 방식을 활용하여 영화적 효과에 필수적인 비디오 생성 능력을 유지하는 컴팩트하면서도 효율적인 모델을 도출하고, (2) 확산 증류(diffusion distillation)와 강화 학습의 조합을 통해 압축된 모델을 4단계 생성기로 최적화하며, (3) 하이브리드 사후 훈련 양자화(post-training quantization) 전략을 적용하여 모델 크기를 1GB 미만으로 압축한다. 실험 결과, Wan 2.1 아키텍처를 기반으로 한 교사 모델과 비교하여 CineMobile은 유사한 시각적 품질을 유지하면서 생성 속도를 40배 향상시켰다. 특히, CineMobile은 NVIDIA H200 GPU에서 단계당 잡음 제거 지연 시간이 0.6초, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 20초로 49프레임 480p 비디오를 생성하며, 최대 메모리 사용량은 1.8GB로 모바일 기반 이미지-비디오 생성에 대한 실용적 적용 가능성을 입증한다.

최신 LLM들은 점점 더 긴 컨텍스트를 필요로 하는 검색 증강 생성, 저장소 수준 코딩, 에이전트 워크플로우 등에 배포되고 있으며, 이러한 작업에서 누적된 추론 및 도구 사용 기록은 입력을 사전 학습 윈도우보다 한 자릿수 이상 길게 만들어 제로샷 컨텍스트 확장이 오픈웨이트 체크포인트의 주요 배포 경로가 되고 있다. 기존의 대부분의 제로샷 방법은 단일 재조정 비율을 미리 고정하는데, 공격적인 비율은 짧은 컨텍스트 충실도를 희생하고 보수적인 비율은 긴 컨텍스트에서 작동하지 않는다. 본 논문에서는 튜닝이 필요 없는 제로샷 방법인 Jet-Long을 제안한다. 이 방법은 로컬 RoPE 충실 윈도우와 현재 시퀀스 길이에 따라 동적으로 재조정 비율을 적응시키는 장거리 윈도우를 쌍으로 구성하여, 짧은 입력에서는 기본 모델을 정확히 복원하고 긴 입력에서는 깔끔하게 외삽한다. 포함-배제 어텐션 병합과 실시간 RoPE 보정 회전을 통해 이중 초점 구조는 추론 시 사실상 오버헤드가 없으며, 단일 CuTe 커널에 통합되어 긴 컨텍스트 프리필은 H100에서 FA2 처리량의 최대 1.39배(호퍼 전용 FA4에 근접)에 도달하고, 단일 배치 생성은 모든 길이에서 4% 이하의 오버헤드를 유발한다. Qwen3-1.7B/4B/8B 모델에서 최대 128K 컨텍스트까지 평가한 결과, Jet-Long은 RULER에서 가장 강력한 기준선 대비 각각 +4.79/+2.18/+2.03 퍼센트포인트의 성능 향상을 보였으며, HELMET-RAG(HELMET이 다운스트림 긴 컨텍스트 성능의 가장 효율적인 예측 변수로 식별한 벤치마크)에서 최고의 전체 정확도를 달성하고 PG-19 퍼플렉서티에서 가장 낮은 값을 기록했다. Jet-Long은 또한 재훈련 없이 긴 컨텍스트 성능을 추가로 개선하기 위해 Jet-Nemotron과 같은 하이브리드 어텐션 아키텍처로 일반화되며, 배포 용이성을 위해 하이퍼파라미터에 강건한 특성을 유지한다.

자기 주의(self-attention)는 각 토큰이 전체 맥락에서 정보를 가져올 수 있게 하지만, 시퀀스 길이에 따른 제곱 비용(quadratic cost)이 장기 맥락에서의 학습과 추론을 제한한다. 본 논문은 소프트맥스 주의(softmax attention)와 네 가지 최신 순환 선형 주의 아키텍처인 DeltaNet, Gated DeltaNet, Kimi Delta Attention, Gated DeltaNet-2를 비교 연구한다. 이러한 메커니즘을 공통된 순환 메모리 표기법(recurrent-memory notation)으로 표현하여, 표현력(expressivity), 메모리 감쇠(memory decay), 삭제 및 쓰기 제어(erase and write control), 학습 처리량(training throughput), 구현 복잡성(implementation complexity)에서 어떻게 차이가 나는지 명시적으로 보여준다. 실험은 150억 토큰으로 학습된 3억 5천만 파라미터(350M-parameter) 모델을 중심으로 진행되었으며, 최적화기 및 학습률 비교, 하이브리드 대 순수 스택 비교, 시퀀스 길이별 실행 시간 측정, 13억 및 30억 파라미터 규모의 더 큰 DeltaNet 실험, 그리고 소규모 하류 평가(downstream evaluations)를 포함한다. 보고된 속도 결과는 학습 처리량과 반복 시간을 측정한 것이며, 추론 속도 벤치마크(inference-speed benchmark)는 별도로 제공하지 않는다. 보고된 3억 5천만 파라미터 및 150억 토큰 실험 범위 내에서 Muon을 사용한 Kimi Delta Attention이 가장 낮은 최종 검증 손실에 도달했고, AdamW로 학습된 순수 Gated DeltaNet 스택이 가장 높은 정규화된 학습 처리량을 보였으며, 하이브리드 스택은 일반적으로 처리량 비용을 감수하면서 손실을 개선했고, Muon은 일치된 아키텍처 설정에서 평가한 모든 경우에 AdamW에 비해 최종 검증 손실을 일관되게 낮췄다. 또한 DeltaNet 스타일 메모리를 위한 경량 교차 계층 라우팅 메커니즘(cross-layer routing mechanisms)을 도입하고 평가한다. 가장 자연스러운 DeltaNet 기반 공식(하위 계층의 델타 규칙 쓰기 오류(delta-rule write error)를 다음 계층의 값 타겟(value target)에 전달)은 일치된 기준선 대비 개선되지 않았다. 정렬된 은닉 스트림(aligned hidden stream)으로 라우팅하고 쓰기 값(write value)을 대신 전달하는 방식은 보고된 일치된 실험에서 약간의 개선을 보였다: 교차 계층 값 라우팅(Cross-Layer Value Routing, CLVR)은 DeltaNet과 Gated DeltaNet 모두에서 최종 검증 손실을 낮췄다.

강화학습(Reinforcement Learning, RL)은 대규모 언어 모델(Large Language Models, LLMs)의 복잡한 추론 능력을 향상시키는 표준 패러다임이 되었다. 샘플 효율성을 달성하기 위해 현대 RL 프레임워크는 중요도 샘플링(Importance Sampling, IS)에 의존한다. 그러나 이러한 알고리즘은 탐험-안정성 딜레마(exploration-stability dilemma)를 겪는다. 순수 IS는 종종 파국적인 훈련 불안정성을 초래하는 반면, 이러한 불안정성을 완화하는 데 사용되는 표준 클리핑 메커니즘은 정책 업데이트 예산을 엄격히 제한한다. 확률 용량(Probability Capacity, Cap) 개념을 정식화함으로써, 우리는 보수적인 클리핑이 정확하지만 낮은 신뢰도를 가진 추론 경로에 대한 업데이트 예산을 조기에 차단하여 구조적으로 탐험을 저해한다는 사실을 밝혀낸다. 이러한 제약에서 벗어나기 위해, 우리는 보편적이고 플러그 앤 플레이 방식의 목적 함수인 무제한 양수 비대칭 최적화(Unbounded Positive Asymmetric Optimization, UP)를 제안한다. UP는 정책을 정지 그래디언트 연산자(stop-gradient operator)를 통해 현재 상태에 고정시킴으로써 최적화 과정을 이론적으로 재구성한다. 이러한 비대칭 설계는 탐험을 극대화하기 위해 양수 이점(positive advantage)에 대해 클리핑되지 않은 안정적인 그래디언트를 제공하는 동시에, 훈련 불안정성을 방지하기 위해 음수 이점(negative advantage)에 대해서는 표준 클리핑 보호 장치를 유지한다. 더 나아가, 우리의 공식은 토큰 수준(GRPO, DAPO) 및 시퀀스 수준(GSPO) 프레임워크를 포함한 다양한 최적화 세분성에 쉽게 확장된다. 광범위한 실험을 통해 UP가 다양한 RL 알고리즘(DAPO, GSPO, GRPO), 모델 아키텍처(Dense, MoE, 시각-언어), 그리고 훈련 방식(언어 및 멀티모달) 전반에 걸쳐 탐험 능력을 향상시키고 우수한 추론 정확도를 달성함을 입증함으로써, UP가 RL 기반 훈련을 위한 진정한 보편적 플러그 앤 플레이 개선 방법임을 검증한다.

장기적 과제(long-horizon tasks)에서 의사결정 관련 상태는 종종 확장되는 궤적(trajectory) 전체에 흩어져 있는 반면, 행동 에이전트(action agent)는 이를 표면화하여 행동해야 한다. 궤적이 길어짐에 따라 과제 요구사항, 환경 사실, 이전 시도, 진단, 미해결 하위 목표가 컨텍스트 윈도우(context window)에 묻히거나 그 밖으로 밀려나 필요할 때 의사결정에 영향을 미치지 못할 수 있다. 우리는 이러한 실패 모드를 "행동 상태 붕괴(behavioral state decay)"라고 명명한다. 우리는 수동적 검색(passive retrieval)이 아닌 능동적 개입 메커니즘으로서의 기억(memory)을 연구한다. 별도의 메모리 에이전트(memory agent)가 수정되지 않은 행동 에이전트와 함께 실행되며, 최근 궤적으로부터 구조화된 메모리 뱅크(structured memory bank)를 업데이트하고, 메모리에 기반한 알림을 주입할지 아니면 침묵할지를 결정한다. 이 모듈은 최첨단 행동 에이전트와 기존 에이전트 하니스(harness)에 플러그 앤 플레이(plug-and-play) 방식으로 적용 가능하다. Terminal-Bench 2.0과 τ^2-Bench에서, 이 방법은 약한 에이전트와 강한 에이전트 모두의 pass@1을 개선하며, Terminal-Bench에서 +8.3 퍼센트포인트(pp), τ^2-Bench에서 +6.8 pp의 향상을 보였다. 절제 실험(ablation)은 선택적 개입이 수동적 뱅크 노출, 항상 켜진 주입(always-on injection), 조언자 전용 안내(advisor-only guidance), 및 일반 검색(general retrieval)보다 우수함을 보여준다. 오픈웨이트 메모리 정책(open-weight memory policies)을 향한 초기 단계로, 우리는 SETA에 대해 SFT와 GRPO를 사용하여 Qwen3.5-27B를 훈련시켰고, 검증 보상(validation reward)을 개선하고 Terminal-Bench로의 부분적 전이(partial transfer)를 달성했다.

자기공명영상(MRI) 초해상도는 진단 접근성을 향상시키는 데 중요하지만, 대부분의 방법은 이를 고정된 저해상도 입력에서 고해상도 목표로의 결정론적 매핑으로 취급한다. 이는 MRI 획득 물리학의 핵심 특성, 즉 공간 해상도와 신호 대 잡음비(SNR)가 본질적으로 결합되어 있어, 주어진 저해상도 스캔이 다양한 획득 트레이드오프 하에서 가능한 여러 실현 중 하나에 불과하다는 점을 간과한다. 우리는 MRI 초해상도를 물리 인식 재구성 문제로 재정의하며, 목표는 최적의 해상도-SNR 구성을 식별한 후 이를 초해상화하여 고품질 MRI 결과를 얻는 것이다. 이러한 정식화가 시사하는 핵심은 MRI 해상도가 고정된 것이 아니라 동적이 된다는 점이다. 이러한 해상도 이질적 입력을 처리하기 위해, 우리는 2D 가우시안 스플래팅(Gaussian Splatting, 2D GS)을 MRI에 적용하여 재구성을 좌표 기반의 해상도 무관 렌더링 문제로 정식화한다. 충실도를 더욱 향상시키기 위해 세 가지 혁신을 도입한다: (1) 조직별 커널 초기화를 위한 해부학적 구조 사전(Anatomical Structure Prior)과 공분산 사전을 통해 하드웨어 특성을 포착하는 영상 시스템 사전(Imaging System Prior)을 결합한 사전 인식 가우시안 표현; (2) 고유 조직 파라미터(양성자 밀도 ρ 및 유효 이완율 R₂)를 예측하고 지배적인 물리 방정식을 통해 강도를 합성하여 생물물리학적으로 타당한 대비를 보장하는 물리 제약 신호 모델링 기법; (3) 모의 데이터로 사전 훈련하고 실제 조건에 적응함으로써 쌍 데이터 부족 문제를 완화하는 메타러닝 프레임워크. 동적 해상도 데이터셋과 표준 벤치마크에 대한 광범위한 실험을 통해 우리의 방법이 최첨단 성능을 달성함을 입증하며, 이는 임상 배치에 대한 강력한 가능성을 시사한다.

텍스트-이미지 생성을 위한 추론 시간 스케일링은 단순한 Best-of-N(BoN) 샘플링에서 중간 노이즈 제거 단계에서 후보 궤적을 검증하고 유도하는 유도 검색 방법으로 발전해 왔다. 이러한 접근법은 노이즈 제거 과정에서 언제, 얼마나 자주 검증할지에 초점을 맞추지만, 생성 자체의 비용은 대체로 고정된 것으로 간주한다. 또한, 함수 평가 횟수(NFEs)로 방법을 비교하는 표준 관행은 노이즈 제거 순방향 패스만 계산하고 검증기 오버헤드를 무시하여 효율성 순위를 왜곡할 수 있다. 실시간 평가 아래에서는 단순한 BoN이 이미 여러 유도 검색 기법과 동등하거나 더 나은 성능을 보여, 반복적인 중간 검증보다 폭넓은 탐색에 연산 자원을 투자하는 것이 더 효과적임을 시사한다. 이는 Flash-BoN으로 이어지는데, Flash-BoN은 타임스텝 절단, 레이어 스킵, 활성화 프록시라는 세 가지 상보적 가속 조정 장치를 결합하여 모델당 한 번 최적화된 단일 구성으로 저렴한 드래프트 후보의 대규모 풀을 생성한다. 이후 효율적인 다단계 검증 절차를 통해 가장 유망한 드래프트를 식별하고, 이를 전체 품질로 정제한다. 세 가지 벤치마크와 세 가지 모델 규모에서 Flash-BoN은 고정된 실시간 예산 아래 모든 기준선을 일관되게 능가하며, 그 이점은 더 큰 모델 규모에서 증가한다(+8% AUC). 또한, 본 전략이 반영 기반 프롬프트 최적화(+16% AUC)와 같은 기존의 직교 기술과 잘 결합되어 개선됨을 추가로 보여준다. 이러한 이점은 후보 다양성 증가와 상관관계가 있으며, 이는 또한 드래프트 유도 선택을 통해 강화학습 사후 학습 수렴을 가속화할 수 있게 한다.

의미론적 오디오 애플리케이션은 점차 프레임워크 중심의 데이터센터 스택보다 일반 하드웨어 및 임베디드 하드웨어에서 제어 가능한 생성을 요구한다. 우리는 aria를 제시한다. 이는 의존성 없는 네이티브 런타임으로, Python이나 딥러닝 프레임워크 없이 일반 GPU, CPU 전용 머신, 라즈베리 파이 5에서 Stable Audio~3 (SA3)의 전체 텍스트-투-뮤직 파이프라인을 실행한다. 우리의 주요 기여는 양자화 연구, 즉 제한된 메모리 예산에 맞추기 위해 낮은 수치 정밀도로 모델을 실행하고 메모리를 추가하는 대신 그 자리에서 절약하는 것이다. 런타임이 모든 내부 텐서를 소유하기 때문에, 활성화 조종(activation steering)이라는 저비용 방식으로 모델이 생성하는 것을 조종할 수 있다. 우리는 출력의 세 가지 독립적 측정(프롬프트 충실도, 전반적 오디오 품질, 취향 보존)을 통해 품질 비용을 평가하며, 각각을 무작위 시드 간 일반적 변동과 비교한다. 8비트 정밀도는 메모리를 크게 줄이면서도 어떤 측정에서도 측정 가능한 품질 손실이 없으며, GPU에서 가장 빠른 모드이다. 4비트는 작고 제한된 비용이 추가되지만, 12억 파라미터 모델을 8GB 라즈베리 파이에서 실행할 수 있을 정도로 메모리 공간을 줄인다. 공식 구현과 비교하여, aria는 생성 속도가 같거나 능가하며 약 7배 더 빠르게 시작된다. 조종 인터페이스에 대한 사례 연구는 취향 연상(소닉 시즈닝)을 지닌 음악을 생성하며, 속성 부분 집합에 대해 진정하지만 제한된 제어를 제공한다. 이러한 결과는 내장 제어 기능을 갖춘 소형화된 양자화 런타임을 사운드 인터넷(Internet-of-Sounds) 환경에서 온디바이스 의미론적 오디오를 위한 실용적 기반으로 만든다. aria 런타임은 https://github.com/matteospanio/aria에서 공개된다.

대규모 언어 모델(LLM)은 점점 더 통합 데이터 과학 에이전트 역할을 수행하며, 추상적 추론과 고급 도구 사용을 결합한다. 그러나 관련 벤치마크 환경은 대개 실제적인 데이터 분석이 없는 기호적 인과 추론 벤치마크와 원칙적인 인과 데이터 생성 구조가 없는 데이터 분석 벤치마크로 나뉜다. 더욱이, 기존의 인과 평가 데이터셋은 종종 기존 소스에서 선별된 예제에 국한되어 있으며, 다양성은 체계적인 새로운 합성 인과 구조 생성보다는 제한된 템플릿 변형에서 비롯된다. 우리는 에이전트 데이터 과학 워크플로우에서 인과 추론을 평가하기 위한 벤치마크인 CausalDS를 소개한다. 각 벤치마크 인스턴스는 샘플링된 구조적 인과 모델(SCM)과 생성된 관측 데이터, 그리고 현실적인 도메인에 기반한 합성 자연어 스토리로 구성된 장면(scene)이다. 우리는 선택적으로 벤치마크 구성 요소의 구성을 실제 데이터셋에서 얻은 경험적 분포에 기반하여, 완전히 합성된 생성을 통해 '인과 앵무새' 위험을 줄이면서 경험적 구조를 유지한다. 각 장면으로부터 우리는 Pearl의 세 단계를 모두 포괄하는 작업을 도출하며, 일반적인 데이터 과학 예측 작업은 1단계로 나타난다. 대부분의 작업에는 데이터 과학 코딩 구성 요소가 포함되며, 관측 모델에 의해 생성된 불완전한 관측이 자주 존재하기 때문에 모델은 일반적으로 여러 도구를 사용하여 최종 답변에 도달해야 한다. 또한, 질문에 정당한 답변이 없을 때 이를 인식하고 기권하는 것은 1등급 점수 결과로 처리된다. 따라서 이 벤치마크는 기호적 인과 추론, 데이터 과학, 불확실성 정량화, 기권, 도구 사용/코딩을 공동으로 평가한다.

첨두 회로(peaked circuits)로 알려진 양자 회로 클래스에서, 목표는 회로 출력에서 가장 확률이 높은 비트 문자열을 예측하는 것이다. 이 회로들은 출력 분포에 급격한 첨두를 갖도록 설계되었기 때문에, 원칙적으로 제한된 수의 항 또는 전체 확률 질량의 일부를 갖는 절단된 상태 벡터를 사용하여 시뮬레이션하는 것이 가능해야 한다. 이러한 근사 시뮬레이션은 대부분의 양자 시뮬레이터에서 흔히 사용되는 밀집 표현(dense representations)과 달리, 상태 벡터의 비영 진폭(nonzero amplitudes)만을 저장하는 희소 표현(sparse representation)을 사용하여 고전 컴퓨터에서 수행할 수 있다. 효율성을 위해, 상태 벡터에 대한 모든 연산은 가능한 한 최대한 벡터화되어야 하며, 사용 가능한 경우 하드웨어 가속을 활용할 수도 있다. 본 연구는 이러한 요구 사항이 오픈소스 구현에서 어떻게 충족되었는지 설명하고, 그 성능과 한계를 논의한다.

최신 비디오 객체 분할(VOS)은 사용자가 지정한 대상을 추적 및 분할하는 것을 포함한다. 최근 접근법들은 단일 대상 시나리오에서 뛰어난 성능을 달성했지만, 이를 다중 대상 설정으로 확장하는 것은 일반적으로 각 개별 객체에 대해 단일 대상 처리를 복제함으로써 대상 수가 증가함에 따라 제한 없는 지연 시간으로 인해 프레임 속도(FPS)가 감소하게 된다. Segment Anything 2(SAM2)를 기반으로, 우리는 실시간 다중 대상 비디오 분할을 위해 모델을 대화형 프레임워크로 변환함으로써 이 문제를 해결하는 SAM-MT를 제안한다. SAM-MT는 전역 맥락을 위한 공유 표현과 병렬로, 다양한 개별 대상을 표현하기 위해 명시적 질의를 사용한다. 이는 개별 정체성을 교차 대상 간섭으로부터 구분하기 위해 분리된 마스크 어텐션을, 안정적인 시간적 진화를 위해 희소 메모리를 사용하며, 가림 처리 및 중복 방지를 위한 특화된 전략을 함께 사용한다. SAM-MT는 지연 시간을 대상 수로부터 성공적으로 분리하여 단일 대상 기준선과 동등한 실시간 속도(10개 대상에 대해 >36 FPS)를 달성하면서도 SAM2의 강력한 비디오 분할 성능을 유지한다.

아랍어 자연어 처리(NLP)의 주요 과제 중 하나는 현대 표준 아랍어(MSA)에 비해 방언 데이터가 부족하다는 점이며, 이로 인해 LLM은 MSA를 과도하게 생성하고 방언적으로 정확한 생성에 어려움을 겪는다. 해석 가능성 관점에서 이는 근본적인 질문을 제기한다: 방언적 특징이 모델 내부에서 어디에, 어떻게 인코딩되어 있으며, 미세 조정 없이도 이러한 표현을 활용하여 방언 생성을 개선할 수 있는가? 본 연구는 해석 가능성 탐사 도구이자 제어 메커니즘으로 동시에 기능하는 두 가지 보완적 추론 시간 접근법을 조사한다. 첫째, 뉴런 수준 분석을 수행하여 방언별 특징을 인코딩하는 희소 뉴런 집단을 식별하고, 이러한 뉴런을 증폭 또는 억제함으로써 모델 출력을 목표 방언으로 유도할 수 있음을 보여준다. 둘째, 단일 뉴런 수준에서 방언적 특징이 얽혀 있다는 점에 착안하여, 방언별 활성화 방향을 추출하고 추론 중에 이를 주입하는 벡터 유도 접근법을 적용한다. 이 두 방법을 통해 아랍어 LLM에서 방언 지식의 기하학적 구조를 조명하고, 방언별 미세 조정 없이도 방언 제어를 가능하게 하는 원칙적이고 해석 가능성에 기반한 프레임워크를 제공한다.

본 논문에서는 NakbaNLP@LREC-COLING 2026의 StanceNakba 공유 과제의 두 하위 과제를 모두 해결하는 스탠스 탐지 시스템인 PAST-TIDE를 소개한다. 핵심 아이디어는 진술 튜닝(statement tuning)이다. 우리는 스탠스를 클로즈 스타일의 마스크 언어 모델링(MLM)으로 재정의하여, 무작위로 초기화된 분류 헤드를 추가하는 대신 사전 학습된 MLM 헤드를 통해 버벌라이저(verbalizer)가 레이블 단어를 스탠스 범주로 매핑하도록 한다. 여기에 학습 가능한 클래스 프로토타입을 활용하여 배치 크기에 독립적인 대조 학습을 수행하는 프로토타입 대조 학습(prototypical contrastive learning)과 주제 간 아랍어 스탠스 탐지를 위한 주제 조건부 층 정규화(topic-conditional layer normalization)를 보완한다. PAST-TIDE는 공식 리더보드에서 하위 과제 A에 대해 0.75, 하위 과제 B에 대해 0.74의 매크로 F1 점수를 달성하였으며, 이는 사전 학습 모델에 최소한의 구조적 추가만으로도 저자원 환경에서 경쟁력을 유지할 수 있음을 시사한다.