일간 논문

구조-물성 관계는 생물학, 화학, 재료과학의 기초를 이루며, 기능, 반응성, 물리적 응답이 공간적, 화학적, 주기적 조직으로부터 발현됩니다. 이러한 관계를 메커니즘적으로 설명하려면 입체화학과 결합에서부터 대칭성, 에너지학, 주기적 질서에 이르기까지 과학적 원리와 물리적 제약 조건을 통해 구조적 증거를 해석해야 합니다. 그러나 인공지능을 이 과정에 적용하는 것은 표현과 추론의 공동 과제를 제시합니다. 즉, 모델은 도메인 고유의 구조 정보를 보존하면서 특정 증거가 이러한 제약 조건 하에서 예측을 어떻게 뒷받침하는지 보여주어야 합니다. 여기서 우리는 단백질, 소분자, 무기 결정체 전반에 걸친 고유 구조 추론을 위한 다중 모드 과학 기반 모델인 SciReasoner를 소개합니다. SciReasoner는 좌표, 위상 구조, 주기적 연결성을 통합된 구조 인식 어휘로 이산화하여, 구조적 토큰을 추론 과정에서 주소 지정이 가능한 증거 단위로 취급합니다. 상동성 제어 유전자 온톨로지(Gene Ontology) 예측에서 SciReasoner는 낮은 상동성 및 고아 유사 단백질에 대한 세포 구성 요소(Cellular Component) 주석을 개선하여 F_{max}를 0.42에서 0.55로 향상시켰습니다. 화학 분야에서는 단일 단계 역합성 정확도를 0.63에서 0.72로 높이는 동시에 단편 수준의 절단 및 전구체 검증 추적을 생성합니다. 재료과학에서 그 표현은 원소 및 화합물 상을 분리하고 높은 및 낮은 밴드갭 영역을 구분합니다. 86개 벤치마크 중 SciReasoner는 67개 작업에서 최첨단 성능을 달성합니다. 이중 맹검 전문가 평가는 SciReasoner의 추론 추적이 98%의 사례에서 최첨단 대규모 언어 모델의 것보다 선호되거나 적어도 유사한 수준으로 평가했습니다. 구조를 과학적 제약 조건 하의 추론을 위한 검사 가능한 기반으로 만듦으로써 SciReasoner는 정확한 예측을 해석 가능한 과학적 추론과 연결합니다.

주류 Vision-Language-Action(VLA) 모델은 마르코프 가정 하에 주로 현재 관측값으로부터 행동을 예측하기 때문에, 장기적이고 시간적 의존성이 있는 작업에 어려움을 겪는다. 기존의 메모리 증강 VLA 모델들은 관측 윈도우를 확장하거나, 보조 정책 측면 컨텍스트로서 메모리 뱅크에서 과거 정보를 검색한다. 그러나 이들은 메모리를 VLA 추론의 고유 잠재 임베딩 공간 외부에 남겨두어, 과거 경험이 다중 모드 추론 및 행동 형성과 유연하게 결합되는 것을 방해한다. 이러한 문제를 해결하기 위해, 우리는 과거 경험을 잠재 메모리 토큰으로 재구성하고 이를 VLA 추론과 직접 결합하는 잠재-메모리-네이티브 프레임워크인 LaMem-VLA를 제안한다. LaMem-VLA의 핵심은 네 가지 조정된 구성 요소로 구성된다: (i) 과거 경험을 두 개의 상호 보완적인 단기 및 장기 메모리 저장소로 구성하는 큐레이터, (ii) 다중 모드 인지를 사용하여 두 저장소를 질의하고 컨텍스트 관련 증거를 검색하는 탐색기, (iii) 검색된 증거를 간결한 단기 및 장기 잠재 메모리 토큰으로 재구성하는 압축기, 그리고 (iv) 이러한 메모리 토큰을 현재 관측값 및 명령어와 함께 하나의 연속적인 임베딩 시퀀스로 주입하는 직조기이다. 과거 경험을 동일한 연속 잠재 공간에서 완전히 표현, 검색 및 소비함으로써, LaMem-VLA는 메모리가 VLA 추론에 직접 참여하고 제한된 컨텍스트 하에서 행동 생성을 안내할 수 있게 한다. SimplerEnv와 LIBERO에 대한 광범위한 실험은 우리 LaMem-VLA의 우수성을 입증한다.

최근 로봇 제어 분야에서의 발전에도 불구하고, 비디오 생성 모델은 콘텐츠 생성에 주된 초점을 맞추기 때문에 도메인 불일치 문제를 겪는다. 예를 들어, 이러한 모델의 설계는 본질적으로 계산 효율성과 물리적 현실성보다 시각적 충실도와 창의성을 우선시한다. 본 연구에서는 체화된 지능(embodied intelligence)에 특화된 DiT 기반 비디오 사전 학습 패러다임인 LingBot-Video를 제안한다. 아키텍처 측면에서, 우리는 밀집(dense) 프레임워크 대신 전문가 혼합(MoE) 프레임워크를 채택하여 모델링 용량과 추론 효율성 간의 더 나은 균형을 달성하고, 처음부터 확장하는 데 성공했다. 데이터 측면에서, 우리는 표준 인터넷 비디오에 조작, 내비게이션, 자아 중심 관점을 포함한 광범위한 로봇 중심 영상을 추가로 증강하는 데이터 프로파일링 엔진을 구축하여, 기본 모델에 행동과 세계 역학에 대한 내재적 이해를 갖추게 한다. 훈련 측면에서, 우리는 미학, 프롬프트 준수, 움직임 일관성과 같은 표준 기준을 넘어서, 물리적 합리성과 작업 완료에 관한 정렬을 강화하기 위해 다차원 보상 시스템을 개발한다. 포괄적인 평가를 통해 비디오 기초 모델로서의 성능과 효율성을 검증한다. 우리는 LingBot-Video를 커뮤니티에 최초의 대규모 오픈소스 MoE 비디오 기초 모델로 제공하며, 디지털 창의성과 물리적 작동을 연결하는 선구적인 노력의 일환으로 기여한다.

본 논문에서는 LingBot-World 2.0(일명 LingBot-World-Infinity)을 소개한다. 이는 LingBot-World의 고급 버전으로, 네 가지 주요 개선 사항을 특징으로 한다. (1) 정교하게 설계된 인과적 사전 학습 패러다임을 통해 일관된 출력 품질을 유지하면서 무제한 상호작용 지평을 달성한다. (2) 기본 모델에서 실시간 변형을 증류함으로써 60fps의 720p 비디오 스트림을 구동할 수 있는 빠른 응답 시간을 보장한다. (3) 이전 버전과 비교하여 이번 업데이트는 공격, 궁술, 마법 시전, 사격 등 더 넓은 범위의 행동과 더 풍부한 텍스트 기반 이벤트를 포함한 고도로 다양한 상호작용 요소를 도입한다. (4) 세계 모델링 분야에서 에이전트 기반 제어(agentic harness)의 통합을 개척한다. 여기서 파일럿 에이전트는 캐릭터 행동을 계획 및 실행하고, 감독(director) 에이전트는 장면이 진행됨에 따라 새로운 환경 요소를 합성하는 역할을 담당한다. 또한, 공유 경험을 촉진하기 위해 여러 플레이어가 이 생생한 세계 시뮬레이터에 동시에 몰입할 수 있는 인터페이스를 개발한다. 주력 14B 모델과 함께 경량 1.3B 모델을 제공하여 단일 GPU에 쉽게 배포할 수 있도록 지원한다.

범용 로봇 조작 정책(Generalist Robot Manipulation Policies)은 빠르게 발전하고 있지만, 기존 벤치마크는 이들의 성능을 체계적으로 평가하는 데 있어 여전히 한계가 있습니다. 많은 벤치마크가 단순하고 단기적이거나 기술 범위가 좁은 과제에 의존하며, 보통 시뮬레이션 또는 실제 환경 중 한쪽에서만 수행됩니다. 시뮬레이션은 확장 가능한 피드백을 제공하지만 물리적 배포 과정의 어려움을 반영하지 못하는 반면, 실제 환경 평가는 비용이 많이 들고 시간이 오래 소요되며 재현이 어렵습니다. 본 연구에서는 범용 로봇 조작 정책의 포괄적인 평가를 위한 통합형 시뮬레이션-실물 벤치마크인 RoboDojo를 소개합니다. RoboDojo는 42개의 시뮬레이션 과제와 18개의 실제 환경 과제로 구성되어 있으며, 이들은 다양하고 상호 보완적인 조작 능력을 포괄합니다. 시뮬레이션 벤치마크는 일반화, 기억력, 정밀도, 장기 과제 수행, 개방형 어휘 명령 수행의 다섯 가지 차원을 평가하고, 실제 환경 벤치마크는 정책을 까다로운 물리적 배포 조건에 노출시킵니다. RoboDojo는 Isaac Sim 내 이기종 병렬 시뮬레이션을 통한 확장 가능한 평가를 지원하며, 원격 클라우드 접근, 표준화된 하드웨어, 장면 재설정, 평가 프로토콜 및 배포 인터페이스를 갖춘 재현 가능한 실제 환경 평가 시스템인 RoboDojo-RealEval을 제공합니다. XPolicyLab과 함께, 정책은 한 번 통합되어 최소한의 수정만으로 시뮬레이션 및 실제 환경에서 평가할 수 있습니다. 우리는 30개의 정책을 XPolicyLab에 통합하고 RoboDojo에서 평가하여 공개 리더보드와 현재 정책 성능에 대한 체계적인 분석을 구축했습니다. 웹사이트는 http://robodojo-benchmark.com/에서 확인할 수 있습니다.

강화학습(RL)은 대규모 언어 모델(LLM)의 사후 학습(post-training)에서 점점 더 중요해지고 있다. 기존 LLM용 RL 파이프라인은 대부분 동기식(synchronous)이며 배치 인터리브(batch-interleaved) 방식으로, 장기적 에이전트 작업(long-horizon agentic tasks)에는 비효율적이었다. 최근에는 롤아웃(rollout)이 도착하는 대로 모델을 업데이트하는 비동기식 RL(asynchronous RL)이 더 효율적인 대안으로 부상했다. 그러나 기존 비동기식 RL 시스템은 종종 처리량(throughput)을 강조하는 반면, 학습 안정성(training stability)과 작업 효과성(task effectiveness)은 거의 탐구되지 않은 상태로 남아 있다. 예를 들어, 널리 사용되는 GRPO 프레임워크의 그룹 단위 샘플링(group-wise sampling)은 비동기식 에이전트 학습에는 자연스럽게 맞지 않는다는 것이 주요 과제이다. 본 논문에서는 비동기식 RL의 안정성과 오프-폴리시(off-policy) 문제를 해결하기 위해 단일 롤아웃 비동기 최적화(Single-rollout Asynchronous Optimization, SAO)를 제안한다. 오프-폴리시 효과를 줄이고 일반화를 개선하기 위해, 그룹 단위 샘플링을 단일 롤아웃 샘플링(single-rollout sampling), 즉 프롬프트당 하나의 롤아웃을 사용하는 방식으로 대체한다. 또한 이 단일 롤아웃 전략을 실용적인 가치 모델 학습 설계(value-model training designs)로 더욱 개선한다. 최적화 안정성을 높이기 위해, 엄격한 양면 토큰 수준 클리핑(strict double-side token-level clipping) 전략을 도입한다. SAO는 천 단계까지 안정적으로 학습할 수 있으며, SWE-Bench Verified, BeyondAIME, IMOAnswerBench와 같은 에이전트 코딩 및 추론 벤치마크에서 GRPO 및 그 변형들을 일관되게 능가한다. 또한 단일 롤아웃 RL이 시뮬레이션된 온라인 학습 환경(simulated online learning setting), 즉 모델이 변화하는 진화 환경에 적응해야 하는 상황에서 특히 효과적임을 입증한다. 이를 바탕으로, SAO는 오픈 GLM-5.2 모델(750B-A40B) 학습을 위한 에이전트 RL 파이프라인에 성공적으로 배포되었다.

체화 에이전트는 일반적으로 지각, 기억, 계획, 행동 모듈을 수동으로 설계한 조합으로 구축된다. 이러한 모듈성은 방대한 아키텍처 설계 공간을 열어주지만, 현재 시스템은 정보 저장 위치, 관측 처리 방식, 모델 호출 연결 방법을 결정하는 데 여전히 연구자의 직관에 의존한다. 에이전트 아키텍처 탐색(Agent Architecture Search, AAS)은 텍스트 도메인 에이전트를 위한 이러한 설계를 자동화하지만, 시뮬레이터 롤아웃을 통한 지각적 체화 에이전트에 대해서는 체계적으로 평가된 바 없다. 우리는 이러한 전이를 연구한다. 우리는 AgentCanvas(타입 그래프 런타임으로, 시뮬레이터 인식 실행 및 에피소드 수준 로그를 갖춘 편집 가능한 노드-와이어 프로그램으로 체화 실행기를 호스팅함)와 KDLoop(제안, 비판, 실험, 증류를 순환하고 정체 후 반성을 유발하는 코딩 에이전트 탐색 절차)를 도입한다. 우리는 시각-언어 내비게이션, 체화 질문 응답, 언어 조건 조작을 포괄하는 네 가지 체화 실행기에서 세 가지 AAS 변형을 평가한다. 그 결과인 3×4 행렬은 아키텍처 수준 탐색이 체화 작업에서 배치 가능하고 방향성 있는 성공률 향상을 생성할 수 있음을 보여주지만, 겉보기에 높은 점수를 받은 후보 하나는 누수(leak)를 포함하는 것으로 기각된다. 동시에 실험은 텍스트 도메인 AAS에서는 드러나지 않는 제약 조건을 노출한다. 즉, 최적화 신호가 롤아웃 노이즈에 가려질 수 있고, 탐색이 국소적 편집 분지에 갇힐 수 있으며, 상세한 로그가 제공되더라도 에피소드 수준 신용 할당이 부분적으로만 나타난다. 이러한 결과는 체화 에이전트를 위한 자동화된 아키텍처 탐색의 가능성과 현재 한계를 모두 특성화한다.

선형 어텐션 모델은 고정된 상태 크기와 토큰당 고정된 계산량을 제공한다. 그러나 제한된 상태 크기로 인해 선형 어텐션 모델은 소프트맥스 어텐션 기반 트랜스포머 아키텍처에 비해 장기 컨텍스트 회상 성능이 떨어진다. 선형 어텐션의 상태 크기를 늘리면 회상 성능이 향상되지만, 더 높은 FLOPs 비용이 발생한다. 본 연구에서는 희소 주소 지정 방식을 사용하여 게이티드 선형 RNN의 은닉 상태 용량을 수십 배 더 높은 수준으로 확장하는 아키텍처인 희소 델타 메모리(SDM)를 소개한다. SDM은 밀집 키-값 외적을 대규모 명시적 메모리에 대한 희소 읽기 및 쓰기로 대체하여 게이티드 델타넷 아키텍처를 확장한다. isoFLOP 제약 하에서 동일한 수의 파라미터를 사용할 때, 더 높은 상태 메모리 용량이 문맥 내 학습 및 장기 컨텍스트 검색 작업에서 성능을 크게 향상시킴을 보여준다. 또한, SDM 메모리의 초기 상태를 학습하여 이를 파라메트릭 메모리로 사용함으로써, 모델이 다양한 상식 및 추론 작업에서 추가로 성능을 개선함을 입증한다.

저희는 상호작용형 코드 에이전트를 위한 생산 평가 벤치마크인 AgentLens를 제시합니다. 대부분의 코드 에이전트 벤치마크는 실행 결과를 단일 비트(작업 통과 여부)로 축소하지만, 실제로 이 에이전트를 사용하는 사람들은 전체 궤적을 경험합니다. 즉, 에이전트가 지침을 따르고, 도구를 사용하며, 자신의 작업을 검증하고, 실수로부터 회복하며, 그 과정에서 사용자와 대화하는 방식을 포함합니다. AgentLens는 이러한 전체 궤적을 평가합니다. 객관적 검증이 가능한 공식 검증(formal verification)과 LLM이 작성한 궤적 리뷰 및 병렬 비교(side-by-side comparisons)를 결합하여, 각 실행에 대해 점수가 산출된 이유를 설명하는 가독성 있는 설명을 제공합니다. 이는 AgentLens가 단순히 모델 순위를 매기는 것을 넘어, 모델 행동 분석, 자체 에이전트의 연속 버전 비교, 야간 평가 파이프라인에서 제품 회귀(regression) 탐지 등에 유용하게 사용될 수 있게 합니다. 저희는 이 벤치마크를 오픈소스로 https://github.com/agent-lens/agent-lens-bench 에 공개합니다.

인간은 익숙하지 않은 도시를 탐색하며 수십 제곱킬로미터에 달하는 일관된 공간적 정신 지도를 점진적으로 형성할 수 있다. AI도 이와 유사한 규모의 공간 표현을 구축할 수 있을까? 최근 기반 모델들이 장면 재구성 및 체화된 지능 분야에서 발전을 이루었지만, 도시 전체로 확장하는 것은 주로 도시 규모 데이터의 부족으로 인해 여전히 공개된 과제로 남아있다. 이 격차를 해소하기 위해, 우리는 복잡한 도시 환경을 주행하는 자율 주행 차량이 수집한 실제 세계의 다중 모드 데이터셋인 WildCity를 소개한다. 우리의 데이터셋은 각각 평균 83.7km 길이의 18개 궤적을 포함하며, 동적 객체, 조명 변화, 불완전한 카메라 포즈 등 실제 환경 인식의 핵심 과제를 보존한다. 또한 우리는 도시에 맞춤화된 재구성 기준선을 구축하고 재구성된 환경을 폐루프 시뮬레이터로 변환한다. 데이터셋과 기준선 외에도, 시뮬레이션 준비가 완료된 도시 디지털 트윈을 향한 주요 과제인 확장성, 외삽, 불확실성을 체계적으로 분석한다. 궁극적으로 WildCity는 도시 규모의 렌더링뿐만 아니라, 인간의 인지와 유사한 규모로 공간을 지각, 기억, 추론할 수 있는 AI를 추구하는 더 넓은 분야에서의 진전을 촉진하는 것을 목표로 한다. 프로젝트 페이지: https://han-xiangyu.github.io/Wild-City/

인간 영상, 원격 조작 및 로봇 시연으로부터 학습된 시각적 정책은 확장 가능한 운동 사전을 제공하지만, 성공이 국소 힘과 접촉 형상에 크게 의존하는 접촉이 많은 조작에서는 종종 실패합니다. 촉각 감지는 이러한 상보적 신호를 제공하지만, 촉각 데이터는 수집 비용이 많이 들고 센서, 로봇, 작업 간에 일반화하기 어렵습니다. 본 논문에서는 정책에 구애받지 않는 실제 환경 강화 학습 파이프라인인 OmniTacTune을 소개합니다. 이는 잔차 보정을 통해 사전 학습된 시각적 정책에 촉각 피드백을 적응시킵니다. OmniTacTune은 2단계 설계를 사용합니다. 먼저 자율 기본 정책 롤아웃으로부터 촉각 인식 학습을 부트스트래핑한 후, 온라인 상호작용을 통해 경량의 촉각 잔차 정책을 학습합니다. 광범위한 실험을 통해 OmniTacTune이 다양한 접촉이 많은 작업, 시각적 기본 정책 및 촉각 표현에 걸쳐 일반화됨을 보여줍니다. 네 가지 실제 환경 접촉이 많은 작업에서 40-80분 이내에 시각적 기본 정책의 성공률을 5-40%에서 85-100%로 향상시켜, 확장 가능한 시각적 로봇 정책에 촉각 피드백을 적응시키는 효율적인 경로를 입증합니다. 프로젝트 페이지: https://colinyu1.github.io/omnitactune-site/

대규모 언어 모델(LLM)은 자동 코드 작성의 새로운 가능성을 열어주며, 대부분의 코드 완성 도구의 핵심 기술로 자리 잡았다. LLM은 주류 언어에서 뛰어난 성능을 보이지만, 학습 데이터가 부족한 이른바 저자원 언어에 대한 지원은 종종 부족하다. 그 결과, 이러한 언어들은 해당 커뮤니티가 사용할 수 있는 코드 완성 도구의 품질에서 뒤처지고 있다. 구체적인 예로, Smalltalk에서 영감을 받은 언어인 Pharo의 IDE는 현재 단일 토큰 완성만을 제공한다. 본 연구에서는 Pharo에 LLM 기반 코드 완성을 도입한 경험을 보고한다. 첫째, Pharo 특화 데이터 선별, 공개 코드 LLM의 지속적 사전 학습 및 미세 조정을 결합한 엔드 투 엔드 파이프라인을 설명한다. 둘째, 모델이 (i) Pharo의 문법을 학습하는지, (ii) 실제 GitHub 저장소에서 가져온 마스킹된 Pharo 코드를 정확하게 완성하는지 평가하기 위해 설계된 Pharo 코드 완성 벤치마크 세트를 소개한다. 셋째, Pharo에 특화된 모델이 원래의 기본 체크포인트보다 성능이 훨씬 뛰어나며, Pharo 완성 작업에서 훨씬 더 큰 코드 LLM의 정확도를 초과한다는 것을 실증적으로 보여준다. 전반적으로, 본 사례 연구는 IDE 내에서 '실시간' 지원을 제공할 수 있을 정도로 작은 모델을 사용하여 강력한 LLM 기반 코드 완성을 저자원 프로그래밍 언어에 도입하는 것이 실현 가능함을 입증한다.

사전 학습된 비디오 생성 모델은 시각-운동 제어를 위한 유망한 백본이지만, 이들이 상상하는 미래는 종종 작업 의도에서 벗어나고 행동 조건부로 신뢰할 수 없습니다. 결과적으로 이러한 모델은 계획 수립이나 정책 추출에 사용하기 어려울 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 작업 정렬 시뮬레이션 미래를 학습하고 이를 사용하여 로봇 정책을 훈련하는 단일 단계 프레임워크인 RoboTALES를 제안합니다. 우리의 접근 방식은 두 가지 주요 혁신을 도입합니다: (1) 복잡한 작업을 일련의 하위 목표로 분해하여 모델의 상상을 안내하는 계층적 LLM 기반 계획기; (2) 이러한 "상상된" 미래를 평가하고 보상 기반 피드백을 사용하여 모델의 내부 표현이 목표에 집중되도록 유지하는 VLM 기반 비판기입니다. 비디오 생성기를 추상적 추론에 고정시킴으로써, 우리는 시간적으로 일관된 롤아웃과 더 일관된 행동을 생성합니다. RoboCasa와 LIBERO10의 다양한 조작 작업에서 RoboTALES를 평가하고, 우리의 방법이 특히 장기 과제에서 기존 방법을 일관되게 능가함을 보여줍니다. 우리의 코드와 모델은 https://github.com/hananshafi/RoboTALES에서 공개적으로 이용 가능합니다.

픽셀 단위 지구 관측(EO) 기반 모델은 현재 생성된 공간 임베딩을 통해 최첨단 성능을 달성하고 있다. 그러나 이러한 모델이 어떻게 확장되며 사전 학습 예산을 가장 효율적으로 사용하는 방법에 대한 이해는 여전히 부족하다. 본 연구는 지금까지 EO 분야에서 수행된 가장 큰 규모의 통제된 확장 연구를 제시한다: 고정된 픽셀 단위 Barlow Twins 계열 내에서 1,024개의 GH200 슈퍼칩에서 395회의 훈련 실행을 수행하고, 각각을 15개의 하위 작업에서 평가했다. 그 결과, 사전 학습 손실은 하위 작업 성능을 거의 예측하지 못하며(|피어슨 r| < 0.2), 손실 기준으로 모델을 선택하는 것은 상당한 계산 자원을 낭비함을 발견했다. 또한, 훈련 예산이 증가함에 따라 인코더와 데이터는 함께 확장되어야 하지만 투영기는 고정된 상태로 유지되어야 하며, 이는 계산 자원 할당을 위한 간단한 규칙을 제공한다. 이 규칙을 사용하여 픽셀 단위 모델군(0.5B, 1B, 훈련 중인 2B 모델)을 훈련하고 이를 소형 학생 모델로 증류하여 임베딩-데이터-배포 방식에 활용한다. 2,100만 개의 파라미터를 가진 증류된 TESSERA v2-1B-M은 테스트된 모든 공개 및 독점 모델(일부는 수십 배 더 큼)을 종합적으로 능가한다. 이 학생 모델들은 서비스 비용이 저렴한 마트료시카 표현을 생성하며, 16차원 접두사가 전체 128차원 성능의 92%를 유지하면서 저장 공간은 1/8만 사용한다. 훈련 완료 후 2017-2025년을 포괄하는 v2 글로벌 임베딩을 공개할 예정이다. 이러한 결과는 픽셀 단위 EO 기반 모델 확장을 위한 구체적이고 경험적으로 근거한 방법론을 제시한다: 대형 인코더를 훈련하고, 하위 작업 성능으로 선택하며, 유연한 학생 모델로 증류하는 것이다. 전체 코드는 https://github.com/ucam-eo/tessera에서 공개될 예정이다.

유방촬영술을 통한 정확한 유방암 분류는 두개미측(CC) 및 내외사위(MLO) 영상의 상호보완적 정보를 효과적으로 통합해야 하며, 이를 통해 유방 이상에 대한 더 완전한 특성화가 가능해진다. 그러나 기존의 다중 뷰 학습 접근법은 일반적으로 특징 수준의 집합 또는 단일 단계 교차 주의(cross-attention)에 의존하는데, 이는 뷰 특이적 표현과 공유 표현을 혼동시키고 상호작용을 제한된 네트워크 깊이로 제한할 수 있다. 이러한 한계를 해결하기 위해, 우리는 고정된 비전 트랜스포머 백본 내에서 프롬프트 기반 적응과 뷰 간 융합을 통합하는 토큰 중심의 이중 뷰 학습 프레임워크를 제안한다. 이 프레임워크는 뷰 간 상호작용을 구조화된 토큰 수준 통신으로 재구성하며, 여기서 전용 융합 토큰이 교차 주의를 통해 CC 뷰와 MLO 뷰 간의 양방향 정보 교환을 명시적으로 인코딩하여 직접적인 특징 융합에 의존하지 않고 뷰 간 의존성의 중간 전달자 역할을 한다. 단일 계층에서 융합을 적용하는 기존 방법과 달리, 융합 모듈이 여러 트랜스포머 깊이에 삽입되어 인코더 계층 전반에 걸쳐 점진적이고 반복적인 상호작용을 가능하게 한다. 융합 토큰은 토큰 시퀀스에 재통합되고 후속 트랜스포머 계층에 의해 정제되어, 뷰 특이적 구조를 보존하면서 상보적 정보의 계층적 전파를 촉진한다. VinDr-Mammo 및 CMMD 데이터셋에 대한 실험은 선형 프로빙, 프롬프트 전용 적응 및 기존 융합 기준선에 비해 일관된 개선을 보여준다. VinDr-Mammo BI-RADS 분류 작업에서 프레임워크는 50.40%의 F1 점수와 0.8090의 AUC를 달성하며, 이진 설정에서 이중 뷰 융합 기준선 대비 AUC 0.10 향상을 포함한다. 절제 연구는 토큰 기반 융합 및 다중 깊이 상호작용 설계의 효과성을 추가로 검증한다.

촉각은 시각만으로는 종종 해결할 수 없는 마찰 및 순응성과 같은 본질적 재료 특성을 인지하는 데 필요한 물리적 기반을 제공한다. 그러나 최근 멀티모달 대규모 언어 모델(LLM)에 이러한 촉각 감각을 장착하려는 시도는 제로섬 트레이드오프(zero-sum trade-off)를 드러낸다. 즉, 소형 모델의 제한된 매개변수 예산은 새로운 감각 양식을 획득하는 것과 기존의 시각-언어 추론 능력을 유지하는 것 사이에서 선택을 강요한다. 본 논문에서는 MLLM을 위한 마스크 기반 분리된 촉각 정렬 학습 프레임워크인 Splash를 제안한다. Splash는 사전 학습된 각 매개변수의 중요도를 정량화하고, 매개변수 공간을 휴면 부분공간과 중요 부분공간으로 분할한다. 얼어붙은 중요 부분공간은 일반 시각 지식을 보호하는 안정적인 앵커 역할을 하는 반면, Splash는 분리된 휴면 부분공간을 업데이트하여 LLM 방향으로의 촉각 정렬을 내재화한다. 이 선택적이고 비파괴적인 확장은 파국적 망각을 효과적으로 방지하며 비파괴적 양식 확장을 보장한다. 광범위한 실험 결과, Splash는 LLM 부분에서 추가적인 추론 오버헤드 없이 촉각 추론을 효과적으로 달성하며, SSVTP, TVL, TacQuad를 포함한 시각-촉각 벤치마크에서 최첨단 성능을 보여주면서도 본래의 범용 기능을 유지함을 입증한다.

장기적 실패(long-horizon failure)는 세계 모델(world model)에서 관례적으로 오차 누적(compounding error)으로 설명되며, 이는 어떤 종류의 오차가 누적되는지를 구분하지 않는 일반적인 틀이다. 우리는 운동학 대 동역학(kinematic-vs-dynamic) 재구성을 제안한다: 세계 모델은 동역학적(dynamically)으로 상상하기보다는 운동학적(kinematically)으로 상상하는 경향이 있다. 이를 상상된 운동학적 일관성 오차(imagined Kinematic-Consistency Error, iKCE)로 조작적으로 정의한다. 이는 각 단계별 진단 지표로, 롤아웃(rollout)이 폐쇄형 운동학적 귀무(null)로부터 얼마나 벗어나는지를 측정하며, 물리적 조건이 영역 경계(regime boundary)를 넘을 때 iKCE가 반응하는지를 테스트하는 교란 프로토콜(perturbation protocol)과 짝을 이룬다. 우리는 DMC walker-walk로 훈련된 공개된 DreamerV3 체크포인트에 이 진단을 적용했으며, 상상된 iKCE는 일치하는 실제 물리 롤아웃보다 약 두 자릿수 높게 나타났다. 보행 붕괴 경계(gait-collapse boundary)를 넘는 마찰 스윕(friction sweep) 전반에 걸쳐, 훈련된 정책의 보상이 동일한 범위에서 붕괴하는 동안에도 모델의 iKCE는 통계적으로 평탄함을 유지하여, 운동학적이지 동역학적이 아닌 특성(kinematic-not-dynamic signature)을 보여준다. 이 진단은 구현체의 보행 주기(gait period)보다 긴 시간 지평(time horizon)에서 운동학적 상상과 동역학적 상상을 구분한다.