번역이 포함된 일일 선별된 AI 연구 논문
스킬(Skills)은 구조화된 지식 패키지를 통해 추론 시점에 LLM 에이전트를 강화하는 실용적이고 효과적인 접근 방식으로 부상했다. 그러나 기존 평가는 주로 스킬이 집계된 작업 성공률을 개선하는지 여부만을 측정할 뿐, 더 근본적인 질문은 충분히 탐구되지 않았다: **스킬은 언제 도움이 되고, 왜 효과가 있으며, 어디서 실패하는가?** 다양한 벤치마크, 에이전트 하네스, LLM 전반에 걸친 통제된 실험을 통해, 우리는 표현 방식, 결과 주석, 검색 난이도, 그리고 스킬의 교차 프레임워크 견고성의 효과를 분리하여 분석한다. 이 질문에 더욱 답하기 위해, 우리는 통제된 정량 실험과 쌍을 이룬 궤적 분석을 결합한 대조 연구를 설계한다. 통제 실험에서 얻은 8,135개의 시행 기록을 정규화하고, 개방 코딩된 240개의 기록에서 238개의 유효한 고유 레이블을 확보한다. 이러한 관찰 결과를 세 가지 상위 범주와 열두 가지 스킬 사용 모드로 구성된 분류 체계로 통합한다: 스킬은 노이즈가 많은 궤적이 실행을 안정화하는 절차적 앵커로 전환될 때 효과적이다. 스킬은 대응 비교에서 워크플로우 메모리(Workflow Memory) 대비 6.06포인트 향상된 성능을 보인다. 절차적 앵커링은 스킬 사례의 65.7%를 차지하며, 명시적 지식 주입은 4.5%에 불과하다. 이는 스킬이 누락된 사실을 주입하기보다 행동을 안정화함을 보여준다. 검색은 별개의 병목 지점이다: 풀 크기가 5에서 100으로 증가함에 따라 실제 사용 정밀도는 29.6%에서 3.3%로 하락한다. 혼동을 유발하는 방해 요소는 오프라인 식별을 저해하지만, 다운스트림 성공은 안정적으로 유지된다. 정확한 ground-truth 호출은 충분 조건도 필요 조건도 아니다. 스킬은 취약한 가정, 호환되지 않는 맥락, 또는 불충분한 적응 하에서 실패한다. 이러한 발견은 평가를 단순 집계 성공률을 넘어 확장하며, 신뢰할 수 있는 자기 진화 에이전트를 안내한다.
강화학습(RL)은 단일 턴 대규모 언어 모델(LLM) 미세 조정에서 유망한 성과를 보여 왔다. 그러나 장기 수평적(long-horizon) 에이전트 추론은 점점 더 분기적인 상호작용과 희소한 보상을 수반하게 되면서 RL의 여러 한계가 드러난다. 즉, 무거운 역전파 기반 훈련 스택은 대형 LLM의 미세 조정을 비현실적으로 만들며, 더 긴 수평의 궤적은 RL에서 신용 할당(credit assignment)을 훨씬 어렵게 만든다. 본 논문은 진화 전략(ES)이 장기 수평 LLM 에이전트 미세 조정에 더 나은 선택이 될 수 있음을 주장한다. 에이전트 RL과 비교하여 ES는 세 가지 핵심 이점을 제공한다: 1) 모델 확장성(Model Scalability): ES는 추론 수준의 최소 GPU 메모리만으로 전 파라미터 최적화를 가능하게 하여, 대형 LLM의 미세 조정을 실현 가능하게 한다. 2) 유연성(Flexibility): 가볍고 블랙박스적인 피드백 인터페이스 덕분에 ES 미세 조정은 프롬프트 공간 진화(예: 스킬 최적화 및 테스트 시점 연산)와의 결합이 용이하다. 3) 장기 수평 확장성(Long-Horizon Scalability): ES는 수평 전반에 걸쳐 보상을 분해하지 않고 궤적 수준의 파라미터 기여도를 수행하므로, 수평 길이가 증가함에 따라 에이전트 RL보다 더 나은 확장성을 제공한다. 이러한 통찰에 기반하여, 본 논문은 유연한 파라미터-컨텍스트 공동 진화에 특화된 전 파라미터 에이전트 미세 조정 프레임워크인 Agentic ESOpt를 제안한다. 각 단계에서 Agentic ESOpt는 현재 LLM 파라미터 주변의 섭동(perturbation)을 샘플링하고, 결과적으로 생성된 에이전트를 보상으로 평가한 뒤, 온라인 보상 가중 업데이트를 적용한다. 탐색-적응 트레이드오프를 개선하기 위해 Agentic ESOpt는 추가로 섭동 규모 σ에 대한 코사인 감쇠 스케줄을 도입한다. WebArena-Lite에서 Qwen-3.5-27B의 전 파라미터 최적화는 No Skill 기준선 대비 6.69%의 성능 향상을 달성한다. 테스트 시점 자동 휴리스틱 설계에서 Agentic ESOpt는 온라인 프롬프트-파라미터 공동 진화를 수행하여, 36개 설정 중 28개에서 대응 기준선보다 개선된 성능을 보인다.
최첨단 오픈웨이트 모델의 이용 가능성은 점점 높아지고 있지만, 이를 서빙하는 환경은 여전히 대부분 데이터센터 인프라를 전제로 한다. 본 논문에서는 개인용 머신을 작은 GPU가 아닌 통합적이고 탄력적인 추론 플랫폼으로 간주하는 엣지 네이티브 MoE 서빙 시스템인 FreeToken을 제시한다. FreeToken은 모델 레이아웃 및 로딩, 전문가 상주, CPU-GPU 실행, 에이전트 상태 재사용, 런타임 메모리 관리를 포함한 전체 서빙 스택을 로컬 AI의 두 가지 현실에 맞춰 공동 설계한다: 에이전트 워크로드는 실행 패턴을 지속적으로 변화시키며, 엣지 하드웨어는 머신마다 균형이 다른 이종 리소스를 노출한다는 점이다. FreeToken은 고정된 오프로딩 전략을 고수하는 대신, 실제로 사용 가능한 리소스에 계산과 모델 상태를 지속적으로 매핑한다. FreeToken은 8GB 랩톱 GPU부터 단일 워크스테이션 GPU에 이르는 하드웨어에서 20개 이상의 MoE 모델과 실제 코딩 및 도구 사용 에이전트를 지원한다. 더 중요하게도, 이는 이러한 머신들이 실질적으로 서빙할 수 있는 범위를 변화시킨다: 랩톱에서 35B 모델, 게이밍 데스크톱에서 284B 모델, 단일 워크스테이션 GPU에서 753B GLM-5.2까지다. FreeToken은 오픈 웨이트를 배포 가능한 로컬 소프트웨어로 전환하여, 사용자가 이미 보유한 머신을 프론티어 수준의 지능을 위한 실용적인 플랫폼으로 만든다. 우리는 flashml.ai에서 이 시스템을 공개한다.
인공 초지능(ASI)은 AI가 기존 지식을 습득하는 것을 넘어 미지의 영역을 탐험하고, 새로운 지식을 창출하며, 새로운 아이디어를 검증 가능한 결과로 전환할 것을 요구한다. 그러나 오늘날 AI 시스템의 역량은 여전히 주로 기존 인간 지식의 학습, 압축, 적용에 기반을 두고 있다. 이에 따라 기존 벤치마크들은 주로 AI가 학습된 지식을 바탕으로 정확한 답을 산출할 수 있는지, 또는 광범위한 인간의 안내 하에 과업을 완수할 수 있는지를 시험한다. 이에 우리는 일반 연구 분야 전반에 걸쳐 AI 시스템의 혁신적 탐험 능력과 자율적 과학 수행 능력을 공동으로 평가하는 최초의 벤치마크이자, 동일한 연구 프로젝트 내에서 인간의 방법론적 안내를 점진적으로 제거하여 AI가 어디까지 자율적으로 진행할 수 있는지를 시험하는 최초의 벤치마크인 ASI-Bench를 소개한다. 40명 이상의 전문가가 31,000시간 이상의 인력을 투입하여 구축한 ASI-Bench는 11개 과학 분야에 걸친 60개의 프로젝트 수준 연구 과업으로 구성되며, 방법론적 안내를 점진적으로 축소하여 AI가 방법을 독립적으로 선택하고, 연구를 수행하며, 검증 가능한 결과를 생산할 수 있는지를 시험한다. 모든 과업은 전문가 검토, AI 보조 감사, 샌드박스 실행, 스코어러 검증을 거친다. 18개의 최첨단 에이전트-모델 구성에 걸쳐, 평균 점수는 완전한 방법론적 안내가 있을 때 50.91에서, 방법만 지정되었을 때 29.10, 에이전트가 방법을 스스로 결정해야 할 때 26.62로 급락한다. 이러한 급격한 하락은 현재의 시스템이 여전히 인간의 안내에 크게 의존하고 있으며, 종단 간(end-to-end) 프로젝트 수준의 과학 연구를 자율적으로 수행하는 데는 아직 요원함을 보여준다. ASI-Bench는 전 세계에 공개되어 있다. 우리는 모든 곳의 연구자와 개발자들이 새로운 과업을 기여하고, 오늘날 AI의 한계에 도전하며, 인류의 인공 초지능을 향한 집단적 경로를 가속화하는 데 동참할 것을 초대한다: https://asibench.apexin.ai/submit.
대규모 비전-언어 모델(VLM)이 구현형 내비게이션을 크게 발전시켰음에도 불구하고, 직접 배포는 여전히 어려운 과제로 남아 있다. 기존 방법들은 종종 VLM을 2D 사전 학습에서 얻은 사전 지식과 정렬되지 않는 부자연스러운 행동 공간으로 강제하며, 여기에 경직된 추론 스케줄과 비효율적인 메모리 관리가 더해지기 때문이다. 이러한 한계를 극복하기 위해 우리는 효율적인 구현형 내비게이션을 위한 통합 프레임워크인 TAMP-Nav를 제안한다. 첫째, 내비게이션을 2D 시각적 프롬프팅으로 재구성하는 픽셀-3D 행동 정식화(Pixel-to-3D Action Formulation, Point)를 도입한다. 구체적으로, VLM은 단순히 2D 픽셀을 선택하며, 선택된 픽셀은 저수준 SLAM 제어기를 위해 3D 좌표로 투영된다. 이러한 설계는 구현형 실행을 VLM의 고유한 2D 시각 능력과 자연스럽게 정렬한다. 둘째, 선택적 추론과 앵커-궤적 메모리를 통합한 메커니즘(Think and Memorize)을 제안한다. 이 메커니즘은 Chain-of-Thought(사고 사슬)를 동적으로 트리거하고, 중요한 노드에서만 고충실도 메모리를 유지하며, 중복 궤적을 경량 시공간 지시자(Space-Time Indicators)로 압축함으로써 중요한 과거 정보를 보존하고 시공간 지각을 향상시킨다. 마지막으로, 그룹 상대 정책 최적화(GRPO)를 통한 효율적인 2단계 정렬 패러다임(Align)을 설계한다. 전역 결과 보상과 세분화된 과정 보상을 중첩함으로써, 이러한 고밀도 지도는 에이전트의 인지적 계획을 물리적 환경 피드백과 밀접하게 정렬하여 모델에 적응형 추론 능력을 부여한다. 실험 결과, TAMP-Nav는 R2R-CE에서 성공률(SR) 66.2%를 달성하는 등 최첨단 성능을 보여주며, 높은 런타임 효율성과 샘플 효율성(단 9만 개의 훈련 궤적만 요구)을 갖춘다.
창의적 에이전트는 여전히 고품질 인간 영화로부터 학습할 효과적인 수단이 부족하여, 영화 수준의 비디오를 생성하는 능력이 제한된다. 핵심 과제는 영화 콘텐츠에 충실하면서도 에이전트의 추론과 조작에 직접 사용할 수 있는 구조화된 비디오 표현이 없다는 점이다. 이러한 과제를 해결하기 위해, 우리는 에이전트형 자동 인코딩을 통해 에이전트 고유의 비디오 표현을 학습하는 프레임워크인 에이전트형 비디오 오토인코더(AVA-Encoder)를 제안한다. AVA-Encoder는 비디오를 지식 그래프(KG) 표현으로 변환한 후 다시 비디오로 재구성한다. KG의 계층 구조 및 상태 노드는 구조화된 텍스트를 저장하고, 연결된 에셋 레이어는 생성된 이미지, 오디오, 비디오를 보유한다. 유형화된 엣지는 이러한 텍스트 설명과 에셋 간의 관계를 에이전트가 쉽게 이해하고 질의하며 편집할 수 있는 형태로 보존한다. 비디오 재구성 차이는 텍스트 그래디언트 최적화 프레임워크를 구동하며, 이 프레임워크는 평가 피드백을 외부 루프에서 데이터 독립적 인코딩 정책 의사 훈련(Data-Independent Encoding Policy Pseudo-Training)을 위한 자연어 업데이트 방향으로 표현하고, 테스트 시 내부 루프에서 선택적으로 데이터 종속 KG 표현 정제(Data-Dependent KG Representation Refinement)를 수행한다. 광범위한 실험을 통해 AVA-Encoder는 가장 강력한 외부 베이스라인 대비 20.7퍼센트 포인트의 성능 향상을 보였다. 통제된 정책 전용 설정에서, 의사 훈련된 샷 수준 에이전트형 비디오 인코더 정책은 인간이 세심하게 튜닝한 정책을 능가하면서도 시스템 프롬프트 토큰을 74.3% 적게 사용했다. 우리는 완전한 AVA-Encoder 프레임워크, 신뢰할 수 있는 에이전트형 비디오 재구성 벤치마크, 그리고 고품질 영화 KG 표현으로 구성된 최초의 데이터셋을 공개한다.
고해상도 이미지 편집은 전문 작업 환경에서 점점 더 요구되고 있지만, 기존 확산 기반 모델은 이차 주의집중 복잡도와 과도한 메모리 요구량으로 인해 1K 미만의 해상도로 제한되어 있다. 널리 사용되는 해결책은 저해상도에서 편집한 후 독립적인 초해상도를 적용하는 2단계 파이프라인을 활용하는 것이다. 그러나 이 접근 방식은 두 가지 심각한 문제를 겪는다: 원본 고해상도(HR) 소스와 모순되는 환각 세부사항이 생성되는 정보 발산과, 과도하게 평활화되거나 과도하게 선명해진 아티팩트로 나타나는 질감 저하이다. 우리는 효율적인 초고해상도 편집을 위한 확산 브리지 프레임워크인 EditBridge를 제안한다. 노이즈로부터 재생성하는 기존 확산 방식과 달리, 우리는 정제 과정을 저해상도(LR) 편집 결과에서 그 고해상도 대응물로의 구조화된 데이터-데이터 변환으로 공식화하며, 원본의 세부사항을 보존하기 위해 원본 HR 소스에 명시적으로 조건화한다. HR 소스 안내를 효율적으로 통합하기 위해, 우리는 1단계 편집에서 얻은 의미적 대응 관계를 활용하여 교차 이미지 상호작용을 공간적으로 정렬된 영역으로 제한함으로써 계산 오버헤드를 크게 줄이는 사전 안내 블록 단위 희소 주의집중 메커니즘을 도입한다. 광범위한 실험을 통해 EditBridge가 최대 4K 해상도에서 우수한 지각 품질로 높은 충실도의 편집을 달성하고, 2K에서 3.6~8.4배의 속도 향상을 제공하며, 61초 만에 실용적인 4K 편집을 가능하게 함을 입증한다.
현대 에이전트는 도구, 컨텍스트, 제어 흐름을 관리하는 에이전트 하네스 내부에서 작동하므로, 하네스는 에이전트 시스템의 핵심 구성 요소가 된다. 초기 Agent Lightning은 LLM 엔드포인트 프록시를 통해 임의의 에이전트를 RL 학습에 연결하는 분리형 아키텍처를 도입했으며, 이러한 접근 방식은 이후 verl Uni-Agent, AReaL 2.0, slime, Polar와 같은 프레임워크에서 채택되었다. 우리는 이러한 패러다임을 하네스 기반 에이전트 강화학습(harnessed agentic RL)이라고 명명하며, 여기서 배포 시점의 하네스가 모델 사후 학습에 직접 참여한다. 하네스 기반 에이전트 강화학습은 전통적인 에이전트 강화학습과 근본적으로 다르다. 학습 엔진이 아닌 하네스가 환경 상호작용 루프를 담당하고, 학습기는 오직 LLM 요청-응답 쌍의 시퀀스만 관찰한다. 이는 재토큰화, 샘플 병합, 어드밴티지 계산, 손실 정규화, 백엔드 스케줄링에 새로운 과제를 도입하며, 이러한 과제들은 학습 안정성과 효율성에 큰 영향을 미칠 수 있다. 우리는 약 3,500줄의 코드로 구현된 하네스 기반 에이전트 강화학습을 위한 경량 프레임워크인 Agent Lightning v1.0을 제시한다. 이 프레임워크는 임의의 에이전트 하네스를 지원하며, 이러한 과제를 연구하기 위한 실용적인 테스트베드를 제공한다. 우리는 이를 지시 수행, 검색, 코딩 에이전트에 대해 평가하고, 코딩 에이전트 강화학습을 위한 완전한 재현 가능한 파이프라인을 제공한다. 단 6,000개의 학습 예제와 적은 계산 자원만으로도 RL은 SWE-bench Verified에서 Qwen3.5-9B의 성능을 41.8%에서 56.4%로 향상시켜 14.6% 포인트의 절대적 향상을 달성했다. 우리는 하네스 기반 에이전트 강화학습에 대한 재현 가능한 연구를 촉진하기 위해 전체 워크플로우와 학습 스크립트를 공개한다.
잠재 비디오 생성은 오토인코더에 의존하여 생성 모델이 작동하는 간결한 공간을 정의한다. 비디오 오토인코더 아키텍처는 상당히 발전했지만, 그 잠재 공간은 여전히 주로 픽셀 수준 재구성에 최적화되어 있으며 고수준 의미론적 구조화를 제한적으로 제공한다. 그러나 재구성에 최적화된 잠재 공간이 반드시 생성 모델링에 적합한 것은 아니다. 우리는 고정된 비전 파운데이션 모델 표현 위에 간결한 생성 잠재 표현을 구축하는 비디오 표현 오토인코더 V-RAE를 제안한다. 가벼운 시간적 풀링 모듈은 의미 구조를 보존하면서 시간적 중복성을 제거하고, 비디오 디코더는 압축된 특징으로부터 연속적인 움직임을 재구성한다. 우리는 네 가지 대표적인 고정 인코더를 사용하여 비디오 재구성, 의미론적 프로빙, 클래스 조건부 생성에서 V-RAE를 평가한다. V-RAE는 K600에서 2.13 rFVD를 달성하여 평가된 모든 대규모 사전 학습 비디오 VAE를 능가한다. V-RAE의 잠재 표현은 기존 비디오 토크나이저의 잠재 표현보다 훨씬 더 많은 의미 정보를 유지한다. 일치된 생성 설정에서 우리의 최상의 변형은 UCF101과 K600에서 각각 117.86과 19.16의 gFVD 점수를 달성하면서 최대 6배 더 빠르게 수렴한다. 또한 우리는 재구성 품질만으로는 생성 유용성을 특성화하기에 불충분함을 보여주고, 하위 생성 품질과 더 신뢰성 있게 상관되는 시간적 일관성 진단 도구인 tFVD를 도입한다. 비디오 생성 외에도 V-RAE는 일치된 예측 설정에서 Wan 2.2 VAE 잠재 공간보다 Cityscapes에서의 미래 비디오 예측을 개선한다. 종합적으로, 실험은 고정된 의미론적 표현이 비디오 재구성, 생성 및 예측 모델링을 지원할 수 있음을 보여준다. 프로젝트 페이지: https://v-rae.github.io/.
텍스트-이미지 생성 모델이 발전함에 따라, 폭력 및 나체와 같은 업무에 부적절한(NSFW) 콘텐츠 생성, 특히 레드팀 적대적 공격으로 더욱 악화되는 문제 등 중대한 안전 우려가 제기되고 있다. 기존 방어 기법들은 대부분 화이트박스 가정 하에 작동하며, 텍스트 인코더 최적화, 가중치 편집 또는 추론 시점 개입에 의존하므로 근본적으로 독점 모델에는 적용할 수 없다. LLM 프롬프트 재작성에 기반한 블랙박스 대안은 더 넓은 적용 가능성을 제공하지만, 본 연구에서 양성 적대 문제(benign adversarial problem)로 식별하는 중요한 영역, 즉 언어적으로는 안전하지만 모델이 학습한 데이터 분포로 인해 유해한 생성을 여전히 유발하는 프롬프트에서는 실패한다. 본 논문은 DiSCO를 제안한다. DiSCO는 프롬프트 수준에서 전적으로 플러그앤플레이 모듈로 작동하는 제로샷, 엄격한 블랙박스 방어 기법으로, 모델 재학습, 파인튜닝 또는 모델 내부 접근이 전혀 요구되지 않는다. DiSCO는 빔 탐색을 통한 분포 기반 접미사 확장을 수행하며, 대상 모델 자체가 생성한 안전 및 불안전 이미지 풀에 대한 대비 점수(contrastive scoring)로 최적화되고, 안전한 콘텐츠가 생성될 때까지 반복적 적응 피드백을 적용한다. 본 연구는 DiSCO가 I2P 벤치마크에서 여러 레드팀 공격에 대해 방어되지 않은 모델과 방어된 모델 모두의 안전성을 일관되게 향상시키며, 공격 성공률(ASR)을 각각 37.7%와 25.13% 감소시키면서도 의미 충실성을 유지하고 이미지 일관성을 개선함을 입증한다. 블랙박스이자 아키텍처에 구애받지 않는 모듈로서, DiSCO는 모델 자체에 어떠한 변경도 요구하지 않고 모든 텍스트-이미지 시스템에 즉시 적용할 수 있다.
바이트 수준 계층적 언어 모델(LM)은 최근 서브워드 토큰화를 사용하는 널리 쓰이는 모델들의 강력한 대안으로 부상했다. 그러나 한 번에 한 바이트씩 생성하는 방식은 여전히 추론 속도의 병목 요인으로 남아 있다. 이를 해결하기 위해, 우리는 여러 바이트를 병렬로 생성하는 다중 바이트 예측(MBP)을 도입한다. 이는 최소한의 성능 영향과 추가 매개변수 없이 추론 속도를 높인다. MBP는 널리 알려진 다중 토큰 예측(MTP) 패러다임을 기반으로 하며 두 가지 핵심 혁신을 담고 있다. 첫째, 계층적 언어 모델의 잠재 토큰, 즉 세그먼트와 정렬되는 가변 길이 예측 창을 도입한다. 둘째, 인과성을 위반하지 않으면서 병렬 바이트 예측을 가능하게 하는 새로운 어텐션 마스킹 기법을 구현한다. 우리는 다중 바이트 예측이 지시 수행, 질의 응답, 요약, 기계 번역 등 다양한 생성 작업에서 파레토 최적의 절충을 이루며, 성능과 추론 처리량 사이의 최상의 균형을 달성함을 보여준다.
명령 기반 비디오 편집 데이터셋의 품질과 다양성은 꾸준히 향상되고 있지만, 기존 데이터셋은 주로 단일 편집 연산에 초점을 맞추고 있어 구성적 명령 기반 비디오 편집(compositional instruction-guided video editing)을 지원하는 데 부족함이 있다. 특히, 동일한 비디오 내에서 여러 편집 의도를 공동으로 이해하고 충실히 실행해야 한다. 이 문제를 해결하기 위해, 우리는 구성적 명령 기반 비디오 편집을 위한 대규모 고품질 데이터셋인 CoinVE-200K를 소개한다. CoinVE-200K는 최대 201프레임의 1080p 비디오-편집 쌍을 포함하며, 각 샘플이 2~5개의 원자적 편집 연산을 포함하는 다양한 구성적 시나리오를 다룬다. 명령은 인간, 객체, 배경을 대상으로 하며, 추가, 제거, 수정, 스타일화와 같은 편집 유형을 포함한다. 모든 샘플은 명령 충실성, 시각적 품질, 시간적 일관성, 구성적 다양성을 보장하기 위해 신중하게 설계된 생성 및 필터링 파이프라인을 통해 구축된다. 또한 우리는 다양한 대상, 연산 유형, 명령 복잡성에 걸친 구성적 명령 기반 비디오 편집을 위한 벤치마크인 CoinVE-Bench를 소개한다. 나아가, 우리는 Wan2.1-T2V-14B와 Qwen3-VL-8B-Instruct를 기반으로 구축된 22B 규모의 구성적 비디오 편집 모델인 CoinVE-Edit를 제시한다. CoinVE-Edit는 서로 다른 편집 명령에 대해 영역 인지 어텐션(region-aware attention)을 분리하여, 무관한 콘텐츠와 시간적 일관성을 보존하면서 정밀한 다중 영역 편집을 가능하게 한다. CoinVE-Bench에서의 실험은 CoinVE-Edit가 명령 수행, 구성적 편집 정확도, 시각적 품질, 시간적 일관성 측면에서 우수한 성능을 달성함을 보여준다.
비전 인코더는 비전-언어 모델의 핵심 구성 요소이며, 그 용량을 효과적으로 확장하면 성능이 향상됩니다. 그러나 밀집(dense) 확장은 계산 비용과 추론 지연 시간을 증가시킵니다. 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처는 LLM에서 효율적인 확장을 가능하게 한 매력적인 대안이지만, CLIP 스타일 비전 인코더를 위한 MoE 설계 공간은 최신 기술 수준(SOTA)에서 아직 충분히 탐구되지 않았습니다. 본 연구에서는 비전 인코더 확장을 위한 MoE 설계를 체계적으로 연구하고, 세밀한(fine-grained) MoE 토폴로지가 밀집 및 표준 MoE 대비 상당한 성능 향상을 제공함을 발견했습니다. 또한 더 나은 전문가 활용을 위해 보조 손실 없는(auxiliary-loss-free) 균형 조정 변형을 제안하고, 추론 지연 시간 오버헤드를 완화하기 위해 특화된 MoE 커널을 설계했습니다. 이미지 지식을 보존하면서 비디오 성능을 향상시키기 위해, 새로운 동결(freezing) 메커니즘과 결합된 프레임 수준 증류(frame-level distillation)를 도입했습니다. 우리는 다양한 규모에 걸쳐 일련의 MoE 비전 인코더(MoE-ViE)를 사전 학습했으며, 모두 밀집 대응 모델을 일관되게 능가했습니다. 우리의 최대 모델은 자체 크기의 1.7배에 달하는 SOTA 인코더의 제로샷 성능을 76%의 지연 시간으로 달성합니다. LLM과 정렬되었을 때, MoE-ViE는 최대 5배 더 많은 활성화 파라미터를 가진 인코더를 포함하여 비교 대상 모든 인코더를 이미지 및 비디오 벤치마크에서 능가합니다. 코드는 https://github.com/facebookresearch/moe_vie에서 확인할 수 있습니다.
메모리는 장기 지평(long-horizon) LLM 에이전트의 핵심 인프라가 되고 있지만, 기존 평가들은 서로 다른 운영 조건에서 어떤 메모리 저장 매체(substrate), 즉 메모리가 표현되고 저장되는 기반 매체를 사용해야 하는지에 대한 지침을 제한적으로만 제공한다. 우리는 메모리 증강 에이전트를 위한 메모리 저장 매체에 대한 통제된 하네스 평가를 제시한다. 이 평가는 밀집 및 희소 인덱스, 텍스트 기록, 구조적 저장소, 계층적 저장소, 정제 기반 메모리, 파라미터 업데이트, 활성화 호환 컨텍스트 메커니즘을 포함한다. 세 개의 백본 모델과 사용자 중심 질의응답 및 에이전트 중심 의사결정을 포괄하는 네 개의 벤치마크 제품군에 걸쳐, 우리는 통합 하네스에서 26가지 성능 및 효율성 지표를 계측한다. 우리의 결과는 어떤 단일 저장 매체도 일관되게 우세하지 않음을 보여준다. 광범위한 검색은 긴 컨텍스트 사실 기반 QA에 이점을 주지만, 과도한 검색은 행동에 중요한 컨텍스트에서 주의를 돌려 순차적 의사결정을 해칠 수 있다. 확장성은 추가적인 라우팅 축을 도입한다. 중간 길이의 이력에서 좋은 성능을 보이는 저장 매체는 더 긴 지평에서 비용이 많이 들거나 취약해질 수 있기 때문이다. 이러한 발견은 적응형 에이전트 메모리 시스템의 필수 구성 요소로서 저장 매체 라우팅의 필요성을 뒷받침하며, LLM 에이전트를 위한 효율적이고 신뢰할 수 있으며 운영 조건을 인식하는 장기 메모리 설계에 대한 경험적 지침을 제공한다. 코드는 게재 승인 시 공개될 예정이다.
대규모 이미지 생성은 데이터 규모, 품질, 재균형화, 재캡셔닝의 발전을 통해 이점을 얻었지만, 기존 파이프라인은 일반적으로 작업별 데이터셋을 개별적으로 최적화한다. 핵심 과제는 각 작업별 코퍼스를 큐레이션하는 방법뿐만 아니라, 생성 능력 간의 의존성에 따라 이질적 감독을 구성하는 방법에 있다. 우리는 능력별 감독 구성과 능력 정렬 커리큘럼 스케줄링을 결합한 능력 기반 데이터 인프라를 제시한다. 이 인프라의 세 가지 특화되었지만 상호 운용 가능한 데이터 엔진은 텍스트-이미지 그라운딩, 이미지 간 변환, 이미지-지식 연관을 위한 보완적 관계형 감독을 구축하며, 캡션 전문가들은 작업과 세분성에 걸쳐 T2I 및 편집 감독을 정렬한다. 다단계 커리큘럼은 능력 획득의 의존 순서에 따라 작업 구성, 시각 개념 분포, 데이터 품질, 이미지 해상도를 공동으로 진화시키며, 능력 인지 평가는 표적 검색, 전문가 구성, 격차 인지 리샘플링을 통해 루프를 닫는다. 대규모로, 이 프레임워크는 4억 4천만 개 이미지의 T2I 코퍼스, 1억 2천만 개의 편집 쌍, 2700만 개 이상의 이미지-엔티티 쌍을 큐레이션한다. 이 인프라를 사용하여 우리는 각각 3B 및 6B 크기의 두 가지 규모로 멀티모달 확산 모델을 처음부터 학습한다. 우리는 CPI-Bench에 대한 정량적 평가를 수행하고, 다양한 텍스트-이미지 및 편집 시나리오에 걸친 정성적 평가도 수행한다. 실험 결과는 광범위한 시각적 범위, 다재다능한 렌더링, 그리고 생성 능력 간의 효과적인 전이를 보여준다.
최근 대규모 언어 모델(LLM)과 에이전트의 발전은 AI 시스템이 복잡한 작업을 수행하는 능력을 실질적으로 향상시켰다. 그러나 기존 벤치마크는 대부분 연구자가 선별한 작업에 의존하고 있어, 이러한 발전이 실제 사용자가 AI 시스템에 요구하는 작업으로까지 확장되는지는 불확실하다. 우리는 시장에서 검증된 AI 스타트업 제품에 기반한 엔드투엔드(E2E) 에이전트 벤치마크인 StartupBench를 소개한다. 유용한 에이전트 능력에 대한 사전 정의된 가정에서 작업을 도출하는 대신, 실제 채택이 입증된 AI 제품과 해당 제품의 작업 흐름 및 사용자를 체계적으로 분석하여 다양한 전문 분야에서 AI에 대한 실질적 수요가 확립된 실제 작업을 식별한다. 우리는 이러한 작업 흐름을 완전한 산출물 중심의 작업으로 변환하고, 복잡한 요구사항을 포착하는 세분화된 평가 루브릭으로 평가한다. 통합 에이전트 하네스 환경에서 평가된 대표적 모델들 중 최강의 모델조차도 많은 작업에서 상당한 부분적 진전을 보였음에도 불구하고 StartupBench의 약 30%만 성공적으로 완료했다. 추가 분석은 복잡한 지시 따르기와 도메인별 전문성이 주요 실패 원인임을 식별한다. 우리의 결과는 많은 시장 검증된 작업 흐름이 현재 범용 에이전트의 신뢰할 수 있는 능력을 여전히 넘어서는 영역에 있음을 보여주며, 실제 사용자 작업의 엔드투엔드 완료를 향한 진전을 측정하는 경험적 지표로서 StartupBench를 확립한다.
픽셀 공간 생성 모델은 손실 있는 잠재 압축을 우회하지만, 고차원 공간에서 전역 구조와 미세한 세부 정보를 공동 학습해야 한다. 표준 플로우 매칭은 노이즈를 고정된 클린 이미지 종점으로 보간하며, 스펙트럼의 진화는 암묵적으로 학습되도록 남겨 둔다. 본 논문에서는 종점을 이동시켜 coarse-to-fine 생성 궤적을 명시적으로 모델링하는 에너지 기반 플로우 매칭(EG-FM)을 제안한다. 구체적으로, EG-FM은 고정 종점을 저주파 이미지에서 클린 이미지로 부드럽게 진화하는 열 커널 필터링 종점으로 대체한다. 이동 종점에서 고주파 신호의 비율은 이미지별 에너지 기반 스케줄링을 통해 방출되며, 이는 플로우 매칭의 속도 재설정으로 이어진다. 우리 프레임워크는 백본과 훈련 데이터의 적응이 필요 없어 훈련 및 추론 단계에서 무시할 수 있는 비용만 발생시킨다. 실험에서 EG-FM은 256×256 해상도의 ImageNet 클래스 조건부 이미지 생성 작업에서 더 적은 에폭으로 일관되게 더 낮은 FID를 달성했으며, 200 에폭에서 FID 1.55, 600 에폭에서 1.45를 기록했다. 또한 512×512 해상도 설정에서 생성 작업을 계속 훈련하여 단 40번의 고해상도 적응 에폭 만에 FID 1.58을 얻었다. 나아가 EG-FM을 텍스트-이미지 생성에 전이하여 GenEval 점수 0.85, DPG-Bench 점수 83.9를 달성했다. 코드는 https://github.com/ysng123/EG-FM에서 확인할 수 있다.
컴퓨팅 최적 스케일링 법칙(compute-optimal scaling laws)은 최첨단 언어 모델의 훈련을 안내하지만, 시각 생성 분야에서는 여전히 대부분 탐구되지 않았다. 본 연구는 Abra를 사용한 텍스트-이미지 확산 모델에 대한 체계적인 스케일링 법칙 연구를 제시한다. Abra는 통제된 플로우 매칭 트랜스포머(flow-matching transformer) 계열로, 세 자릿수에 달하는 계산량(10^19~10^22 FLOPs)에 걸쳐 훈련되었으며, 이는 이전 연구들보다 훨씬 큰 컴퓨팅 예산에 해당한다. 우리는 확산 모델이 언어 모델만큼 예측 가능하게 스케일링되지만, 최적 훈련을 위해 훨씬 더 많은 데이터를 필요로 함을 입증한다. 컴퓨팅 최적성은 파라미터당 약 200개의 이미지 토큰에서 달성되며, 이는 LLM에 대한 Chinchilla 컴퓨팅 최적 처방의 10배에 해당한다. 또한 언어 모델과 달리 확산 모델은 과도한 훈련(overtraining)에 강건하며, 실무자들은 더 큰 모델보다 더 많은 데이터를 선택하는 쪽으로 오차를 두어야 함을 보여준다. 마지막으로, 이러한 예측 가능성이 훈련 손실을 넘어 생성 품질 지표, 최적 CFG 설정, 표현 품질, 심지어 훈련 곡선의 형태에까지 확장되며, 훈련 곡선은 보편적인 형태로 수렴함을 입증한다.
대규모 언어 모델은 도구, 확장 기능, 지속 상태, 권한 및 외부 작업을 관리하는 에이전트 하네스를 통해 점점 더 많이 배포되고 있다. 기존 안전성 벤치마크는 주로 개별 공격 메커니즘 또는 제한된 운영 설정의 하위 집합을 대상으로 하므로, 서로 다른 하네스 책임 전반에서 안전 실패가 어떻게 발생하는지 비교하기 어렵다. 우리는 에이전트 하네스 안전을 하네스 구성, 기능 확장, 런타임 운영, 상태 지속성, 동작 제어 및 사고 복구를 포함한 여섯 가지 운영 단계로 구성하는 수명주기 기반 벤치마크인 HarnessRisk를 제시한다. HarnessRisk는 128개의 샌드박스 케이스를 포함하며, 각 케이스는 정상적인 사용자 목표와 신뢰할 수 없는 워크플로 아티팩트에 내장된 적대적 지시를 짝지은 것이다. 우리는 각 궤적을 유틸리티, 공격 성공률, 지속성 및 탐지를 사용하여 평가한다. 세 개의 하네스, 여섯 개의 언어 모델, 그리고 14개의 모델 및 하네스 구성에서 공격 성공률은 12.6%에서 80.9%까지 다양했으며, 유틸리티는 75.0%에서 97.6% 사이를 유지했다. 하네스 구성은 세 하네스 모두에서 가장 취약한 단계로, 공격이 정상적으로 승인된 워크플로 내에서 보안에 민감한 매개변수를 변경함으로써 성공할 수 있음을 보여준다. 또한 일부 구성은 전체 실행의 90% 이상에서 위험을 탐지하면서도 상당한 공격 성공률을 유지하므로, 명시적 위험 인식이 안전한 조치로 안정적으로 이어지지 않음을 발견한다. 이 결과는 여러 하네스 책임 전반과 배포된 모델 및 하네스 구성 수준에서 에이전트 안전성을 평가해야 할 필요성을 강조한다.
신뢰할 수 있는 불확실성 정량화(UQ)는 복잡한 상호작용 환경에서 대규모 언어 모델(LLM) 에이전트를 배포하는 데 필수적이다. 기존 UQ 방법들은 주로 토큰 확률, 예측 엔트로피, 또는 단계별 신뢰도와 같은 국소적 신호에 의존하므로, 실행 궤적 전반에 걸쳐 오류가 축적되는 장거리 의존성을 간과한다. 그 결과, 최종 답변보다 몇 단계 앞선 추론 또는 상호작용 과정에서 기인한 에이전트 실패를 식별하지 못할 수 있다. 본 연구에서는 LLM 에이전트를 위한 궤적 수준의 UQ 프레임워크인 RUPA(Relational Uncertainty Propagation for Agents)를 제안한다. RUPA는 실행 이력을 방향성 궤적 그래프로 표현하며, 이 그래프에서 추론 상태, 도구 상호작용, 환경 피드백은 시간적 및 의미적 의존성 엣지로 연결된 노드이다. 그런 다음 RUPA는 이 그래프를 통해 불확실성을 전파하여 실행 위험이 상호작용 단계에 걸쳐 축적되고 전이되는 방식을 포착한다. 전파된 신호는 궤적 수준의 행동 특징 및 목표 정렬 정보와 결합되어 전체 에이전트 궤적에 대한 신뢰도 추정치를 생성한다. 본 연구에서는 τ-2, Terminal-Bench-2, GAIA를 포함한 대표적인 에이전트 벤치마크에서 여러 모델 계열에 걸친 6개의 오픈소스 LLM을 사용하여 RUPA를 평가한다. 실험 결과는 RUPA가 보다 정확한 불확실성 추정치를 제공하고, 더 빠른 실패 탐지를 가능하게 하며, 다양한 에이전트 작업에서 불확실성 기반 에이전트 실행을 개선함으로써 기존 UQ 방법을 일관되게 능가함을 보여준다. 이러한 결과는 장기 지평 LLM 에이전트의 신뢰할 수 있는 UQ를 위해 관계적 의존성을 명시적으로 모델링하는 것이 중요함을 입증하며, 신뢰할 수 있는 에이전트 실행을 위한 실질적 기반을 제공한다.
자동 형식화(autoformalization)는 자연어 수학 명제를 Lean 4와 같은 기계 검증 가능한 형식 언어로 번역하는 것으로 흔히 간주된다. 그러나 충실한 형식화는 단순한 번역 이상을 요구한다. 모델은 수학적 개념을 Mathlib과 같은 형식 라이브러리에 존재하는 복잡한 타입 및 정의의 계층 구조에 매핑해야 하며, 동시에 생성된 명제가 원래 명제의 의미를 보존하도록 보장해야 한다. 기존 접근 방식은 라이브러리 특정 지식에 대해 모델의 파라메트릭 메모리에 크게 의존하고, 일반적인 데이터 구축 파이프라인은 종종 단일 패스 출력을 필터링하거나 피드백 기반 수정 메커니즘이 부족하기 때문에 어려움을 겪는다. 이러한 문제를 해결하기 위해 우리는 Mathlib 지식 검색과 검증 기반 반복 개선을 통해 검증된 훈련 데이터를 구축하는 자동 형식화 프레임워크인 MathForm을 소개한다. 생성 전에 검색 계획자가 Mathlib에서 관련 정의와 기존 형식화를 수집하여 형식화 생성기를 안내한다. 이후 생성된 명제는 컴파일러 진단 및 의미 일관성 피드백을 활용하여 수정된다. 이 프레임워크를 사용하여 우리는 다양한 수학 분야와 출처에 걸쳐 약 367K개의 검증된 예제를 포함하는 Lean 4 데이터셋인 FormalVerse를 구축한다. 그런 다음 지도 미세 조정과 강화 학습을 통해 MathForm-8B를 훈련한다. 6개의 벤치마크에서 MathForm-8B는 구문 검사(SC) 기준 평균 Pass@8 88.06%, 일관성 검사(CC) 기준 72.37%를 달성하여 여러 특화된 32B 자동 형식화 모델보다 우수한 성능을 보인다. 특히 어려운 FATE-H 및 FATE-X 하위 집합에서는 각각 63%와 37%의 CC 통과율을 달성하여 두 경우 모두 가장 강력한 특화 기준선을 능가한다.
우리는 AI-Infra-Guard(A.I.G)를 활용하여 테스트 구성, 통제된 테인트 전달, DSH 실행, 트레이스 수집, 결과 판정을 수행함으로써 DeepSeek Harness(DSH)에서의 간접 프롬프트 인젝션을 평가한다. 본 연구는 16개 간접 콘텐츠 채널, 텍스트 및 파일 캐리어 모드, 35개 페이로드 목표, 수정되지 않은 하나의 베이스라인, 12가지 공격 방법에 걸친 14,560회의 통제된 실행을 다룬다. 실험은 DSH의 에이전트 루프, 도구 레지스트리, 모델 어댑터, 세션 이벤트 경로를 보존한다. 소스 도구와 민감한 싱크는 로컬 픽스처이므로 시도된 작업은 외부 부작용 없이 기록된다. 우리는 각 트레이스를 결정적 규칙 기반 판정기(RuleJudge)와 의미론적 LLM 기반 판정기(LLMJudge)로 평가한다. 관찰된 가장 높은 공격 성공률은 텍스트 모드의 가짜 완료 공격에서 RuleJudge 기준 17.0%, 파일 모드의 숨은 유니코드에서 LLMJudge 기준 25.5%, 파일 모드의 스킬 채널에서 LLMJudge 기준 16.0%이다. 또한 LLMJudge는 RuleJudge보다 부분 준수를 더 자주 부여한다(7.3% 대 2.0%). 우리는 이러한 결과를 DSH의 도구 결과 처리, 추가 컨텍스트, 도구 호출 정책 훅과 관련지어 설명한 다음, 신뢰할 수 없는 콘텐츠와 민감한 작업 사이에 있어야 하는 통제 수단을 식별한다. 우리의 코드는 https://github.com/Tencent/AI-Infra-Guard/tree/main/Research/deepseek-harness-security-assessment 에서 이용할 수 있다.
대규모 언어 모델의 지식 활용을 개선하기 위한 방법들은 일반적으로 두 가지 체계로 구분된다. 비모수적 검색(non-parametric retrieval)은 외부 지식에 대한 유연한 접근을 제공하지만, 검색 지연시간, 컨텍스트 오버헤드를 추가하고 백본(backbone)과의 통합이 얕다는 한계가 있다. 모수적 적응(parametric adaptation)은 추론 시 효율적이지만, 지식을 모델 가중치와 결합시켜 갱신, 감사(audit), 전이가 어려울 수 있다. 엔그램(Engram) 방식의 해시 메모리(hash memory)는 중간 체계를 점유한다. 학습된 정보를 외부의 주소 지정 가능한 테이블에 저장하되, 해당 테이블을 소규모 학습 리더(reader)를 통해 소비한다. 이는 근본적인 질문을 제기한다: 이러한 메모리가 서로 다른 백본 간에 이동될 때, 동결된 메모리 자체와 대상 측 리더 중 무엇이 더 중요한가? 우리는 교차 모델 동결 메모리 추출(cross-model frozen-memory extraction)을 통해 이 질문을 연구한다. 이 방식에서는 소스 모델에서 학습된 메모리를 동결하고 경량 리더만 학습시킨 채 다른 대상 모델에 부착한다. 절제 실험(ablation) 결과, 학습된 메모리 콘텐츠와 올바른 주소 지정이 모두 중요하지만, 전이된 테이블은 대상 모델에 정렬된 리더를 통해서만 유용해지는 것으로 나타났다. 하류 질의응답 과제에서 이중 계층, 4분기(branch) 리더는 동일 모델 재사용과 교차 모델 재사용 간의 격차를 거의 좁혔으며, 통제된 평가 프로토콜에서 평균 점수 38.8을 달성했다. 또한, 제공자 측 리더가 대상 인터페이스와 직접 호환되는 경우, 동결된 산출물은 대상 측 훈련 없이도 상당한 효용을 제공할 수 있으며, 선택적 리더 적응을 통해 추가적인 개선이 가능하다. 이러한 결과는 엥그램이 호환 가능한 리더 인터페이스에 접근할 수 있는 경우 재사용 가능한 외부 지식 산출물로 기능할 수 있음을 시사한다. 직접적인 리더 재사용이 충분하지 않을 때는 대상 측 적응이 정렬을 추가로 개선할 수 있다.
가설을 생성하고, 관련 연구를 검색하며, 실험을 설계하고, 코드를 실행하며, 전체 논문을 작성하는 AI 공동 과학자들이 연구가 수행되는 방식을 바꾸기 시작하고 있다. 이러한 빠른 진보에도 불구하고, 최첨단 시스템은 여전히 연구자 비의존적(researcher-agnostic) 상태에 머물러 있다. 즉, 연구 목표가 주어지면 출력을 사용할 개별 과학자를 고려하지 않고 참신성, 타당성, 혹은 심사 점수를 최적화한다. 이는 연구에 관한 근본적인 사실, 즉 무엇이 새롭고 가치 있으며 실현 가능한지가 연구자의 기존 연구, 방법론적 레퍼토리, 그리고 연구자가 속한 협력자와 커뮤니티에 달려 있다는 사실을 간과한다. 본 연구에서 우리는 연구 과정의 모든 단계를 개별 연구자의 표현에 조건화하는 개인화된 자동 연구(personalized auto-research) 문제를 제기한다. 우리는 개인화가 편의를 위한 계층이 아니라, AI 시스템이 일반적인 도구가 아닌 진정한 공동 과학자로 기능하게 하는 근본적인 속성이라고 주장한다. 이 문제를 다루기 위해, 우리는 그래프 기반 연구자 맥락을 검색, 가설 탐색, 실험, 작성, 검토 전반에 걸쳐 연결하는 일반적이고 유연한 프레임워크를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어진다: (i) 그래프 기반 연구자 표현, (ii) 전체 연구 파이프라인에 걸친 개인화, (iii) 개인에 근거한 평가. 특히 우리는 서로 다른 연구자가 동일한 목표를 제시했을 때 사실상 동일한 연구를 받게 되어, 새로운 아이디어가 발생하게 하는 암묵적 지식을 지워버리는 획일적(one-size-fits-all) 실패 모드를 강조한다. 마지막으로, 근본적인 미해결 문제와 도전 과제를 논의한다.
확장 가능한 잠재(latent) 3D 생성기 다수는 구조화된 텐서를 기반으로 동작하는 반면, 사전 최적화된 3D 가우시안 스플래팅(3DGS) 재구성은 비정렬적이고 공간적으로 불규칙하며 프리미티브 개수도 매우 다양하다. 본 논문에서는 피팅(fitting)이 필요 없는 구조화된 잠재 프레임워크인 GS-Voxel을 제시하고, 대규모 항공 3D 가우시안 장면 생성을 위해 이를 평가한다. GS-Voxel은 호환 가능한 사전 최적화된 3DGS 재구성을 추가적인 장면별 최적화 없이 결정론적으로 희소 활성 복셀로 변환하며, 선택된 프리미티브의 서브복셀 위치와 렌더링 속성을 유지한다. 이후 GS 특화 분해(factorized) VAE가 복셀 형상과 로컬 가우시안 속성을 별도로 희소 3D 잠재 표현으로 인코딩하는데, 이 잠재 표현의 크기는 고정된 장면 전체 프리미티브 개수에 의해 제한되지 않고 점유된 복셀의 수에 따라 증가한다. 또한 GS-Voxel 잠재 공간에서 이미지 조건부 플로우 모델을 학습하여 항공 3DGS 장면을 생성한다. GS-Voxel이 가능하게 하는 핵심 응용은 대면적 장면 생성으로, 중첩 인식 타일 추론(overlap-aware tiled inference)은 위성 뷰 이미지에 조건화된 단일 학습 크롭을 넘어 합성을 확장한다. 실험 결과는 GS-Voxel이 사전 최적화된 항공 3DGS 재구성을 위한 구조화된 잠재 표현을 제공하며, 잠재 용량이 점유된 복셀 수에 따라 증가함을 보여준다.
코딩 에이전트를 위한 강화학습은 도구 통합, 리포지토리 컨텍스트, 실행 피드백을 관리하기 위해 점점 더 장기 실행 에이전트 하네스에 의존하고 있다. 그러나 이러한 하네스의 네이티브 실행 환경은 정책 경사 학습과 본질적으로 정렬되지 않는다. 환경 크래시와 보상 해킹은 결과 신호를 오염시키는 반면, 학습-추론 불일치는 롤아웃 행동을 정책 업데이트와 분리시킨다. 이러한 문제를 해결하기 위해, 우리는 내부 제어 흐름을 수정하지 않으면서 네이티브 코딩 에이전트 하네스와 확장 가능한 정책 경사 최적화를 연결하는 프레임워크인 LEGO-RL을 제시한다. LEGO-RL은 세 가지 축으로 구축된다: (1) 하네스 측 압축 또는 재직렬화 상황에서도 토큰 수준 정렬과 강건한 트레이너 측 로그 확률 재계산을 위해 원시 생성 스트림을 포착하는 프로세스 내 LLM 프록싱을 통한 충실한 최적화, (2) 보상 해킹을 완화하기 위한 이미지 캐싱과 단계별 방어를 갖춘 확장 가능한 샌드박스 오케스트레이션을 통한 신뢰할 수 있는 실행, 그리고 (3) 세분화된 궤적 진단을 위한 라이브 UI와 결합된 검증 및 모니터링을 자동화하는 통합 플러그인을 통한 관찰 가능한 학습. 우리는 세 가지 네이티브 코딩 에이전트 하네스에서 GSPO를 사용하여 희소 MoE 모델인 Qwen3.5-35B-A3B를 학습시켜 LEGO-RL을 평가한다. LEGO-RL은 SWE-bench Verified에서 OpenHands SDK(64.0%에서 70.4%로), Claude Code(62.4%에서 68.2%로), OpenCode(57.2%에서 66.6%로) 전반에 걸쳐 Qwen3.5-35B-A3B의 성능을 향상시키면서, 롤아웃-학습 확률 상관관계를 0.99 이상으로 유지한다.
그래프 신경망은 공통 계산과 구조적 차이를 표기상 모호하게 만드는 계열별 방정식으로 흔히 기술된다. 우리는 업데이트 도메인, 채널 집합, 전파 뱅크, 채널별 메시지 맵, 채널 융합 연산자, 에고/잔차 맵, 업데이트 맵의 일곱 가지 구성 요소를 통해 포괄되는 아키텍처를 나타내는 공통 계층 방정식을 도입한다. 이 핵심 분해는 정보가 이동하는 위치(전파 뱅크로 부호화됨)와 이동하는 내용(메시지 맵으로 부호화됨)을 분리한다. 함숫값 충전(function-valued fillings)은 동일한 방정식을 국소 메시지 전달, 어텐션, 스펙트럼 필터링, 전역 통신, 관계별 채널, 고차 도메인, 기하 메시지에 걸쳐 확장한다. 우리는 표준 계층들의 구체적 환원 과정과 일곱 가지 비배타적 아키텍처 계열에 걸친 구성 요소 할당을 통해 이러한 통일성을 명시적이고 검증 가능하게 만든다. 고정된 슬롯 배정 규칙은 연산을 계산적 역할에 따라 할당하며 프레임워크의 포괄 범위 경계를 정의한다. 이 분해는 또한 구성 요소 수준의 이론적 통찰을 제공한다. 끝점 국소 메시지와 노드 국소 업데이트 조건에서 연산자 지지집합은 단일 계층 의존성을 제한하며, 명시된 가설 하에서 단일 계층 전역 혼합은 유효 연산자의 완전한 행을 필요로 한다. 결과적으로 도출된 프레임워크는 200개 이상의 아키텍처를 공통 설계 공간에서 체계화하고, 구성 요소별 비교와 구조적으로 일관된 아키텍처 생성을 가능하게 하며, 전파 선택을 과도 평활화(oversmoothing), 과도 압축(oversquashing), 이질성(heterophily), 표현력(expressivity)과 연결한다. 또한 측정 가능한 그래프 및 작업 속성을 검증된 구성 요소 선택에 매핑하는 경험적 역문제를 드러낸다.
AI 시스템은 점점 더 수학 연구에 기여할 수 있게 되었다. 연구 현장에서 최첨단 모델 추론은 제한된 자원이며, 전문가의 수학적 검토는 더욱 심각하게 제약되어 있다. 따라서 AI 지원 수학적 발견의 효율성을 높이기 위해서는 이러한 희소 자원을 잘 배분하는 것이 핵심이다. 대부분의 현재 AI-수학 워크플로우에서 인간의 노력은 시작과 끝, 즉 적절한 연구 문제를 선정하고 이후에 생성된 산출물을 검토하는 데 집중된다. 이 두 단계는 연구 수준의 수학에서 병목 현상이 되고 있다. 우리는 새로운 인간-AI 발견 패러다임을 제안함으로써 이를 해결한다. 인간의 입력은 더 이상 사전에 선정된 단일 문제가 아니라, 전문가들이 관심과 전문성을 가진 연구 방향이다. 이후 시스템은 그 방향의 후보 문제를 찾기 위해 광범위한 문헌 말뭉치를 탐색한다. 검색 및 추천 시스템에서 영감을 얻어, 우리는 Find, Attempt, Recommend(FAR)를 구축한다. FAR은 적절한 문제 탐색을 자동화하고 여러 단계의 필터링을 통과한 산출물에 인간의 주의를 집중시키는 문헌-검토 캐스케이드이다. 조합론 파일럿 연구에서, 이 파이프라인은 5,245편의 조합론 논문에서 시작하여 6,453개의 후보 추측 또는 미해결 문제를 추출하고, 이를 4,717개의 겉보기에 잘 정식화되었고 아직 미해결인 추측으로 필터링한다. 이후의 추론 및 자동 분류 단계는 598개의 잠재적 해결을 표면화하고 77개 항목을 저자 팀 검토용으로 선별한다. 그중에서 우리는 Davies–Jenssen–Perkins–Roberts, Erdős–Straus, Ikenmeyer–Pak–Panova, Lund–Saraf–Wolf의 추측 및 질문에 대한 결과를 포함하여 많은 흥미로운 발견을 확인했다. 이러한 결과는 수학적 발견을 위한 인간-AI 협업의 새로운 방식이 효과적임을 입증한다.
프로그래매틱 표현은 3D 콘텐츠 생성의 강력한 패러다임을 제공하며, 세밀한 편집, 해석 가능성, 명시적 구조 제어를 가능하게 한다. 그러나 대규모 언어 모델(LLM)에 의존하여 3D 프로그램을 작성하는 에이전트 워크플로는 여전히 취약하며, 높은 수준의 의도를 일관된 저수준 기하 구조로 변환하는 데 종종 실패한다. 우리는 이러한 취약성이 기존 프로그래매틱 인터페이스와 LLM의 추론 강점 간의 불일치에서 비롯된 것으로 본다. LLM은 취약한 수치 선택보다 의미 구조와 공간 관계를 선호한다. 본 논문에서는 이러한 격차를 해소하기 위해 에이전트 중심 도메인 특화 언어(aDSL)와 역할 전문화 다중 에이전트 시스템을 공동 설계한다. aDSL은 조합성(composability)과 공간 추론을 강조하여 의미 논리와 기하 제약을 연결하며, 에이전트가 취약한 절대 좌표 대신 관계 연산자를 통해 지오메트리를 조작할 수 있게 한다. aDSL을 기반으로 하는 우리의 학습 없는 다중 에이전트 시스템은 Plan-Execute-Critic 루프를 따라 요청을 분해하고, 코드를 합성하며, 실행 피드백을 사용하여 오류와 제약 위반을 반복적으로 수정한다. 실험 결과, 이러한 공동 설계는 강건성, 제어 가능성, 사용자 의도 충실성을 향상시킨다. 우리의 방법은 텍스트-형상 및 이미지-형상 작업에서 기존 LLM 기반 기준선을 능가하면서 명시적 구조, 편집 가능성, 해석 가능성을 유지한다. 또한 관절 객체 생성 및 구조화된 장면 구성과 같은 다운스트림 응용을 가능하게 한다. 코드는 https://github.com/sig-pku/aDSL에서 확인할 수 있다.
우리는 GPU 커널 최적화를 위해 아키텍처별 PTX를 활용하도록 대규모 언어 모델(LLM)을 평가하고 적응시키기 위한 벤치마크인 PTXBench를 소개한다. PTXBench는 기능적 정확성, 선택된 대상 명령어가 런타임에 실제로 실행되는지 여부, 그리고 H100 및 B200 GPU에서 GEMM 및 어텐션 작업 전반에 걸친 최첨단 라이브러리 대비 속도 향상을 측정한다. 우리의 평가는 아키텍처별 PTX 활용 능력이 여전히 고르지 않음을 보여준다. 복잡한 어텐션 역방향 작업에서는 성공률이 상당히 하락하며, 대상 명령어를 실행한다고 해서 반드시 경쟁력 있는 성능으로 이어지지는 않는다. 평가된 어떤 모델도 스위트 전반에서 최첨단 라이브러리와 일관되게 일치하지 못했다. 우리는 또한 지도 미세 조정을 통해 Qwen3.6-27B를 추가로 적응시켰다. 수리 조건화 훈련은 여러 작업에서 성능을 개선했지만, 일반화는 여전히 고르지 않다. 데이터 범위, 균형, 추론 교사 모델의 품질이 데이터셋 규모와 더불어 중요하다. PTXBench는 진화하는 GPU 아키텍처를 활용하는 LLM의 능력을 측정하고 개선하기 위한 감사 가능한 테스트베드를 제공한다.
심전도(ECG), 광용적맥파(PPG), 심음도(PCG)는 동일한 심장 주기에 대한 상보적 관점을 제공하지만, 기존 심장 기반 모델들은 단일 센서 방식으로만 학습되어 센서 간 공유되는 생리학적 특성을 활용하지 못한다. 우리는 ECG, PPG, PCG에 걸쳐 단일 공유 표현을 공동으로 학습하는 심장 기반 모델인 CardioState-JEPA를 소개한다. 이 모델은 생리학적 특성을 반영한 공동 임베딩 예측 구조를 기반으로 한다. 이 모델은 이질적인 파형을 공통 토큰 공간으로 매핑하고, 단일 공유 트랜스포머 인코더로 처리하며, 마스킹된 잠재 심장 상태를 예측하는 방식으로 학습한다. 이를 통해 사전학습 목표를 센서 특유의 파형 형태가 아닌 공유된 생리학에 둔다. 전기적, 기계적, 혈역학적 사건 사이의 시간적 오프셋을 처리하기 위해, 교차 모달 예측은 신호를 해당 심장 시점에 맞추는 학습된 지연 정렬기를 사용한다. 동기화된 다중 센서 기록은 드물기 때문에, CardioState-JEPA는 먼저 풍부한 단일 모달 데이터에서 모달 내부 구조를 학습한 다음, 쌍을 이룬 데이터를 사용하여 잠재 심장 시간에서 모달 간을 정렬한다. 우리의 인코더는 ECG, PPG, PCG를 포괄하는 25개 다운스트림 작업에서 고정 인코더로 평가되었으며, 최상의 자기 지도 신호 기준 모델 대비 평균 PPG 분류에서 8.2 AUROC 포인트, PCG 심잡음 검출에서 18.8 AUROC 포인트, ECG 분류에서 15.5 AUROC 포인트의 성능 향상을 보였다. 또한 여러 ECG 벤치마크에서 특권 임상 텍스트나 지도 레이블로 학습된 심장 모델과 동등하거나 더 나은 성능을 달성했다. 이러한 결과는 이질적인 심장 신호가 심장 생리에 대한 단일 기반 모델을 상호 지도할 수 있음을 입증한다.
통합 이미지 복원(UIR)은 다양한 열화가 있는 저화질(LQ) 이미지에서 고화질(HQ) 콘텐츠를 단일 모델로 복구하는 것을 목표로 한다. 최근 대부분의 방법은 강력한 용량과 생성 사전(generative prior)을 활용하기 위해 대규모 사전 학습된 텍스트-이미지(T2I) 잠재 확산 모델을 적용한다. 그러나 잠재 T2I 모델의 변분 오토인코더(VAE)는 복원에 민감한 세부 정보를 버릴 수 있으며, 개방형 합성 사전은 콘텐츠와 불일치하는 인공물(artifact)을 유발할 수 있다. 우리는 UIR을 위한 VAE 없는 픽셀 공간 확산 트랜스포머(DiT)인 PixRestore를 제시한다. 여기서 확산 백본은 T2I 사전 학습에 의존하지 않고 완전히 처음부터 학습된다. PixRestore는 패치화된 픽셀에 대해 직접 플로우 매칭(flow matching)을 수행하여 토큰 시퀀스를 관리 가능하게 유지하면서 미세한 세부 정보를 보존한다. 다양한 열화에 적응하기 위해 PixRestore는 LQ–HQ DINO 특징 유사도를 사용하여 레이어 특징의 신뢰성을 예측하도록 학습한다. 더 신뢰할 수 있는 레이어의 특징은 밀집 조건(dense conditioning)으로 융합되는 반면, 신뢰도가 낮은 레이어는 열화 제거를 장려하기 위해 더 강한 HQ 특징 감독(supervision)을 받는다. 우리는 다양한 장면과 열화로 구성된 대규모 말뭉치에서 PixRestore를 학습하고, 효율적인 추론을 위해 DINO 기반 적대적 목적 함수를 사용하여 단일 단계 생성기로 추가 미세 조정한다. 공개 벤치마크와 실제 세계 테스트 세트에 대한 실험은 약 5천만 개의 파라미터와 단일 단계 추론만으로도 PixRestore가 경쟁 UIR 모델들 중에서 전반적인 충실도, 지각 품질, 열화에 대한 견고성에서 최고의 성능을 달성하면서 훨씬 더 효율적임을 보여준다. 더 큰 PixRestore 변형은 성능을 더욱 향상시킬 수 있으며, 이는 우리 픽셀 공간 설계의 확장성을 입증한다. 코드와 선별된 벤치마크는 https://github.com/csslc/PixRestore에서 확인할 수 있다.