일간 논문

AI 에이전트는 초기 상태 변화가 먼 미래의 결정에 영향을 미칠 수 있는 지속적 환경에서 작동한다. 기존 언어 모델 상호작용과 달리, 에이전트의 행동은 장기 작업 흐름 전반에 걸쳐 반복적으로 수정되고 재사용되는 공유 상태를 통해 매개된다. 현재의 안전 벤치마크는 짧고 정적인 작업에 초점을 맞추기 때문에 이러한 누적 위험을 포착하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 우리는 환경 진화를 통한 확장 가능한 에이전트 레드 팀 공격을 위한 개방형 아레나인 OpenART를 소개한다. OpenART는 50개 도메인에 걸쳐 10,000개 이상의 검증된 상태 기반 시나리오를 제공하며, 500,000개 이상의 도구와 스킬로 구성된 풀을 활용한다. 이러한 작업은 중앙값 97회의 도구 호출을 필요로 하며, 75가지 서로 다른 에이전트-모델 구성에 걸친 통합 평가를 가능하게 한다. 이러한 진화하는 공격 표면을 체계적으로 탐색하기 위해, 우리는 진화적 마르코프 하이퍼그래프 공격(EMHA)을 제안한다. EMHA는 파라미터 업데이트 없이 승인된 상태 전이를 조정하여 피드백 기반 환경 진화를 수행하는 블랙박스 정책이다. 평가 전반에 걸쳐 작업 목표는 고정된 상태로 유지되며 환경 상태만 변경된다. 모든 구성에서 EMHA는 통합 공격 성공률(ASR) 85.0%를 달성한다. 지시문 기반 진화에 대한 EMHA의 우위는 단순 환경에서 약 2%에서 가장 복잡한 환경에서 17% 이상으로 증가하며, 이는 작업 복잡도가 증가함에 따라 환경 진화가 안전 실패를 더욱 효과적으로 드러냄을 입증한다. 또한, 우리의 분석은 에이전트의 특정 런타임 구현이 기저 모델의 성능을 넘어 안전 변동의 상당 부분을 설명함을 보여준다. 이러한 결과는 OpenART를 복잡하고 진화하는 환경에서 에이전트 안전을 연구하기 위한 확장 가능한 기반으로 확립한다.

연구 아이디어를 완성된 논문으로 전환하는 작업은 단순한 텍스트 생성 이상을 요구한다. 시스템은 문헌 검색, 실험 설계 및 실행, 증거에 따른 주장 수정, 출판 준비가 완료된 그림 생성, 그리고 긴 생성 과정 전반에 걸친 일관성 유지를 수행해야 한다. 본 논문은 기존 코딩 어시스턴트 내부에 13개의 구성 가능한 스킬로 구현된 종단 간 연구 논문 생성 시스템인 Spark-to-Paper를 제시한다. 이 시스템은 별도의 에이전트 플랫폼이나 오케스트레이션 서비스를 요구하지 않는다. Spark-to-Paper는 모델 기반 판단과 직접 실행 및 검증이 가능한 결정론적 연산을 분리한다. 또한 실험 계획과 보고를 분리하여, 결과가 관측되기 전에 필요한 증거를 명시하고 측정된 결과에 따라 원고의 주장을 수정한다. 긴 연구 궤적에서의 신뢰성을 향상시키기 위해, 이 시스템은 결정론적 무결성 검사와 자기 비평을 결합하고, 반복된 실험이 원래 연구 목표를 계속 기각하는 실패 모드인 자기 반박 루프(Self-Refutation Loop)를 제한한다. Spark-to-Paper는 또한 실험 결과에 대한 프로그래밍 방식 플로팅과 생성된 방법 다이어그램의 코드 기반 재구성을 통해 편집 가능한 벡터 그림을 생성한다. 8개의 통제된 연구 주제에 걸쳐 Spark-to-Paper는 99.5%의 인용 유효성과 96.4%의 그림 편집 가능성을 달성했다. 통제된 절제 실험에서는 조작 탐지율이 단일 패스 초안의 14%에서 전체 무결성 및 검토 스택 적용 시 92%로 향상되었으며, 적대적 검토는 74%의 정밀도를 달성했다. 전체 시스템은 원고당 1,190만 토큰을 사용하고 8.1달러의 비용이 소요되며 평균 3.2시간이 필요하다. 이러한 결과는 종단 간 연구 논문 생성이 기존 코딩 어시스턴트 내부의 경량화된 구성 가능한 워크플로우로 구현될 수 있으며, 주장의 수용, 수정, 또는 폐기 과정에서 실험적 증거를 핵심으로 유지할 수 있음을 보여준다.

최근 증류에 관한 연구는 대형 모델의 능력을 더 작은 모델로 전이하는 방법을 다루며, 주로 교사 강제(teacher forcing), 온-폴리시 증류(on-policy distillation), 그리고 이와 관련된 학습 시점(train-time) 기법을 통해 후자의 파라미터를 업데이트하는 방식으로 이루어진다. 본 논문에서는 이러한 전이가 대신 테스트 시점에 일어날 수 있는지 묻는다. 우리는 강한 모델에서 약한 모델로의 스캐폴딩(strong-to-weak scaffolding)을 연구한다. 즉, 더 강한 빌더 모델이 추론 시점 하네스(inference-time harness)를 구축하여, 파라미터 업데이트 없이 더 약한 타깃 모델이 과제를 더 안정적으로 해결하도록 도울 수 있는지를 살펴본다. 네 가지 대표적인 마음이론(Theory-of-Mind) 벤치마크를 사용하여, 각 빌더 모델은 데이터의 5%를 검증 세트로 활용해 여러 라운드에 걸쳐 하네스를 반복적으로 개선하며, 최종 확정된 하네스는 전체 테스트 세트에서 평가된다. 실험 결과, 이러한 형태의 테스트 시점 능력 전이는 매우 효과적이어서 평균 타깃 모델 성능이 0.49에서 0.91로 약 두 배 가까이 향상되었다. 분석 결과, 이러한 성과는 주로 불안정한 모델 추론을 결정적 코드로 오프로딩하고, 벤치마크별 라우팅을 수행하며, 엄격한 답변 형식 강제를 적용하는 데서 비롯되며, 타깃 모델이 더 광범위하게 추론하거나 더 넓게 샘플링하도록 장려하는 것에서는 비롯되지 않는다. 또한 빌더 모델의 추론 노력은 하네스 품질을 단조적으로 향상시키며, 플랫폼 효과는 빌더 모델 자체의 능력에 비해 미미하고, 더 약한 타깃 모델일수록 가장 큰 이득을 얻는다는 것을 발견했다. 이러한 결과는 추론 시점 하네스 설계가 기존의 학습 시점 증류를 보완하는 중요한 수단임을 시사하며, 강한 모델이 재학습 없이도 약한 모델에게 인지 구조를 전이할 수 있게 한다.

AI 모델은 다양한 영역에서 놀라운 성과를 거두었지만, 그 능력의 기저에 있는 메커니즘과 잠재적 위험에 대한 이해는 여전히 부족하다. AI 개발이 더욱 빠르고 자동화됨에 따라, 메커니즘 탐구는 대부분 수작업에 의존하고 있어 모델이 할 수 있는 것과 이를 이해하고 통제하는 우리의 능력 사이의 격차는 점점 커지고 있다. 이러한 격차를 해소하기 위해 우리는 AI 지능의 기저 메커니즘을 자율적으로 발견하는 과학적 도구로 AI를 활용하는 에이전트 시스템인 Mechanist를 소개한다. 자율적 메커니즘 발견을 지원하기 위해 우리는 해석 가능성에 초점을 맞춘 약 13,000편의 논문으로 구성된 지식 그래프를 구축하고, 이를 26개 분야에 걸친 4,300만 편의 논문으로 구성된 다학제 데이터베이스와 통합했다. 또한 메커니즘 분석, 인과 개입, 검증을 위한 32가지 기초 방법론 라이브러리를 구축했다. Claude Code 및 기존 AI 과학자 시스템과 비교하여 Mechanist는 더 가치 있는 메커니즘 가설을 생성하고 실험을 더 안정적으로 수행한다. Mechanist는 또한 모델 행동 발견에서 AI 모델의 설명 및 제어로 이어지는 발전을 보여준다. 구체적으로 Mechanist는 먼저 과학 실험실에서 직관에 반하는 안전 위험을 발견하여, 겉보기에 안전한 훈련 데이터를 통해서도 불안전한 특성이 양식 간에 전이될 수 있음을 보여준다. 그런 다음 Mechanist는 믿음에 대한 메커니즘 이론을 개발하여 모델이 세계 지식을 어떻게 표현하고, 믿음을 형성하며, 타인의 믿음을 추론하고, 이러한 메커니즘이 사전 학습 중에 어떻게 출현하는지를 밝혀낸다. 마지막으로 Mechanist는 이러한 메커니즘 통찰력을 다양한 시나리오에서 모델 성능을 개선하고 과학 기반 모델이 특정 속성을 가진 DNA 서열을 생성하도록 유도하는 실용적 개입으로 전환한다.

대규모 언어 모델(LLM)은 점차 에이전트로서 작동하며, 절차적 지식은 재사용 가능한 스킬 패키지에 저장되어 추론 시점에 로드된다. 스킬 라이브러리가 성장함에 따라, 제한된 컨텍스트 예산 하에서 가장 작지만 충분한 실행 가능 컨텍스트를 노출하는 것이 핵심 과제로 떠오른다. 기존 시스템은 전체 스킬 수준 이하의 루틴을 재사용하고, 압축 과정에서 절차적 계약을 보존하며, 압축된 루틴을 실행 가능하고 확장 가능한 상태로 유지하고, 스킬이 진화함에 따라 압축된 라이브러리를 갱신하는 데 어려움을 겪는다. 이러한 과제는 단위 불일치에서 비롯된다. 즉, 스킬은 패키지 단위로 검색되고 텍스트로 압축되며 검색 이후에만 실행 그래프로 변환되는 반면, 신뢰할 수 있는 재사용을 위해서는 계약을 수반하는 절차적 단위가 필요하다는 점이다. 우리는 SkillZip을 제안한다. SkillZip은 섹션 수준 그래프에 대해 계약 보존 압축을 수행하는 실행 인식 절차 추상화 프레임워크이다. SkillZip은 경계 시그니처, 의존성 폐쇄, 검증기 도달 가능성, 소스 수준 확장을 보존하면서 반복되는 계약 유효 모티프를 가역적 이식 매크로로 재작성한다. 추론 시점에 SkillZip은 컴팩트하고 의존성이 폐쇄된 컨텍스트를 복원하며, 필요한 경우에만 매크로를 확장한다. ReZip은 나아가 실행 증거를 활용하여 새로운 스킬을 통합하고 위험한 매크로를 수정한다. 기술 및 구현 에이전트 벤치마크에 대한 포괄적인 실험 결과, SkillZip은 가장 강력한 기준선 대비 최대 12.2포인트 높은 성능을 보였으며, 99.2%의 의존성 보존과 98.7%의 검증기 도달 가능성을 갖춘 3.46배의 압축률을 달성했다. 확장성 분석은 또한 200개에서 100K개에 이르는 스킬 라이브러리 전반에 걸쳐 강건한 검색을 확인한다.

대규모 언어 모델(LLM)의 급속한 발전은 개방적이고 유연한 인터랙티브 스토리텔링을 가능하게 함으로써 게임용 AI에 혁명을 일으키고 있다. 그러나 기존 연구는 제약 없는 사용자 개입에 맞서 장기적 논리 일관성과 서사 무결성을 유지해야 하는 핵심 과제를 대체로 간과해 왔다. 이에 우리는 이 과제를 서사 약속 보존(Narrative Commitment Preservation, NCP)으로 정식화하고, 인터랙티브 내러티브를 테스트베드로 삼는다. 본 논문에서는 영화 시놉시스에서 도출한 100개의 내러티브 환경으로 구성된 벤치마크인 NCP-Bench를 소개한다. 각 환경은 플레이어 에이전트와 내레이터 에이전트 간의 상호작용 전반에 걸쳐 자동으로 검증할 수 있는 구조화된 내러티브 명세(궤적, 커밋먼트, 초기 사실)를 포함한다. 최첨단 LLM들을 대상으로 한 실험은 상당한 장기적 일관성 격차를 드러낸다. 높은 언어 품질이 커밋먼트 보존을 보장하지 않으며, 강력한 모델조차도 적대적 개입 하에서 논리적으로 상충되는 내용을 빈번히 생성한다. 최고 성능을 보인 모델(GPT-5.2)은 20턴 후 생존율이 42%에 그쳤고, 사실 충돌률은 모델별로 40%~68%에 달했으며, 100턴 제한 내에서 모든 달성 커밋먼트를 충족한 실행은 극히 일부에 불과했다.

프리비주얼라이제이션은 영화, 게임, 건축 및 도시 설계에서 아이디어와 제작 사이의 중간 계층이다. 이를 통해 창작자는 장면, 동작, 카메라 및 시공간적 역학을 반복적으로 정교화할 수 있다. 그러나 기존 생성 방법은 원샷 이미지 또는 비디오 합성을 통해 이러한 모든 요소를 공동으로 제어하기 위해 단순한 프롬프트에 의존하므로, 제어 가능성이 약하고 반복적 편집에 대한 지원이 제한적이다. 근본적으로, 하나의 세계는 기하학, 외관 및 기타 속성을 가진 여러 요소와 카메라로 구성된다. 서로 다른 프레임은 대부분 재사용되는 공유 상태의 부분적 수정 또는 재조합을 통해 생성된다. 따라서 우리는 누락된 구성 요소가 명시적이고 지속적인 작업 상태라고 주장한다. 이를 해결하기 위해, 생성형 프리비주얼라이제이션을 위한 상태 중심 프레임워크인 StateFlow를 제시한다. StateFlow는 비디오를 원샷으로 생성하는 대신, 편집 가능한 3D 월드를 사용하여 장면 구조, 진화 및 카메라를 구성하며, 더 높은 충실도가 필요할 때 기성 비디오 모델이 시각적 품질을 향상시킨다. 이 월드는 장면 요소와 카메라 구성의 지속적인 구조화된 3D 상태로 유지되며, 프리비주얼라이제이션의 핵심 작업 표현 역할을 한다. 이러한 통찰력을 바탕으로 StateFlow는 월드 상태를 구축, 진화 및 접근하는 세 가지 단계로 구성된다. 상태 구축은 사전 기반의 충돌 인식 이중 뷰 초기화를 통해 생성된 2D 콘텐츠를 일관된 3D 월드로 승격시키며, 상태 진화는 월드 메모리를 보존하면서 사용자 의도를 구조화된 상태 전이로 변환하여 각 편집에 대해 전체 장면 재생성을 피한다. 상태 접근은 렌더 피드백 기반 성찰을 통해 카메라 계획을 시각적으로 실행 가능한 궤적으로 정제함으로써 VLM 의미론에만 의존하지 않는다. 실험 결과는 StateFlow가 비디오 제작 및 게임형 프로토타이핑을 위한 고품질 3D 월드를 생성함을 보여준다.

최근 비전 파운데이션 모델(VFM)은 장면별 최적화 없이 단일 순전파만으로 깊이, 카메라 포즈, 포인트맵을 예측하며 강력한 일반화 성능을 보인다. 그러나 번들 조정(bundle adjustment)과 같은 명시적 다중 시점 기하 일관성의 강제는 계산 비용이 높아 VFM 사전학습 중에는 적용되지 않으므로, 예측 결과에 기하적 비일관성이 발생할 수 있다. 이를 해결하기 위해 기존 연구에서는 모델 출력(예: 포인트맵, 특징)에서 도출된 암시적 자기 일관성을 테스트 시점에 부과하지만, 특히 사전학습된 VFM의 정확도가 낮은 장면에서는 성능 향상이 근본적으로 제한적이다. 이와 같은 암시적 신호와 달리, 본 논문은 2D 픽셀 대응점을 의사 지상 실측으로 사용하여 명시적 다중 시점 기하 제약을 직접 부과하는 플러그 앤 플레이(plug-and-play) 테스트 시 적응 파이프라인인 Self-Geometry를 제안한다. 제안하는 Self-Geometry는 기울기 충돌을 방지하기 위해 기울기 분리(Gradient Disentanglement)를 적용하여 다중 시점 일관성(Multi-View Consistency) 손실과 에피폴라 일관성(Epipolar Consistency) 손실을 결합하는 기하 분리 최적화(Geometric Disentanglement Optimization), SO(3) 측지 거리에 기반하여 이러한 제약을 경량으로 부과하는 뷰 샘플러인 프레임 각도 이웃(Frame Angular-Neighbor), 그리고 LoRA를 통해 VFM을 적응시키는 경량 TTA(Lightweight TTA)로 구성된다. 본 방법은 6개의 VFM(VGGT, π³, DA3-Giant/Large/Base/Small)과 4개의 벤치마크(7Scenes, ETH3D, ScanNet++, HiRoom)에서 포즈 및 지오메트리 추정 성능을 일관되게 향상시킨다.

세계 모델링(World modeling)은 아직 정립되지 않은 분야이다. 아키텍처, 학습 목표, 상태 표현이 복잡한 방식으로 상호작용하며, 모든 환경을 지배하는 단일 레시피는 존재하지 않는다. 이러한 특성은 자율 연구자로 작동하는 AI 코딩 에이전트에게 이상적인 테스트베드가 된다. 이 설정에서는 현재 에이전트 벤치마크를 지배하는 사양 기반 엔지니어링 과제와 달리 개선 방향이 사전에 지정되지 않기 때문이다. 우리는 AutoWorldModel-Bench를 제안한다. 이는 최첨단 코딩 에이전트가 고정된 계산 예산 하에서 제공된 세계 모델 스타터를 자율적으로 개선하는 폐루프(closed-loop) 벤치마크이다. 이 벤치마크는 통합된 구조화 상태 표현(structured-state representation)—각 게임에서 추출된 실제(ground-truth) 엔티티 상태를 공유 텐서 형식으로 소비하는 방식—을 기반으로 8개의 게임 환경을 포괄하며, 이를 통해 역학(dynamics) 모델링을 지각(perception)으로부터 분리하고 실행당 수 분이면 반복을 완료할 수 있다. 64개 세션에서 Codex-5.4와 Claude Opus 4.6은 63개 세션에서 스타터를 개선했으며, 세션의 91%에서 승리한 수정은 하이퍼파라미터 조정이 아닌 새로운 목표, 표현, 롤아웃 절차, 또는 아키텍처 변경과 같은 사소하지 않은 연구 스타일의 수정이었다. 우리의 벤치마크는 최첨단 코딩 에이전트가 사양 기반 엔지니어링 문제가 아닌 개방형 연구(open-ended research)에 대해 평가될 수 있는 환경을 제공한다.

임보디드 에이전트는 점차 파운데이션 모델을 중심으로 한 시스템으로 구축되고 있으며, 그 성능은 모델 가중치뿐만 아니라 모델을 둘러싼 스킬, 컨텍스트, 동작 인터페이스, 실행 하네스에 의해 결정된다. 지도 파인튜닝과 강화 학습은 에이전트를 새로운 환경에 적응시킬 수 있지만, 추가 데이터, 보상, 학습 실행이 요구된다. 한편, 학습-프리 코드 중심 접근법 중 다수는 프로그래머블 로봇 API에 의존하는데, 이러한 API는 고정 인터페이스 환경에서는 사용할 수 없을 수 있다. 본 논문에서는 모델 파라미터를 동결한 채 대상 환경 롤아웃을 통해 재사용 가능한 스킬과 컨텍스트-코드 하네스를 진화시켜 비모수적 에이전트 시스템을 개선하는, 학습-프리 임보디드 적응을 위한 자기 진화 프레임워크 SHAPER를 제안한다. SHAPER에서 동일한 동결 모델이 플래너와 옵티마이저를 겸하며, 파라미터 업데이트 없이 외부 스킬과 컨텍스트-코드 하네스를 정교화한다. 우리는 서로 다른 저수준 동작 인터페이스를 가진 임보디드 에이전트를 포괄하는 VLABench와 ESI-Bench에서 SHAPER를 평가하고, 순수 실행, 지도 파인튜닝, 그리고 검증기 없는 선택 및 보팅과 같은 테스트-시간 확장 기준선과 비교한다. 실험 결과는 모델 학습에 비용이 많이 들거나, 학습이 불가능하거나, 바람직하지 않은 상황에서 스킬-및-하네스 최적화가 자기 진화 임보디드 에이전트로 가는 실용적 경로임을 시사한다.

외부 도구와 통합된 대규모 언어 모델(LLM) 에이전트는 환경 상태에 삽입된 간접 프롬프트 인젝션에 취약하다. 그러나 기존 연구는 주로 수동으로 구현되거나 재사용된 환경, 확률적 LLM 기반 도구 시뮬레이션, 사전 정의된 인젝션 위치에 의존하여 더 넓은 도메인에 걸친 확장 가능한 보안 연구를 제한한다. 이러한 격차를 해소하기 위해 우리는 인간의 엔지니어링을 줄이고 추가 시드 도메인과 컴퓨팅으로 확장을 지원하는 확장 가능한 적대적 환경 합성 프레임워크인 **ToolHazard**를 제안한다. ToolHazard는 환경 시뮬레이터, 공격자 에이전트, 사용자 시뮬레이터를 통해 실행 가능한 상태 저장 환경을 합성하고, 유효한 인젝션 지점을 발견하며 환경별 페이로드를 생성하고, 상태 기반 장기 과제를 구축한다. ToolHazard를 기반으로 복잡한 워크플로우와 다양한 환경 공격 하에서 에이전트를 스트레스 테스트하기 위한 **ToolHazard-Bench**를 구축한다. 실험은 상당한 에이전트 취약점을 드러내며, 인젝션 시점과 위치가 공격 효과에 영향을 미침을 보여준다. 또한, ToolHazard가 생성한 정렬 데이터는 ToolHazard-Bench와 AgentDojo 모두에서 보안을 개선하면서 정상 작업 유용성을 보존한다.

세계는 그 역학, 즉 운동 법칙을 따라 진화한다. 그러나 주요 비디오 확산 모델들은 픽셀이 시간에 따라 어떻게 전이하는지 모델링하지 않고 주로 픽셀에 맞추는 데 그친다. 따라서 시각적으로 그럴듯한 프레임을 생성할 수 있지만 물리 법칙을 정확히 따르지 못할 수 있다. 픽셀로부터 역학을 순수하게 포착하기 위해, 우리는 잠재 역학 추론(Latent Dynamics Reasoning, LDR)을 제안한다. LDR은 잠재 전이를 명시적 운동학적 적분으로 표현한다. 여기서 저차 역학은 수치적으로 적분되며, 모델은 롤아웃을 추동하는 3차 이상의 고차 잔차만 회귀한다. 이 적분이 더 잘 외삽되도록, LDR은 밀집 합성곱 특징 대신 구조화된 잠재 표현 상에서 적분을 수행한다. PhyWorld에 따라, 우리는 LDR을 다섯 가지 과제(등속 운동, 포물선 운동, 충돌, 튕김, 접근)를 포괄하는 통제된 화이트박스 물리 벤치마크에서 검증하며, 모델이 기저 역학을 진정으로 학습했는지 드러내는 분포 외 시나리오에 초점을 맞춘다. LDR은 학습된 역학을 훨씬 더 잘 외삽한다. 256² 해상도의 단일 과제 및 다중 과제 훈련 모두에서 분포 내 오류와 분포 외 오류 간의 격차가 비디오 확산 베이스라인보다 20배 이상 작으며, 파라미터 수는 26배 적고 실행 속도는 143배 빠르다. LDR은 심각한 분포 변화에서도 일반화할 수 있다. 예를 들어, 왼쪽에서 오른쪽으로 움직이는 빨간 공으로만 훈련되었음에도 오른쪽에서 왼쪽으로 움직이는 파란 사각형의 운동을 정확히 예측한다. 우리가 아는 한, 이는 학습된 역학을 훈련 분포 너머로 외삽하는 최초의 비디오 세계 모델이다. 프로젝트 페이지: https://lat-dyn-reason.github.io/

유리를 통해 촬영된 비디오에는 시각적 품질을 저하시키고 하위 비전 작업을 방해하는 반사가 자주 포함된다. 단일 이미지 반사 제거는 광범위하게 연구되어 왔지만, 비디오 반사 제거는 쌍을 이루는 비디오 데이터, 시간적으로 일관된 제거 모델, 그리고 전용 평가 벤치마크의 부족으로 인해 여전히 크게 탐구되지 않은 상태로 남아 있다. 본 논문은 물리 기반 반사 시뮬레이션, 확산 기반 비디오 반사 제거, 벤치마크 평가를 통합하는 폐루프 프레임워크를 제시한다. 우리의 S2R-Synthesis 파이프라인은 구조 공간에서 물리 기반 증강을 수행하고 학습된 비디오 확산 렌더러로 실제적인 반사 비디오를 렌더링하여 쌍을 이루는 반사 및 무반사 비디오를 생성한다. 이 증강은 거칠기 유발 블러, 두께 유발 고스팅, 반사율 변화를 포함한 주요 유리 관련 효과를 모델링한다. 합성 데이터를 기반으로, 우리는 반사 인식 잠재 적응과 단일 단계 픽셀-기하 정제를 통해 사전 학습된 비디오 확산 사전 지식을 적응시켜, 단일 노이즈 제거 단계에서 깨끗한 투과 성분을 복구하는 최초의 확산 기반 비디오 반사 제거 모델인 S2R-Removal을 도입한다. 또한, 비디오 반사 제거를 위한 최초의 벤치마크인 S2R-Bench를 구축하여 전체 참조 평가와 실제 인간 지각 평가를 모두 지원한다. S2R-Bench 및 여러 공개 이미지 벤치마크에 대한 실험은 최첨단 성능과 비확산 기준선보다 빠른 추론 속도를 입증하며, S2R-Synthesis의 효과성을 검증한다. 프로젝트 페이지: https://codingwzp.github.io/VideoDereflection_S2R.

"이미지와 함께 사고하기" 패러다임은 다중모달 LLM에 크롭-및-확대(crop-and-zoom)와 같은 능동적 시각 연산을 장착한다. 그러나 이러한 연산을 사용하는 모델들은 직접 추론에 비해 상당히 높은 토큰 비용을 지불하면서도 미미하거나 오히려 부정적인 성능 향상만을 얻는 경우가 많다. 또한 관련 없는 영역을 반복적으로 크롭할 수 있으며, 직접 추론이 정확히 답하는 질문에 대해서는 실패하기도 한다. 우리는 반환된 시각 증거가 답변에 인과적으로 영향을 미치는지 묻는다. 이 질문에 답하기 위해, 우리는 시각 도구 사용을 관찰 매개 경로와 행동 유발 지름길(shortcut)을 분리하는 인과 그래프로 공식화한다. 그런 다음 정책(도구 사용과 직접 추론 비교), 궤적(롤아웃 중 모든 관찰 손상), 단계(고정된 접두사 하에서 개별 관찰을 반사실적으로 대체)의 세 수준에서 개입을 통해 이를 검증한다. 우리의 단계 수준 추정량인 시각 증거 이득(Visual Evidence Gain)은 각 반환 관찰의 기여도를 분리한다. 6개의 대표적 모델과 5개의 세밀한 지각 벤치마크에 걸쳐, 우리는 두 가지 실패 모드를 가진 정책 오보정(policy miscalibration)을 발견한다. "보지 않고 호출하기(Calling Without Looking)"에서 반환된 관찰은 답변에 인과적 효과가 없다. "계획 없이 보기(Looking Without Planning)"에서 관찰은 정보를 제공하지만 호출 일정이 비일관적이다. 궤적 수준 진단은 정책 수준의 정확도 향상을 분해하며, 그 향상이 보정된 소수(Calibrated minority)에 집중되어 있음을 보여준다. 우리는 이러한 불일치를 시각 도구 사용의 환상(illusion of visual tool-use)이라 명명한다: 총체적 정확도 향상에도 불구하고, 시각 도구 사용은 광범위한 롤아웃에 걸쳐 인과적으로 효과적이지 않다. 코드는 https://github.com/OpenCausaLab/CauAudit 에서 확인할 수 있다.

대규모 언어 모델(LLM) 기반 에이전트 시스템은 비즈니스 아이디어 창출에 새로운 기회를 열어주었다. 하지만 기존 접근 방식은 실세계 맥락이 본질적으로 다중 모달임에도 불구하고 여전히 텍스트 전용 패러다임에 머물러 있다. 이에 우리는 비즈니스 아이디어 창출 에이전트를 훈련하고 평가하기 위한 최초의 다중 모달 벤치마크인 MBA-Bench를 소개한다. MBA-Bench는 여섯 개 도메인에 걸쳐 30K개의 샘플로 구성되며, 각 도메인은 텍스트만으로는 완전히 전달되지 않는 고유한 시각적 단서를 특징으로 한다. 구체적으로, 우리는 이미지를 자동으로 캡셔닝하고 GPT-4o를 활용하여 검색 쿼리 생성, 시장 증거 검색, 증거 증강 합성 과정을 통해 세 가지 비즈니스 질문 각각에 대해 다섯 개의 참조 아이디어를 생성한다. 이전 연구에 따라, 우리는 MLLM-as-a-Judge를 사용하여 여섯 가지 비즈니스 중심 기준으로 에이전트를 평가한다. 기준이 숨겨지거나 공개되는 설정을 모두 고려하기 위해, 우리는 각각 블라인드(blind) 및 노운(known) 설정을 위한 MBA-b와 MBA-k를 제시한다. 두 모델 모두 창의성과 실현 가능성이라는 두 가지 새로운 보상 목표로 훈련되며, MBA-k는 추가로 공개된 여섯 가지 기준을 최적화하여 총 8개의 목표를 최적화한다. 두 모델은 LoRA 기반 지도 미세 조정으로 훈련한 후, 설정별 보상을 사용하는 그룹 상대 정책 최적화(GRPO)를 적용한다. MBA-Bench에서의 광범위한 실험을 위해 우리는 캡션 전용 또는 다중 모달 입력을 처리하는 두 가지 베이스라인을 구축했으며, 후자는 여러 지표에서 클로즈드소스 모델의 성능에 근접한다. MBA-b와 MBA-k는 캡션 베이스라인을 각각 63.9%와 77.1% 능가하고, 다중 모달 베이스라인을 각각 25.6%와 35.8% 능가한다.

복잡한 소프트웨어 시스템은 개별 코딩 에이전트의 수명을 초과하는 기간에 걸쳐 개발된다. 대부분의 에이전트 기반 소프트웨어 시스템은 지속적 세션, 메모리, 관리자 또는 공유 컨텍스트를 통해 연속성을 유지한다. 우리는 EvoX Genesis(이하 Genesis)를 소개하는데, 이는 로컬 에이전트가 유한한 수명을 유지하도록 하면서 소프트웨어 프로젝트 자체를 지속적으로 유지한다. Genesis는 소프트웨어를 지속적 재귀 세계(recursive world)로 표현한다. 각 로컬 세계는 승인된 버전과 저장소 경로에 의해 정의되며, 유한 수명의 에이전트는 로컬 변경을 제안하고, 재귀적 위임은 경로 간에 작업을 이동시키며, 승인된 결과만이 지속적 버전 이력을 진행시킨다. 우리는 이러한 조직을 형성(formation), 지속(continuation), 재개발(redevelopment) 측면에서 평가한다. 컴파일러 구현이 없는 저장소에서 시작하여, Genesis는 DeepSeek V4 Flash를 사용하여 약 25만 개의 추적된 코드 라인을 가진 Rust 기반 C 컴파일러를 구축했다. 이 실행은 120시간 이상 지속되었고, 1,000개 이상의 에이전트 에피소드를 기록했으며, 모델 토큰 비용은 미화 44달러에 불과했다. 이 컴파일러는 전체 c-testsuite와 대부분의 LLVM 및 Csmith 테스트를 통과했다. GLM 5.2로 생성된 별도의 컴파일러 세계에서는 에이전트를 반복적으로 교체한 후에도 개발이 계속되었으며 전체 테스트 성능을 유지했다. Genesis는 또한 10만 줄이 넘는 Fortran 코드로 구성된 13개의 MESA 모듈을 약 9만 줄의 Rust 코드로 구성된 Rust 워크스페이스로 재구현했다. 6개의 수치 연산 워크로드에서 중앙값 속도 향상 1.55배~6.87배를 달성했다. 이러한 결과는 장기적 소프트웨어 개발이 지속적 에이전트가 아닌 지속적 프로젝트를 중심으로 구성될 수 있음을 보여준다.

탐색은 오랫동안 강화 학습 연구의 핵심 주제였다. 최근에는 탐색이 LLM 강화 학습 레시피에서도 중요한 요소이며 다운스트림 성능에 큰 영향을 미칠 수 있다는 증거가 늘어나고 있다. 많은 기존 방법들은 예를 들어 온도 스케일링을 사용하여 행동 공간에서 탐색을 제어한다. 그러나 이러한 방법들은 토큰의 순서를 바꿀 수 없고 출력 분포의 분산에만 영향을 줄 뿐이다. 이는 탐색을 제한하고 발산이나 훈련 정체를 초래할 수 있다. 본 연구에서는 서로 다른 롤아웃을 각각 탐색할 수 있는 사후 분포에서 정책들을 샘플링하여 롤아웃을 생성하는 파라미터 공간 탐색을 조사한다. 다양성이 낮거나 높은 정책을 샘플링하는 것은 탐색에 대한 보완적인 제어 수단이 된다. 우리는 다양한 샘플링 전략과 롤아웃 그룹화를 사용하는 Perturbed Parameter Policy Optimization(3PO)라는 방법군을 소개한다. OLMo-3-1025-7B 및 Qwen2.5-Math-7B를 대상으로 한 수학적 추론 및 코드 생성 작업 실험은 이러한 접근 방식이 거의 동일한 FLOPs 비용으로 표준 GRPO보다 평균 다운스트림 성능을 일관되게 향상시킴을 보여준다. 또한 여러 파라미터 샘플을 사용하면 훈련 중 GRPO 및 행동 공간 기준 방법보다 어드밴티지가 0인 그룹과 형식이 잘못되었거나 부정확한 롤아웃이 지속적으로 더 적게 생성된다. 전반적으로 본 연구는 파라미터 공간 탐색이 LLM 강화 학습을 개선할 수 있다는 증거를 제시한다.

범주형 생성을 위한 이산 확산 모델은 오염 커널에 의해 정의되며, 이 커널은 중간 상태 공간과 관련된 역방향 예측 문제를 결정합니다. 우리는 균일 이산 확산을 연구하고, 기반이 되는 범주형 오염 과정을 변경하지 않고 학습 목적 함수와 역방향 전이를 확장할 수 있는지 묻습니다. 우리는 각 오염된 범주형 상태를 보조 심플렉스 값 변수와 결합하면서 원래의 균일 확산 과정을 범주형 주변 분포로 보존하는 정확한 디리클레-범주형 증강인 Simplax를 도입합니다. 이 증강은 노이즈 제거기 입력으로 오염된 범주형 상태를 유지하면서, 계산 가능한 라오-블랙웰 역방향 브리지 목적 함수와 그에 상응하는 확률적 역방향 샘플러를 제공합니다. 실험적으로, Simplax는 비조건부 OpenWebText 생성에서 생성 perplexity-엔트로피 트레이드오프를 개선합니다. 스도쿠에서는 오직 30-힌트 퍼즐로만 훈련된 모델이 최소 유일 해결 가능 17-힌트 영역을 포함한 모든 평가된 힌트 밀도에서 비교 방법들 중 가장 높은 정확도를 달성하며, 비조건부 생성에서도 가장 높은 유효성을 달성합니다.

지배적인 패러다임은 AI 안전성을 RLHF, DPO, 또는 Constitutional AI를 통해 모델 훈련 중에 주입되는 속성으로 취급한다. 우리는 코드를 실행하고, 파일을 변경하고, 메시지를 전송하며, 데이터베이스를 수정하는 자율 에이전트에게 이는 구조적으로 불충분하다고 주장한다. 에이전트 안전성은 하네스가 집행하는 런타임 계약이어야 하며, 그 계약은 두 가지 상호 보완적 측면을 가진다. 예방적 측면은 샌드박스, 권한 게이트, 출력 필터, 궤적 모니터를 통해 위험한 행동이 발생하기 전에 차단한다. 증거적 측면은 좋은 행동이 실제로 발생했다는 검증 가능한 증거를 요구하며, 테스트 실행, 로그 캡처, 파일 diff, 인용 근거와 같은 확실한 증거에 과업 제출을 게이팅한다. 우리는 이러한 입장을 네 가지 공개 증거에 근거하며, 행 수준의 프로토콜과 데이터는 보충 JSON 파일로 공개한다: 문서화된 52건의 AI 에이전트 및 LLM 안전 사고에 대한 조사, 이의가 제기되지 않은 31건의 핵심 사례와 이의가 제기된 1건의 예시 사례로 구성된 허위 완료 감사, 12개의 공개 에이전트 시스템 및 하네스에 대한 궤적 스키마 감사, 그리고 2023~2025년 NeurIPS, ICML, ICLR에 채택된 전체 28,560편의 논문에 대한 제목 수준 감사(세 학회 합산 시 훈련 시점 관련 출판과 배포 시점 관련 출판 간 8~12배의 불균형을 보여준다). 안전성 집행이 필요했던 두 선행 커뮤니티, 즉 컴퓨터 보안과 실험 과학은 예방적 요소와 증거적 요소를 모두 갖춘 런타임 계약으로 수렴했다. 에이전틱 AI는 이제 동일한 압력에 직면해 있다. 우리는 에이전트 궤적 스키마와 증거 체인을 정형화하고, 표준 모니터 합성에 기반한 구성적 게이팅 명제를 제시하며, 연구 의제를 개괄한다. 에이전틱 AI에서 안전성의 올바른 단위는 검증 가능한 증거를 갖춘 궤적이지, 모델이 아니다.

대규모 언어 모델(LLM)의 다중 모달 확장은 새로운 지각 능력을 가능하게 하지만, 사전 학습 중에 획득한 언어 지능을 종종 저하시킵니다. 본 연구에서는 내부 적응 역학의 관점에서 이러한 현상을 조사하고, 사전 학습된 LLM의 뉴런이 다중 모달 학습 중에 이질적인 가소성을 보인다는 것을 발견했습니다. 즉, 일부 뉴런은 언어 능력을 유지하는 데 중요하고, 다른 뉴런은 다중 모달 지식에 더 적응적입니다. 이러한 통찰을 바탕으로, 우리는 뉴런 수준의 업데이트 제약을 다중 모달 지시 튜닝 중에 할당하는 경량화되고 아키텍처에 구애받지 않는 프레임워크인 NeuPAT(Neuron-aware Plasticity Allocation Tuning)를 제안합니다. NeuPAT는 소규모 프로빙 단계를 사용하여 뉴런 적응 패턴을 추정하고, 언어에 민감한 뉴런을 선택적으로 보호하면서 더 가소성이 높은 뉴런을 통해 다중 모달 적응을 촉진합니다. 다양한 LLM 계열에 걸친 실험은 NeuPAT가 11개 언어 벤치마크에서 기본 튜닝으로 인한 언어 능력 저하의 94.5%를 회복하고, 유사한 다중 모달 성능을 유지하여, 능력 보존형 다중 모달 확장을 위한 효과적인 접근법을 제공함을 보여줍니다.

실제 환경(in-the-wild) 이미지에서 사람의 시선 대상을 추정하는 것은 중요하면서도 난이도가 높은 작업이다. 기존 접근법들은 주로 취약한 다단계 파이프라인을 사용하며, 시선 분석 대상을 식별하기 위해 머리 경계 상자와 인간 자세 같은 명시적 입력을 요구한다. 그 결과, 검출 오류가 연쇄적으로 발생하여 실패로 이어질 수 있다. 게다가 이러한 기존 연구들은 자연어 프롬프팅을 통해 시선 분석 작업을 지정하는 유연성이 부족하다. 자연어 프롬프팅은 다른 이미지 분석 작업에서 편의성과 확장성 측면에서 큰 이점이 있는 것으로 입증된 접근법이다. 이러한 한계를 극복하기 위해, 우리는 시선 분석을 위한 새로운 종단 간(end-to-end) 개념 기반 패러다임인 프롬프트 가능한 시선 대상 추정(Promptable Gaze Target Estimation, PGE) 작업을 제안한다. PGE는 유연한 사용자 텍스트 또는 시각적 프롬프트(예: "빨간 셔츠를 입은 소년" 또는 "[0.52, 0.48] 지점의 사람")를 조건으로 시선 예측을 수행하여, 시선 분석을 위한 특정 대상을 식별한다. 이 접근법은 대상 위치 파악과 시선 추정을 통합하고, 중간 분석 단계에 대한 경직된 의존성을 제거한다. 우리는 확장 가능한 데이터 엔진을 개발하여, 프롬프트 주석이 달린 12만 개의 고품질 이미지 쌍으로 구성된 데이터셋 및 벤치마크인 Gaze-Co(Gaze Estimation with Concepts)를 생성한다. 또한 PGE를 위해 설계된 최초의 모델인 GazeAnywhere를 제안한다. GazeAnywhere는 트랜스포머 기반 검출기를 사용하여 고정된(frozen) 인코더의 특징을 융합하고, 대상 위치 파악, 프레임 내/외 존재 여부, 시선 대상 히트맵 추정을 동시에 해결한다. GazeAnywhere는 여러 PGE 벤치마크에서 최첨단 성능을 달성하며, 어려운 도메인 외(out-of-domain) 실제 임상 데이터셋에서도 이 새로운 문제에 대한 강력한 베이스라인을 제시한다. GazeAnywhere는 github.com/IrohXu/GazeAnywhere에서 오픈소스로 공개된다.

많은 대규모 언어 모델(LLM) 에이전트로 구성된 사회를 시뮬레이션하는 것은 비용이 많이 들지만, 그러한 시뮬레이션에 제기되는 질문은 대개 거시적이다: 위상 거동, 양식화된 사실, 에이전트 수 N에 따른 스케일링이지, 어느 단일 에이전트의 인지가 아니다. 우리는 통계물리학적 관찰을 하나의 방법으로 전환한다: 각 LLM 에이전트를 수백에서 수천 번의 저비용 쿼리로 적합시킨 저파라미터 모델로 대체한 다음, 임의의 N에서 노트북으로 사회를 실행하는 것이다. 이 방법의 작동 여부는 시뮬레이션이 실행되기 전에 결정되며, 주로 각 에이전트가 지각하는 바에 달려 있다. 우리는 지각과 기억을 유효 이론 및 대리 오차의 예측된 N-추세에 매핑하는 [상호작용 차수 × 기억] 분류 체계를 도입한다. 우리는 이를 LLM 거시경제 모델 EconAgent의 충실한 재구현과 일곱 가지 추가 명명 LLM 시뮬레이션에서 검증한다. 에이전트 결정은 수 달러의 비용으로 실제 LLM 도출(주로 DeepSeek)에서 복제되었다. 예측된 오차 추세는 셀별로 유지되며, 강하게 포화되는 반응에 대한 두 가지 반증된 예측—둘 다 그 곡률에 기인한 것—은 자유 파라미터 없이 이론에 의해 정량적으로 일치한다.

비전-언어-행동(VLA) 모델이 구현형 AI를 발전시켰지만, 이들의 근본적으로 반응적인 패러다임은 부분 관측 가능하고 장기적인 과제에서 성능을 심각하게 제한한다. 단일 손목 장착 카메라로 제한될 때, 이러한 모델은 객체가 시야를 벗어남에 따라 지각 망각과 다단계 실행 중 시간적 작업 진행 망각을 필연적으로 겪는다. 이러한 병목을 극복하기 위해, 우리는 직접적인 반응적 조작에서 지속적인 세계-자아 상태를 통한 능동적 추론으로 전환하는 새로운 프레임워크인 AtlasVLA를 제안한다. AtlasVLA는 이중 메모리 아키텍처를 특징으로 한다: 일시적인 2D 관측을 전역적으로 갱신되는 복셀 해시 공간 상태로 승격시켜 시각적 사각지대를 해결하는 4D 지속 세계 상태 메모리(4D Persistent World State Memory)와, 과거 자아 상태와 작업 진행 상황을 추적하는 자아 작업 상태 메모리(Ego-Working State Memory)가 그것이다. 결합된 세계-자아 상태에 확산 트랜스포머(DiT)를 조건화함으로써 AtlasVLA는 강건한 공간 추론을 가능하게 한다. LIBERO, RLBench 및 실제 환경 벤치마크에 걸친 광범위한 평가는 AtlasVLA가 손목 카메라만을 사용하여 최첨단 성능을 달성함을 입증한다. 놀랍게도, 이는 다중 뷰 베이스라인을 압도적으로 능가하며, LIBERO-Long에서 9.4%, 실제 환경 장기 과제에서 17.5%의 절대적 성공률 향상을 달성한다.

LLM 에이전트 서비스는 모델 호출과 도구 호출 사이에서 결과 라우팅, 상태 업데이트, 다음 효과 생성을 포함한 작은 결정적 전이를 반복적으로 실행한다. 우리는 이 제어 경로가 GPU 실행에 충분한 동시 작업을 노출하는 조건과, GPU가 계산한 라우팅 결정이 디바이스에 남아 있을 때 무엇이 달라지는지를 묻는다. 고정 분할 점유율(F), 정확한 오프라인 점유율(P*), 로컬 상한(U), 온라인 달성 점유율(A)을 사용하여 준비 코호트 경계를 정식화한다. 서비스 시간이 0이고 용량이 무제한이며 상대적 시작 마감이 동일한 조건에서, 전용 동적 프로그램이 P*를 정확히 계산한다. 고정된 851세션 공개 트레이스 패널의 정상 푸아송 재연에서, 목표 활성 세션 100,000개, K=256, 시작 마감 50ms인 기준 조건은 F=30.19%, P*=43.00%, U=45.85%를 산출한다. 정확한 패킹은 고정 창 경계로 인해 상실된 기회의 81.83%를 회복한다. 결과로부터 파생된 라우팅 키는 조건화 대리 변수일 뿐, 실행 대상의 정체성을 증명하지 않는다. 별도의 메커니즘 연구는 GPU가 계산한 이진 결정을 4바이트로 호스트에 반환하고 재디스패치하는 대신 디바이스에 유지한다. 네 개의 명명된 GPU 배치(placement) 전반에서 디바이스 상주 경로는 36개 구성 모두에서 더 빠르며, 배치 내 행 중앙값 비율은 1.19배에서 2.39배 범위이다. 두 허용 가능한 메커니즘 모두에서 테스트된 14,557,440개의 배치(batch) 호출은 별도로 구현된 호스트 오라클과 일치한다. 호스트 결정을 전혀 제거하지 않는 고정 중첩 디바이스 그래프는 다섯 개 배치(placement)에 걸친 60개 구성 모두에서 더 느리다. 종합하면, 이 연구들은 GPU 에이전트 제어를 위한 두 가지 측정 가능한 게이트, 즉 마감 기한에 맞는 코호트 공급과 관측 위치(placement)를 확립한다. A, CPU 대체(displacement), 서비스 수준 이점을 측정하려면 결합된 유한 온라인 런타임이 필요하다.

손 자세 추정(HPE)은 AR/VR 및 로봇 공학 등 다양한 응용 분야를 위한 기반 기술이다. 이러한 응용 분야에서는 폐색 상황에서 추정 결과의 신뢰성을 평가하는 데 이미지 내 각 손 관절의 가시성이 중요하다. 그러나 대부분의 기존 HPE 방법은 관절 위치를 출력할 뿐 해당 관절의 가시성을 명시적으로 나타내지 않는다. 일부 방법은 폐색이나 가시성을 고려하지만, 가시성 추정은 주로 자세 추정 성능을 향상시키기 위한 보조 신호로 사용되어 왔다. 우리가 아는 한, 관절별 손 가시성 추정은 독립적인 작업으로서 체계적으로 연구된 바 없다. 이에 본 연구에서는 개별 손 관절의 가시성을 추정하는 모델인 Hand Visibility Detector를 제안하고, 가시성 추정을 독립적인 작업으로 다루는 최초의 체계적 연구를 제시한다. 대규모 데이터로 사전 학습된 HPE 모델의 사전 지식을 백본으로 활용하면 이 작업에서 높은 성능을 얻을 수 있음을 보인다. 또한 2D 키포인트의 다중 시점 삼각 측량을 통한 3D 손 자세 주석이라는 다운스트림 작업에서 Hand Visibility Detector의 유용성을 입증하며, 가시성 가중 삼각 측량이 재투영 오차를 줄인다는 것을 보여준다. 제안 방법은 바로 사용 가능한 패키지로 공개되며, 코드와 데모는 https://github.com/ryhara/hand_visibility_detector 에서 확인할 수 있다.

ReRound(Reconstructive Rounding)는 양자화 구간의 중심 근처에 있는 가중치를 양자화할 때 표준 최근접 반올림(RTN) 방식에 내재된 중간점 모호성을 해결하는 사후 훈련 양자화 방법입니다. 사전 훈련된 LLM을 기반으로 ReRound는 조건부 확산 모델을 훈련하여 저비트 가중치의 연속 재구성을 생성합니다. 이렇게 재구성된 가중치는 구간 중간점 근처에 위치한 가중치의 반올림 방향을 명확히 하는 유도 신호로 작용합니다. 재구성 유도 반올림을 기존 RTN과 통합하기 위해 ReRound는 양자화된 가중치(최종 양자화 정수가 아니라)가 중간점에서 얼마나 떨어져 있는지를 측정하는 허용 오차 지표를 도입합니다. 중간점 주변의 허용 오차 영역 내에 있는 양자화 가중치는 확산 기반 재구성을 사용하여 양자화되는 반면, 양자화 경계에 더 가까운 가중치는 RTN으로 양자화됩니다. 허용 오차 매개변수를 탐색함으로써 ReRound는 여러 후보 양자화 정수 가중치 행렬을 생성하고, 주요 특이값이 원래 전체 정밀도 가중치의 특이값과 가장 유사한 역양자화 가중치 행렬 후보를 선택합니다. 선택된 후보가 ReRound가 사용하는 허용 오차 매개변수를 결정합니다. ReRound는 특히 소형 LLM에 효과적입니다. 다양한 소형 모델에서 3비트 및 4비트 가중치 양자화에 대해 표준 RTN보다 일관되게 우수한 성능을 보입니다. ReRound는 광범위한 보정 없는 방법들과 비교하여 우수한 정확도를 달성하고, 보정 의존적 접근 방식과도 경쟁력을 유지하며, 전적으로 오프라인으로 작동하여 저비트 추론 중 추가 오버헤드를 발생시키지 않습니다. ReRound 전략은 저비트 양자화를 위한 새로운 접근 방식을 나타냅니다. 이 방법은 LLM을 넘어 AI 모델에도 적용됩니다. 본 논문은 소형 LLM에 대한 적용에 초점을 맞춥니다.