번역이 포함된 일일 선별된 AI 연구 논문
장기 지평 검색 에이전트는 최종 답변에 도달하기 위해 검색, 검색 결과 확인, 증거 검증 및 통합을 수행하는 여러 순차적 행동(단계)을 수행해야 한다. 그러나 이러한 에이전트를 훈련하는 기존 방법은 일반적으로 지도 미세 조정(SFT)과 강화 학습(RL) 모두에서 궤적 내 모든 단계를 균일하게 처리하여 유용한 행동과 오류 또는 중복 행동을 구별하지 못한다. 본 논문에서는 희소한 궤적 수준의 결과를 밀집된 단계 수준의 감독 신호로 변환하여 실패한 궤적에서도 유용한 행동에 보상을 부여하고 오류 또는 중복 행동을 억제하는 세분화된 신용 할당 프레임워크인 답변 역추적 신용 할당(Answer-Backtracked Credit Assignment, ABC)을 제안한다. 구체적으로, 잠재적으로 난해한 질문과 해당 지상 진실 답변이 주어졌을 때, ABC는 먼저 답변 역추적 단서 복구(Answer-Backtracked Clue Recovery)를 수행하여 답변에서 역추적함으로써 문제 해결에 필요한 중간 단서들을 복구한다. 그런 다음 단서 고정 단계 채점(Clue-Anchored Step Scoring)을 적용하여 각 검색 단계를 이러한 단서와 대조하여 평가함으로써 희소한 이진 결과 감독 신호를 밀집된 단계 수준 보상으로 변환한다. 이러한 보상에 기반하여 각 턴의 손실을 재가중하는 ABC-SFT와 단계 수준 점수를 GRPO의 보상으로 사용하는 ABC-GRPO를 개발한다. 이 프레임워크를 기반으로 단 8.5k개의 예제만을 사용하여 Qwen3.5-4B 기반의 ABSeeker를 훈련한다. ABSeeker는 BrowseComp에서 37.3%, BrowseComp-ZH에서 39.1%의 성능을 달성한다. 컨텍스트 관리를 적용하면 점수는 각각 55.3%와 52.9%로 추가 개선되어 동일한 규모(4B)의 에이전트를 크게 능가하고 더 큰 규모(약 30B)의 에이전트 성능에도 필적한다. 이러한 결과는 장기 지평 검색 에이전트 훈련에 있어 답변 역추적 기반 단계 수준 신용 할당의 효과성을 입증한다.
텍스트-이미지(T2I) 모델은 시각적으로 매력적인 이미지를 생성할 수 있지만, 복잡한 의미 이해, 다단계 추론, 외부 세계 지식의 통합을 요구하는 오픈월드(open-world) 작업에서는 여전히 한계를 보인다. 기존 연구들은 이미지 생성에 에이전트 능력을 도입하고자 했으나, 고정된 작업 흐름을 규정하거나 오픈월드 이미지 생성 과정의 일부만 에이전트 제어 하에 두었다. 그 결과 추론, 도구 호출, 이미지 생성이 단일 정책에 의해 조정되지 못했다. 우리는 통합 멀티모달 모델(UMM)을 사후 훈련하여 얻은 완전 에이전트형(fully agentic) 이미지 생성 모델인 ToolArtist를 제안한다. ToolArtist는 하나의 통합 정책 내에서 추론, 외부 도구 사용, 자체 이미지 생성을 동적으로 조율한다. 지도 미세 조정(SFT) 단계에서는 교사 에이전트에 이미지 생성 도구와 함께 검색 도구를 장착한다. 이후 수집된 궤적을 UMM 호환 형식으로 변환하는데, 이때 이미지 생성 도구는 숨기고 생성된 결과 이미지만 유지한다. 강화 학습(RL) 단계에서는 UMM을 위한 에이전트형 RL 인프라를 개발하고, 상호 보완적인 의도(intent) 보상과 품질 보상을 사용하여 모델을 공동 최적화하는 RAD-GRPO(Reason-Act-Draw GRPO)를 도입한다. 실험 결과, 오픈월드 이미지 생성 과정 전체를 에이전트 정책에 맡기는 것이 고정된 파이프라인이나 부분적으로만 에이전트가 제어하는 구성 요소를 사용하는 접근법보다 일관되게 우수함을 보여준다. 우리는 훈련 데이터와 전체 사후 훈련 인프라를 공개한다.
비전은 파운데이션 모델을 발전시키는 중요한 축을 제공하며, 본질적으로 통합된 멀티모달 사전학습으로의 전환을 주도한다. 이러한 추진력에도 불구하고, 통합 학습 중 모달리티 간 상호작용의 설계 공간과 기본 메커니즘은 여전히 충분히 탐구되지 않았다. 우리는 멀티모달 사전학습에 대한 체계적 탐구를 통해 경험적 명확성을 제공한다. 합성 데이터와 대규모 실세계 데이터셋 모두에 대한 통제된 실험을 통해 멀티모달 사전학습의 물리학에 관한 네 가지 핵심 통찰을 도출한다: (i) 지식 흐름: 언어, 시각 이해, 시각 생성이 모달리티 간에 지식을 어떻게 전이하는지를 분리하여, 영향력과 비대칭성의 뚜렷한 패턴을 밝힌다; (ii) 시너지 대 경쟁: 데이터의 "복잡성"이 모달리티가 시너지 효과를 갖는지를 크게 결정함을 보여주고, 시너지를 촉진하는 아키텍처 선택(예: 모달리티별 피드포워드 계층을 갖춘 공유 어텐션 및 정규화)을 식별하며, 이러한 행동이 다양한 시각 토크나이저 설계에 걸쳐 일반화됨을 발견한다; (iii) 조기 통합: 모달리티를 매우 초기 단계부터 통합하고 공동으로 학습하는 것이 후기 정렬이나 순차적 학습보다 더 효과적임을 보여준다. 이 과정에서 지연된 통합이 모델이 언어 사전 지식에 의존하게 만드는 비전 나태 현상을 발견한다; (iv) 레시피: 컴퓨팅 예산의 5%만 사용하여 강력한 생성 성능을 달성하는 효율적인 사전학습 레시피를 도출한다. 이러한 핵심 발견은 이후 2T 토큰으로 13.5B MoE 모델 여러 개를 학습시켜 대규모로 검증된다. 본 연구가 멀티모달 사전학습을 이해하고 확장하기 위한 원리적 기반을 제공하기를 기대한다.
지속적 메모리를 갖춘 개인화된 LLM(대규모 언어 모델)이 점점 더 배포되고 있지만, 그 사용자 모델의 충실성은 여전히 검토되지 않은 상태이다. 우리는 과잉 추론(over-inference, OI), 즉 LLM이 증거가 뒷받침하는 수준을 넘어 사용자 속성을 날조하는 현상을 연구한다. 우리는 MirageBench를 소개한다. 이는 고정관념적, 반고정관념적, 중립적 프로필에 걸쳐 균형 있게 구성된 150개의 페르소나, '상상력 연속체'를 포괄하는 6가지 개인화 작업, 독립 판정자에 의해 조작화된 4분류 충실성 분류체계(400개 주장에 대한 맹검 인간 주석자와의 대조 검증에서 코헨의 카파 = 0.863(4분류), 카파 = 0.900(이분 분류)), 그리고 판정된 143,616개 주장에 대한 7개 계열에 걸친 12개 모델의 리더보드로 구성된다. 우리는 과잉 추론이 만연함을 발견한다. 평가에 포함된 12개 모델 각각은 자기 주장의 35%~49%에서 과잉 추론을 보였고(모델 간 평균 41.6%, 주장 가중 평균 41.8%), 어떤 모델도 예외가 아니었다. 가장 두드러진 발견은 자기 모니터링 역전(Self-Monitoring Inversion)이다. 모델 선택 수준에서 모델들이 스스로 평가한 OI는 판정자 측정 OI와 음의 순위 상관을 보인다(rho = -0.60, p = 0.044; 탐색적 분석, 넓은 부트스트랩 신뢰구간 [-0.90, +0.06], n = 12). 과잉 추론을 가장 적게 보고하는 모델일수록 가장 많이 날조하는 것으로 지적되는 경향이 있으므로, 단일 모델 내에서 자체 감사가 해당 모델 자신의 주장들을 여전히 중간 수준으로 잘 순위화한다 하더라도(AUROC 0.58~0.83), 자기 보고된 확신도는 모델 비교에 있어 오해를 부르는 신호이다. 우리는 또한 OI가 작업 의존적이며(27%~59%), 다중 턴 예비 실험에서는 추론된 속성이 거의 수정 없이 거의 선형적으로 축적됨을 보인다. MirageBench는 모델 자기 보고보다 외부 검증을 신뢰할 수 있는 개인화를 위한 더 신뢰할 만한 기반으로 제시한다.
LLM 에이전트는 업무, 학습, 일상생활에 걸친 개방형 요청에 점점 더 널리 적용되고 있다. 이러한 작업은 장기적(long-horizon)이며 교차 환경적이고 멀티모달 특성을 가지므로, 에이전트는 다양한 도구와 첨부 파일을 탐색하면서 여러 단계에 걸쳐 목표와 제약 조건을 유지해야 한다. 선행 연구는 목표 표류, 상태 손실, 컨텍스트 오버플로와 같은 개별 실패 모드를 다루었지만, 단일 하네스가 이러한 문제들을 동시에 관리하고 백엔드 전반에서 효과성을 유지할 수 있는지에 대해서는 연구가 상대적으로 부족했다. 본 논문에서는 자율 에이전트를 위한 장기적 실행 하네스인 OneDayAgent를 제안한다. OneDayAgent는 개방형 요청을 관리형 실행 프로세스로 전환하여 작업을 경계가 있는 하위 작업으로 분해하고, 컨텍스트 압박 하에서도 실행 메모리를 유지하며, 최종 산출물을 검증하고 수정한다. 우리는 AgentIF-OneDay의 104개 작업에 대해 OneDayAgent를 평가하였다. GLM-5.2 백엔드에서 OneDayAgent는 전체 점수 0.821로 새로운 최고 수준을 달성하였다. 동일한 하네스는 세 가지 모델 계열의 다섯 개 백엔드 LLM에서 작동하며, 이는 동일한 워크플로 하에서 서로 다른 모델이 서로 다른 실행 스타일을 보이더라도 하네스가 튜닝 없이 백엔드 간에 일반화됨을 시사한다.
에이전트 자기 진화는 이전 경험으로부터 에이전트의 지속 상태를 갱신하고 이를 재사용하여 관련 작업을 더 효과적으로 해결한다. 자기 진화를 평가하는 것은 어렵다. 기존 벤치마크는 경제적 가치가 있는 작업 영역을 제한적으로만 다루고, 테스트 시점의 성능 향상이 훈련 경험에 귀속될 수 있도록 훈련 및 테스트 작업을 설계하지 않는 경우가 많으며, 데이터 오염에도 여전히 취약하다. 우리는 GDP 관련 기업 워크플로우에 기반한 자기 진화 평가에 특화된 벤치마크인 GDPevo와 이를 생성하는 완전 자동화 데이터 파이프라인을 제시한다. 핵심 메커니즘인 규칙 혼성화는 각 기업 워크플로우를 원자적 비즈니스 규칙들로 분해하고, 이 규칙들의 부분집합을 훈련 작업에 분배한 뒤, 분리된 테스트 작업에서 재결합하여 테스트 시점의 성능 향상이 훈련 경험에 귀속될 수 있게 한다. GDPevo는 CRM, ERP, 금융, 의료, 법률, 데이터 중심 워크플로우를 아우른다. V1 릴리스는 12개 그룹의 120개 작업을 포함하며, 각 그룹에는 훈련 작업 5개와 분리된 테스트 작업 5개가 있다. 완전 자동화 덕분에 파이프라인은 이틀 내에 스위트를 24개 그룹의 240개 작업(V2)으로 확장할 수 있어 데이터 오염에 대한 실질적 대응이 가능하다. GDPevo를 사용하여 우리는 각각 하네스와 모델로 구성된 네 에이전트를 네 가지 지도 유형 하에서 평가한다. 자기 진화는 분리 테스트 정확도를 최대 16.44퍼센트 포인트까지 일관되게 향상시킨다. 그러나 가장 우수한 진화 에이전트들도 완전한 정보를 갖춘 오라클 상한 91.6%에 크게 미치지 못하며, 이는 현재 에이전트의 자기 진화 능력이 완전히 실현되기에는 아직 멀었음을 시사한다. 우리는 파이프라인, 벤치마크, 전체 평가 결과를 https://github.com/Prism-Shadow/GDPevo에서 공개한다.
최근 LLM의 장기 추론은 모델이 추론 체인 내에서 서로 다른 스킬을 전환할 것을 요구한다. 예를 들어, 먼저 수학적 유도를 수행한 다음 그 결과를 사용하여 일정을 계획하는 경우가 이에 해당한다. 우리는 이전 출력에 의존하며 서로 다른 추론 스킬을 요구하는 다단계 과제를 교차 스킬 장기 과제(cross-skill long-horizon tasks)라고 부른다. 기존 벤치마크는 종종 개별 스킬을 평가할 뿐, 모델이 스킬을 전환하는 능력을 측정할 원리적인 방법이 부족하다. 우리는 평가와 훈련 양측에서 이 격차를 해소한다. 한 스킬에서 다른 스킬로 전환하는 난이도를 측정하는 스킬 엔트로피(Skill Entropy)를 도입하고, 9개의 검증 가능하고 개방형 도메인에 걸쳐 있는 558개 스킬로 구축된 교차 스킬 장기 과제 벤치마크인 Skill^2-Bench를 제안한다. 각 과제에는 과제 수준 스킬 엔트로피 점수가 할당되고 세 가지 난이도 수준으로 분류된다. Skill^2-Bench에서 8개의 최첨단 모델과 4개의 오픈소스 모델을 평가한 결과 스킬 전환 격차(skill-switching gap)가 드러난다: 엔트로피가 높은 과제에서는 정확도가 감소한다. 다음으로, 스킬 엔트로피를 벤치마크 척도에서 훈련 신호로 전환한다. 모델이 각 단계에서 정답뿐만 아니라 그 정답을 생성하는 데 사용된 스킬도 예측하는 RL 프레임워크인 Skill-Entropy RL을 제안한다. 보상 함수는 단계 수준 정확성과, 모델이 예측한 스킬 시퀀스와 정답 스킬 시퀀스 간의 정렬을 측정하는 스킬 엔트로피 보상을 결합한다. Qwen3-4B-Instruct와 Qwen3-1.7B에서 Skill-Entropy RL은 Skill^2-Bench 점수를 각각 34.4%에서 68.4%로, 14.6%에서 40.1%로 향상시켜 경쟁력 있는 기준선을 능가한다. 동일한 파이프라인은 OpenR1-Math와 같은 기성 학습 데이터에도 적용될 수 있으며, 이는 스킬 엔트로피가 재사용 가능한 훈련 신호임을 나타낸다. 코드는 https://github.com/Gen-Verse/Skill-Entropy-RL에서 확인할 수 있다.
온-폴리시 증류(OPD)는 학생 모델이 샘플링한 궤적에 대해 토큰 수준의 밀집 교사 신호를 제공함으로써 교사 모델의 능력을 전이한다. 최근의 선택적 OPD 방법들은 신뢰도가 높거나, 정보량이 풍부하거나, 학습 가능한 신호를 우선시함으로써 이 과정을 개선한다. 그러나 이러한 가정들은 언어 모델의 근본적인 실패 양상을 간과한다. 즉, 토큰 수준 판단이 작업 특정 증거보다는 입력과 무관한 언어 사전 정보, 형식 관행, 또는 고정관념적 추론 템플릿에 의해 주도될 수 있다는 점이다. 우리는 이러한 최적화 관련성을 지니지만 입력 근거가 약한 감독 신호를 OPD에서 허위 신호(spurious signal)라고 지칭하며, 이는 작업 개선 방향에 거의 기여하지 못하면서 큰 기울기를 생성할 수 있다. 이 문제를 완화하기 위해 우리는 입력 근거성과 최적화 영향을 기반으로 오도된 토큰 수준 감독을 식별하고 필터링하는 SA-OPD(허위 신호 인지 온-폴리시 증류 프레임워크)를 제안한다. SA-OPD는 토큰 수준 증류 신호가 입력에 실제로 의존하는지를 추정하는 경량의 입력 근거성 프록시를 도입한다. 그런 다음 낮은 입력 근거성과 극단적인 증류 발산을 동시에 나타내는 토큰만을 필터링함으로써, 영향력이 큰 허위 업데이트를 제거하고 세밀한 수준의 OPD 최적화를 달성한다. 대규모 언어 모델(LLM) 및 비전-언어 모델(VLM) 환경 모두에 대한 광범위한 실험은 SA-OPD가 기본 OPD(Vanilla OPD) 및 경쟁력 있는 선택적 방법들을 일관되게 능가함을 보여준다. 이러한 결과는 입력 근거성을 OPD 감독 선택의 핵심 차원으로 확립하며, 허위 업데이트 완화를 위한 간단하고 효과적인 전략을 제공한다.
일반화 가능한 로봇 조작 정책을 학습하려면 대규모의 다양한 시연 데이터가 필요하다. 자기중심적 인간 조작 비디오는 풍부한 장면 및 작업 다양성을 제공하며, 기존 연구는 이러한 비디오를 리타게팅하고 로봇 형식 데이터로 렌더링하면 소규모에서 효과적인 작업별 정책을 얻을 수 있음을 보여주었다. 그러나 이러한 접근 방식이 대규모 비전-언어-행동 모델의 사전 학습 이점을 제공할 수 있는지는 아직 검토되지 않았다. 본 논문에서는 인간의 자기중심적 조작 비디오를 행동 리타게팅, 로봇 팔 시각 합성, 다중 수준 품질 선별을 통해 로봇 훈련 데이터로 변환하는 확장 가능한 파이프라인인 Ego2Robot을 제시한다. Ego2Robot은 정제된 데이터셋과 실제 환경 비디오를 모두 지원하며, 15가지 로봇 형태에 걸친 18,561시간의 로봇 훈련 데이터를 생성하여 현재까지 가장 큰 에고-투-로봇 데이터셋을 구축한다. 일반화 성능을 평가하기 위해 RoboTwin2.0을 시각적 외관, 장면 배치, 구현체 형태, 작업 의미론을 포함하는 분리된 교란 축으로 확장한다. 실험 결과, Ego2Robot으로 합성된 데이터와 로봇 데이터를 함께 사전 학습하면 여러 유형의 교란에 걸쳐 분포 외 일반화가 일관되게 개선되며, 그 이점은 실제 로봇 배치에서도 검증된다. 프로젝트 페이지: https://www-ye.github.io/ego2robot_blog/
본 논문에서는 한국어 성능 격차가 발생하는 지점을 진단하기 위해 설계된 절차 생성(procedurally generated) 영어-한국어 퍼즐 벤치마크인 NOLLI를 소개한다. NOLLI는 15개 퍼즐 유형(25개 태스크, 7,500개 항목)으로 구성되며, 모든 인스턴스는 시드(seed)로 재생성 가능하고, 고유한 해답을 가짐이 검증되었으며, 결정적으로 채점된다. 난이도를 크기와 동일시하는 대신, 행동적으로 난이도를 보정하여 고정된 참조 모델이 목표 정확도 구간에 도달할 때까지 각 생성기를 조정한다. 3단계 설계는 일치하는 직접 번역, 한글 자모(음절 이하 단위의 문자)에 대한 문자 체계 적응, 그리고 한국어 문화 또는 표기법에 기반한 한국어 전용 태스크를 결합한다. 본 논문에서는 프런티어, 오픈 가중치, 한국 개발 모델 15개를 평가한다. 전체 정확도 하한 3% 이상인 12개 모델에서, 일치된 영어-한국어 정확도는 ±10 pp 범위 내에서 통계적으로 동등하며(TOST), 이는 제시 언어만으로 인한 비용이 거의 없음을 시사한다. 문자 체계 집약적 태스크에서는 더 뚜렷한 격차가 나타난다. 한국어 암호(Korean Cipher)는 영어 대비 최대 68.7 pp 낮은 반면, 동일한 자모를 사용하는 크립트산술(Cryptarithmetic)에서는 체계적 불이익이 나타나지 않았다. 또한 자모 조합(Jamo Composition) 정확도는 한국어 암호 정확도를 예측한다. 이러한 대비는 인과적이라기보다 진단적이며, 다단계 음절 이하 단위 실행의 어려움과 일치한다. 한국어 전용 태스크는 부호가 다양한 규칙 적용 결손과, 12개 모델 모두에서 양의 값을 보이는 친족 관계 결손을 구분한다. 마지막으로, 가시적 크기 척도는 15개 유형 중 7개에서 Easy에서 Hard로 갈수록 증가하지 않아, 구조적 크기가 경험적 난이도의 신뢰할 수 있는 대리 지표가 아님을 보여준다.
명령 기반 비디오 편집이 빠르게 발전해 왔지만, 실제 세계의 비디오는 오디오와 시각 신호가 긴밀하게 결합되어 있어 한 모달리티를 편집할 때 다른 모달리티의 조정이 함께 필요한 경우가 많다. 기존 벤치마크는 주로 무음 클립에 대한 시각적 변환이나 단독 오디오 편집을 평가하여, 복잡한 오디오-비주얼 편집과 교차 모달리티 일관성은 충분히 탐구되지 않았다. 본 연구에서는 145개의 엄선된 소스 비디오, 196개의 오디오-비주얼 결합 편집 명령, 2,688개의 세분화된 체크리스트 항목으로 구성된 종합 벤치마크 AVE-Compass를 소개한다. AVE-Compass는 체크리스트 기반 MLLM 평가와 전용 현실감 루브릭을 통해 명령 수행, 충실도 유지, 현실감, 편집 의도를 평가하며, 자동화된 교차 모달리티, 비디오, 오디오 메트릭으로 보완된다. 광범위한 평가 결과, 최첨단 모델들은 비대상 콘텐츠를 보존하면서 교차 모달리티 명령을 실행하는 데 여전히 어려움을 겪는 것으로 나타났다. 또한, 복잡한 명령을 종속적 하위 작업으로 분해하고 자기 반성과 평가자 피드백을 통해 편집 결과를 반복적으로 개선하는 모듈형 에이전트 프레임워크인 AVE-Agent를 제안한다. AVE-Agent는 공동 편집에서 명령 실행, 충실도 유지, 오디오-비주얼 정렬을 개선하면서 경쟁력 있는 지각 품질을 유지한다.
검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 후속 학습을 위한 표준 패러다임이 되었다. 그룹 상대 정책 최적화(GRPO)가 널리 채택되고 있지만, 이는 희소한 보상 신호로 인해 어려움을 겪으며, 그룹 내 모든 응답이 동일한 보상을 받을 경우 기울기가 완전히 소실된다. 온정책 증류(OPD)는 교사 모델로부터 밀집된 토큰 수준의 지도를 제공함으로써 자연스러운 해결책을 제시한다. 그러나 GRPO와 OPD를 단순히 결합하면 세 가지 근본 원인으로 인해 성능이 저하된다: 모든 샘플이 증류의 이점을 얻는 것은 아니며, 교사 모델에 너무 빠르게 적합하는 것은 RL의 탐색 능력을 저해하고, OPD의 이점은 비대칭적이어서 대부분의 토큰을 억제한다. 이러한 문제를 해결하기 위해 우리는 적응형 교사 안내를 통한 학습 신호 복구(RSTG)를 제안한다. 이 방법은 증류가 가장 중요한 곳에 선택적이고 정밀하게 적용한다. 샘플 수준에서 OPD는 음의 분산이 발생하는 프롬프트로 제한되며, 각 샘플은 교사 모델의 신뢰도 점수로 가중치가 부여된다. 토큰 수준에서는 학생 엔트로피가 높거나 교사-학생 발산이 큰 토큰에 대해서만 증류를 수행한다. 또한 교사 모델이 생성한 정답 궤적에 대한 SFT를 훈련에 추가하여 RL이 양의 기울기를 생성하지 못하는 곳에 양의 기울기 신호를 주입한다. 실험 결과, RSTG는 수학 분야에서 +4.02%, 코드 분야에서 +3.05%의 성능 향상으로 단순 GRPO+OPD 방식을 크게 능가함을 보여준다.
본 기술 보고서는 LG AI 연구소가 글로벌 프런티어급 기반 모델을 향한 노력의 일환으로 개발한 오픈 가중치(open-weight) 다국어 기반 모델인 K-EXAONE 2.0을 소개한다. 우리는 처음부터 학습하는 대신 K-EXAONE을 업사이클(upcycle)하고 아키텍처를 확장하여, 총 7,500억 개의 파라미터와 토큰당 약 370억 개의 활성 파라미터를 갖춘 혼합 전문가(MoE) 모델을 구축했다. 이는 이전 모델의 용량 대비 3배 이상이다. K-EXAONE 2.0은 최대 256K 토큰의 문맥 길이를 지원하며, 다국어 지원 범위를 6개 언어에서 10개 언어로 확장한다. 학습 파이프라인은 지속적 사전 학습, 난이도 중심 중간 학습, 후속 학습을 결합하여 추론, 에이전트 코딩(agentic coding), 다국어 능력, 그리고 한국 사회문화적 맥락에 기반한 안전성을 강화한다. 실제 사용 조건을 반영하여 선정한 9개 평가 범주 전반에서 K-EXAONE 2.0은 K-EXAONE 대비 개선된 성능을 보였으며, 오픈 가중치 모델들과의 경쟁력도 유지했다. 특히 에이전트 코딩과 장문맥 이해에서 가장 큰 성능 향상을 보였고, 장문맥 검색과 안전성에서 가장 뚜렷한 강점을 나타냈다. K-EXAONE 2.0은 Apache 2.0 라이선스로 공개되어 더 넓은 AI 생태계가 이를 평가, 배포, 적용하고 이를 기반으로 구축할 수 있게 하며, 글로벌 프런티어를 향한 우리의 도전의 종착점이 아닌 시작점을 의미한다.
메모리 증강 VLM 에이전트는 지속적인 공간 지식에 의존하여 행동하지만, 환경이 변화함에 따라 그러한 지식은 조용히 낡아간다. 우리는 에이전트가 확신에 찬 기억 주장과 모순되는 관찰을 조정해야 할 때 어떤 일이 발생하는지, 그리고 현재 모델이 안전 관련 오류가 되기 전에 해당 충돌을 포착할 수 있는지 묻는다. 동적 FrozenLake 테스트베드를 사용하여, 세 개의 폐쇄 소스 모델과 세 개의 오픈 웨이트 VLM을 대상으로 텍스트 및 이미지 입력 조건에서 스테일 탐지 작업과 다운스트림 내비게이션 작업을 짝지어 평가했다(1,800회 탐지 실행, 공통 50-시드 규모에서 4개의 LLM 내비게이터에 걸친 12,000회 텍스트 모드 내비게이션 에피소드). 세 가지 결과가 도출되었다. 첫째, 텍스트 해결 가능성은 시각적 그라운딩을 함의하지 않는다. 텍스트만으로 스테일 항목을 안정적으로 탐지하는 모델들조차 동일한 그리드에서 시각 F1이 0.887에서 0.067에 이르는 분포를 보였으며, 가장 약한 모델은 이미지를 무시하면서도 유창하고 확신에 찬 결정을 계속 내렸다. 둘째, 검증 없이 스테일 메모리를 소비하는 것은 안전상의 부담이다. 주요 GPT-4o 설정에서 원시 메모리를 신뢰하는 에이전트는 메모리를 전혀 제공받지 않은 동일 에이전트보다 사망률이 두 배 이상 높았다. 셋째, 검증은 도움이 되지만 격차를 해소하지는 못한다. 투명한 읽기 시점 필터는 텍스트 모드에서 안전 비용의 상당 부분을 제거하지만, 오라클 스테일 레이블조차 현재 그리드 크기에서는 추가적인 유의미한 이득을 가져오지 못하며, 시각적 검증이 신뢰할 수 없는 경우 필터링은 일관된 이점을 제공하지 않는다. 이러한 결과는 공간 메모리 스테일을 안전 실패 모드로 규정하며, 메모리-관찰 충돌 상황에서의 신뢰할 수 있는 시각적 그라운딩과 행동 선택을 메모리 증강 에이전트의 핵심 미해결 과제로 지목한다.
최근 비디오 세계 모델의 놀라운 발전에도 불구하고, 사용자와 이러한 세계 내 캐릭터 간의 사회적 상호작용은 여전히 지원되지 않는다. 이러한 격차를 메우기 위해 우리는 세계 내 캐릭터와의 사회적 상호작용을 가능하게 하는 비디오 세계 모델인 HelloWorld를 제시한다. 단 한 번의 버튼 누름으로 사용자는 화면 속 캐릭터가 카메라를 향해 반응하도록 유도할 수 있다. 예를 들어, 시청자를 돌아보거나, 손을 흔들거나, 고개를 끄덕이거나, 짧은 인사를 건네는 것이다. 이러한 상호작용을 자연스럽게 만들기 위해, 우리는 비디오 생성 모델을 자체적으로 합성한 데이터로 미세 조정하는 자기 증류 파이프라인을 제안한다. 각 합성 클립은 사회적 상호작용과 카메라 움직임을 모두 포함하므로, 모델은 상호작용 품질을 저하시키지 않으면서 카메라 포즈 조건화를 학습할 수 있다. 추론 시에는 상호작용이 발생하는 시점을 결정하는 학습이 필요 없는 모듈을 추가로 도입한다. 버튼을 누르면, 이 모듈은 DiT의 크로스 어텐션 마스크를 조절하여 상호작용 관련 텍스트 프롬프트가 버튼 누름 시간 구간 내의 프레임에만 주목하도록 함으로써 캐릭터 반응의 시간적 위치를 특정한다. 또한 우리는 평가를 위해 세 가지 사회적 상호작용 지표와 세 가지 기존 지표를 포함한 400개 샘플 벤치마크인 HelloWorldBench를 구축한다. 실험 결과는 HelloWorld가 최첨단 영상의 미적 품질과 카메라 포즈 추종을 유지하면서 상호작용 품질에서 다양한 기준선을 능가함을 보여준다. 프로젝트 페이지: https://github.com/AlayaLab/HelloWorld
GUI 에이전트는 이전 작업에서 얻은 유용한 경험과 현재 상호작용에서 완료되지 않은 진행 상황을 모두 기억해야 한다. 잠재 메모리는 다중 모달 궤적을 소수의 연속 토큰으로 압축하여 간결한 해법을 제공한다. 그러나 기존 방법들은 대개 각 궤적을 하나의 고정 메모리 블록에 매핑하고 주로 다음 행동 지도를 통해 학습한다. 이로 인해 세 가지 실질적 문제가 발생한다: 압축 중 중요한 세부 정보가 손실될 수 있고, 동일한 메모리 블록이 서로 다른 의사 결정 단계에 사용되어야 하며, 관련 없는 검색 궤적이 에이전트를 오도할 수 있다. 우리는 이러한 역할들을 간결한 잠재 메모리 인터페이스 내에서 분리하는 FocusMem을 제안한다. 역할 인식 콘텐츠 기반은 일화 기억이 재사용 가능한 경험을 유지하고 작업 기억이 작업 진행 상황을 유지하도록 장려한다. 상태 조건부 판독은 동일한 저장 증거에 대해 의사 결정별 관점을 생성하며, 경량 신뢰 게이트는 현재 단계와 무관해 보이는 메모리 블록을 억제할 수 있다. 모든 구성 요소는 GUI 정책이 동결된 상태에서 학습된다. 다섯 개의 GUI 에이전트 벤치마크에서 FocusMem은 완전히 일치된 행동 전용 고정 메모리 기준선 및 기존 잠재 메모리 적응 기법들을 일관되게 능가한다. 추가 분석은 의미적 및 기능적 지도가 상호 보완적 정보를 보존하고, 상태 조건부 판독이 주변 궤적 맥락이 커질수록 더 강건해지며, 신뢰 게이트가 주입된 무관한 일화 증거로 인한 피해를 줄임을 보여준다. 이러한 결과는 효과적인 잠재 메모리가 과거 상호작용의 압축뿐만 아니라 무엇이 유지되고, 무엇이 노출되며, 무엇이 허용되는지에도 의존함을 보여준다.
스킬 기반 프롬프팅은 대규모 언어 모델(LLM) 에이전트를 개선하기 위한 실용적인 메커니즘으로 자리 잡았지만, 기존 스킬 획득 방법들은 스킬을 경험 요약, 메모리 항목, 또는 성공적인 시연의 직접 요약으로 취급하는 경우가 많다. 이는 더 약한 학생 에이전트에게 불일치를 야기한다. 학생이 작업 지식이나 운영 전략이 부족하여 실패할 때, 그 실패한 궤적은 누락된 행동을 추론하기에 충분한 증거를 포함하지 못할 수 있는 반면, 교사 궤적은 재사용 가능한 지침으로 내재화하기에는 너무 암시적일 수 있다. 우리는 서로 다른 능력을 가진 에이전트 간의 명시적 증류 매체로 스킬을 다루는 대조적 스킬 증류 프레임워크인 SKILL-KD를 제안한다. 동일한 작업에 대한 학생의 실패와 교사 궤적이 주어졌을 때, SKILL-KD는 이들 사이의 실행 가능한 차이를 텍스트 스킬 패치로 증류하고, 학생을 다시 실행하여 패치를 평가하며, 학생이 여전히 실패하면 패치를 반복적으로 개선한다. 반복적인 로컬 업데이트가 스킬 드리프트를 유발하는 것을 방지하기 위해, SKILL-KD는 또한 궤적 연계 편집 이력을 유지하고 드리프트 인지 스킬 통합(Drift-Aware Skill Consolidation)을 수행하여 각 패치가 새 규칙을 추가해야 하는지, 기존 규칙을 삭제하거나 수정해야 하는지, 아니면 건너뛰어야 하는지를 결정한다. 다섯 가지 에이전트 벤치마크와 두 가지 학생 설정에서, SKILL-KD는 고정 모델 적응 베이스라인에 비해 동결된 학생 에이전트를 일관되게 개선한다.
모델 체크포인트는 개수와 크기 모두에서 증가하고 있어, 보관, 전송, 배포 비용이 점점 더 커지고 있다. 범용 압축기는 저장 요구량을 줄일 수 있지만 텐서 구조를 무시하는 반면, 기존의 텐서 특화 압축기는 고정되고 형식에 특화된 파이프라인에 의존한다. 우리는 무손실 텐서 압축을 프로그램 합성으로 정식화하는 Brevis를 제시한다. 우리는 반복 영역과 부동소수점 필드와 같은 반복적인 텐서 구조를 일련의 가역 연산자를 통해 포착하는 타입이 있는 도메인 특화 언어(DSL)를 설계한다. 주어진 텐서에 대해 Brevis는 이를 비트 단위로 정확히 재구성하는 자족적인 DSL 프로그램을 합성한다. 소수의 대표적인 텐서 샘플로부터 학습된 체크포인트 특화 생성 사전(prior)은 제한된 A* 탐색을 안내하여 간결한 프로그램을 합성하며, 이 프로그램은 이후 비트 정확한 압축 해제를 위해 직접 실행될 수 있다. 언어, 오디오, 이미지 생성 모델을 아우르는 10개의 공개 체크포인트에서 Brevis는 2.13TB의 체크포인트 데이터를 1.41TB로 줄여 33.93%의 저장 공간 절감을 달성한다. Brevis는 zstd와 gzip을 포함한 네 가지 범용 압축기보다 최대 30.87% 더 작은 아카이브를 생성하며, 텐서 특화 압축기인 ZipNN과 DFloat11보다도 더 작은 아카이브를 생성한다. 실용적인 동시성 구성 하에서 Brevis는 모든 원본 바이트를 보존하면서 3.60GB/s의 압축 속도와 6.61GB/s의 압축 해제 속도를 달성한다.
상호작용형 비디오 세계 모델은 장기적 계획과 탐색에 필수적이지만, 누적 오류(compounding errors)라는 문제를 안고 있다. 강화 학습(RL)과 같은 사후 훈련 방법이 이러한 모델을 개선할 수 있지만, 검증 병목(verification bottleneck)에 직면한다: 임의의 행동 시퀀스에 대해 장기적 드리프트를 측정할 실측 미래 상태가 존재하지 않기 때문이다. 우리의 핵심 통찰은 가역적 행동 주기(reversible action cycles)가 이러한 검증을 가능하게 한다는 것이다. 역행동과 결합된 시퀀스는 분석적으로 초기 상태로 복귀해야 하므로, 장기적 정확성에 대한 주석 없는 지도 신호를 제공한다. 이를 바탕으로 우리는 WorldCycle을 제안한다. WorldCycle은 자가 검증 가능한 RL 프레임워크로, 일반적인 행동 시퀀스로부터 폐쇄적 행동 주기와 그 반복 실행을 구성하고, 두 가지 상호 보완적 보상을 최적화한다: 전방 및 역방향 세그먼트 간의 대칭성을 강제하는 공간 폐쇄 보상(spatial closure reward)과, 반복된 주기 실행 간 상태를 정렬하는 시간적 일관성 보상(temporal consistency reward)이다. 이러한 보상은 모델이 행동을 암기된 시간적 패턴이 아닌 일관된 상태 연산자로 학습하도록 강제하며, 기본 모델이 제대로 처리하지 못하는 분포 외(out-of-distribution) 복합 행동 주기로 자연스럽게 확장된다. 또한 우리는 복잡한 행동 구조에서 상태 복귀 능력을 평가하는 진단용 벤치마크인 CycleBench를 공개한다. WorldCycle은 상태 복귀 드리프트를 최대 44% 감소시키고 복합 행동 정확도를 기본 모델 대비 약 4배 향상시켜, 물리적으로 기반한 세계 모델을 위한 핵심 토대를 제공한다.
온-폴리시 자기 증류(OPSD)는 다중모달 대규모 언어 모델(MLLM)의 시각적 추론을 개선하기 위한 표준적인 사후 훈련 접근법이 되었다. 기존 방법들은 자기 증류를 안내하기 위해 다양한 입력 소스에서 특권 정보를 끌어낸다. 그러나 이러한 설계는 MLLM 추론에 내재된 도전 과제인 모달리티 불균형(Modality Imbalance)을 간과한다. 텍스트 정보가 생성을 지배할 때 모델은 다중모달 입력을 완전히 통합하지 못한다. 결과적으로 신중하게 설계된 특권 정보는 충분히 활용되지 못하며, 이는 OPSD의 효과성을 제한한다. 이 한계를 조사하기 위해 우리는 확대 이미지(Zoom-In Image)를 사용한 긍정 교사(Positive Teacher)와 마스크 이미지(Mask Image)를 사용한 부정 교사(Negative Teacher)를 구축한다. 이들은 서로 다른 정도의 모달리티 불균형을 나타낸다. 이들의 추론 정확도와 토큰 로짓의 변화는 모달리티 균형 자체가 특권 정보로 작용할 수 있음을 보여준다. 이 발견에 착안하여, 우리는 긍정 교사와 부정 교사를 통해 그러한 정보를 구체화하는 시각적 OPSD 패러다임인 OPD-V를 소개한다. 긍정 모달리티 균형 로짓 마진(Positive Modality-Balance Logits Margins)은 자기 증류에 사용되는 온-폴리시 토큰을 선택하는 모달리티 균형 신뢰 영역(Modality-Balance Trust Region)을 정의한다. 6개 벤치마크, 4개 MLLM 백본, 5개 사후 훈련 방법에 걸친 실험 결과, OPD-V는 훈련 비용을 줄이면서 추론 성능을 일관되게 향상시키는 것으로 나타났다.
선도적인 공개 텍스트-이미지 모델들은 종종 상호보완적인 강점을 지닌다. 한 모델은 선호도 정렬 미적 품질에서 우수할 수 있는 반면, 다른 모델은 구성적 지시를 더 충실히 따르기도 한다. 그러나 각 모델의 오토인코더와 노이즈 스케줄의 차이로 인해 이러한 강점을 모델 간에 전이하는 것은 어렵다. 본 논문에서는 이종(heterogeneous) 교사 모델들의 상호보완적 강점을 하나의 소형 플로우 매칭 학생 모델로 통합할 수 있는 프레임워크인 Poly-OPD를 제안한다. Poly-OPD는 서로 다른 교사 모델들의 비호환적 잠재 공간을 연결하기 위해 픽셀 브리지(pixel bridge)를 통한 온-폴리시 증류(on-policy distillation)를 수행한다. 각 학생 모델이 생성한 이미지는 선택된 교사 모델의 인코더로 재인코딩되며, 교사 모델의 노이즈 스케줄에서 크기(magnitude)가 일치하는 노이즈 수준으로부터 정제된다. 결과적인 타겟은 고정된 DINOv2 공간에서 학생 모델과 추가로 정합되어, 비호환적 잠재 공간에 걸친 감독(supervision)을 가능하게 한다. 교사 간 간섭 없이 상호보완적 능력을 유지하기 위해, Poly-OPD는 그래디언트 호환성 진단(gradient compatibility diagnostic)을 사용하여 어댑터를 구성한다. 즉, 어텐션 LoRA 모듈은 교사 모델들 간에 공유되는 반면, 피드포워드 어댑터는 교사별로 유지된다. 증류 과정에서 격차 인지 커리큘럼(gap-aware curriculum)은 학생 모델이 교사 모델에 여전히 미치지 못하는 구성적 범주에 더 많은 학습을 할당한다. 각 격차가 좁혀짐에 따라 훈련은 더 큰 잔여 격차가 있는 범주로 이동한다. Poly-OPD는 FLUX.1-dev와 Z-Image를 2.5B 규모의 SD3.5-Medium 학생 모델로 증류하여 GenEval 점수를 67.3에서 73.3으로 개선함으로써 더 큰 두 교사 모델을 모두 능가하며, DrawBench HPSv3 점수를 9.34에서 11.35로 향상시켜 전환 가능한 모델 내에서 두 강점을 모두 통합한다.
사전 훈련된 비전-언어 모델(VLM)을 활용하여 비전-언어-행동(VLA) 모델을 구축하는 것은 3D 로봇 조작을 위한 유망한 패러다임으로 부상하고 있다. 그러나 기존의 3D VLA 방법들은 여전히 많은 데이터를 요구하며, 분포 변화 하에서 제한된 일반화를 보이고, 과거 관측에 대한 명시적 메모리가 부족하다. 이러한 한계는 데이터가 부족하고 개방형이며 메모리에 의존적인 조작 시나리오에 적용하는 것을 방해한다. 이전 연구인 BridgeVLA는 3D 행동 학습 중 사전 훈련된 VLM의 입력-출력 정렬을 유지함으로써 데이터 효율성과 일반화를 개선한다: 원시 포인트 클라우드를 다중 뷰 이미지로 투영하고, 로봇 행동을 생성하기 전에 중간 히트맵을 예측한다. 본 연구에서는 지속적인 공간 맥락과 시간적 상호작용 이력을 모델링하는 통합 시공간 메모리 아키텍처를 BridgeVLA에 장착하여 BridgeVLA++를 개발한다. 그 결과, 메모리 증강 프레임워크는 BridgeVLA의 데이터 효율성과 일반화 능력을 유지하면서 관측 이력에 대해 추론할 수 있다. 광범위한 실험을 통해 우리 프레임워크가 공간 조작 작업에서 강력한 성능을 달성하고 강건한 일반화를 보여줌을 확인하였다. BridgeVLA++는 또한 원래 BridgeVLA의 데이터 효율성과 일반화를 희생하지 않으면서 두 가지 도전적인 메모리 의존적 조작 벤치마크에서 최첨단 성능을 달성한다. 추가적으로 BridgeVLA++는 양손 조작 환경에서 효과적으로 작동하며, 추가 실제 로봇 플랫폼에서 검증되어 작업, 환경, 로봇 플랫폼에 걸친 확장성을 입증한다. 이러한 결과는 BridgeVLA++가 데이터 효율적 학습, 강건한 일반화, 효과적인 메모리 인지 로봇 조작을 동시에 지원하는 통합 3D 비전-언어-행동 프레임워크임을 확립한다. 프로젝트 웹사이트: https://bridgevla-plus.github.io/.
소셜 미디어에는 일상적으로 촬영된 단안 비디오와 이미지가 풍부하며, 이는 몰입형 콘텐츠 제작에 귀중한 원천을 제공한다. 이러한 희소한 관측으로부터 새로운 시점을 생성하는 것은 사용자 경험을 크게 향상시킬 수 있다. 그러나 입력 커버리지가 극도로 제한된 경우에는 정밀한 카메라 제어와 함께 사진처럼 사실적이고 기하학적으로 일관된 시점을 생성하는 것이 여전히 어려운 과제로 남아 있다. NeRF 및 3D 가우시안 스플래팅(3DGS)과 같은 재구성 기반 접근법은 희소 입력 조건에서 성능이 심각하게 저하되며 폐색을 명시적으로 처리하지 못한다. 생성 기반 방법은 데이터 요구 사항을 완화하지만, 부정확하거나 암시적인 기하학적 가이던스로 인해 큰 베이스라인 시점 합성에는 여전히 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 단안 입력으로부터 제어 가능한 큰 베이스라인 새로운 시점 합성을 위한 통합 프레임워크인 UniWorld-View를 제안한다. UniWorld-View는 명시적 3D 가이던스와 생성 확산 모델링을 통합하여 정밀한 카메라 제어와 기하학적으로 일관된 시점 생성을 가능하게 한다. 기하학적 가이던스는 가시성 모호성을 해결하고 확산 기반 합성을 위한 정확한 사전 정보를 제공하는 폐색 인식 포인트 클라우드 렌더링 전략을 통해 얻어진다. 이 렌더링 전략을 강력한 비디오 확산 백본과 결합함으로써, UniWorld-View는 극단적인 카메라 움직임과 넓은 베이스라인 변화에서도 고충실도 새로운 시점 생성을 달성하며, 다운스트림 동적 3DGS 재구성을 위한 다시점 비디오도 추가로 제공할 수 있다. WorldScore 벤치마크와 제로샷 NVS 벤치마크에서의 실험은 제어 가능성, 기하학적 일관성, 시각적 충실도 측면에서 UniWorld-View의 효과성을 입증한다.
분자 접착제 분해제(molecular glue degraders)는 E3 유비퀴틴 연결효소와 표적 단백질 사이의 삼중 복합체 형성을 유도함으로써 표적 단백질 분해를 위한 유망한 전략으로 부상하였다. 이들의 치료적 잠재력에도 불구하고, 분자 접착제의 계산적 설계는 아직 크게 탐구되지 않은 상태이다. 기존의 구조 기반 약물 설계와 달리, 분자 접착제 설계는 알려지지 않은 단백질-단백질 계면에 의해 좌우되며, 리간드 생성, 단백질-단백질 도킹, 그리고 삼중 복합체 조립의 동시 모델링을 요구한다. 본 연구에서는 분자 접착제 설계를 삼중 복합체 생성 문제로 정식화하고, 생물학에서 영감을 얻은 생성적 프레임워크인 TriGlue를 제안한다. 분자 접착제 작용 메커니즘에 착안하여, 우리는 삼중 복합체 생성을 두 개의 연동된 단계, 즉 계면 추정(interface estimation)과 계면 조건부 복합체 생성(interface-conditioned complex generation)으로 분해한다. 첫째, 우리는 비결합 단량체 구조로부터 기하학적으로 제한된 단백질-단백질 계면을 예측하는 SE(3)-등변량 계면 추정 모듈을 개발한다. 둘째, 우리는 분자 접착제를 동시에 생성하고 삼중 복합체 조립에 필요한 강체 변환을 예측하는 계면 조건부 삼중 플로우 매칭 네트워크를 도입한다. 광범위한 실험을 통해 TriGlue가 화학적으로 유효한 분자를 생성하고 타당한 삼중 복합체를 산출함을 입증하였으며, 이는 분자 접착제 발견을 가속화하는 데 있어 생물학에서 영감을 얻은 생성적 모델링의 잠재력을 강조한다. 우리의 코드는 https://github.com/yuliangyan0807/molecular-glue-design에서 이용 가능하다.
차트 이미지, 표 데이터, 시각화 코드가 다양한 분야에서 점점 더 중요한 역할을 수행함에 따라, 이러한 모달리티 간 교차 표현 이해는 AI 시스템에 근본적인 도전 과제를 제기한다. 표현 간 관계는 본질적으로 일대다(one-to-many)이며, 지도(supervision)는 모호하고 비용이 많이 들며, 모델 최적화에는 방향 적응적(direction-adaptive)이면서도 작업별 목표를 넘어 표현에 일반화 가능한(representation-generalizable) 원리 있는 신호가 부족하다. 우리는 차트, 표, 코드 표현 간 일관성을 개선하기 위해 CoCoEvolve를 도입한다. 교차 표현 매핑을 일대다 문제로 취급하는 대신, 명시적인 일대일 대응을 정의하고 추가 주석 없이 표현 간 일치(agreement)를 활용하여 모델을 최적화한다. 훈련 중에는 CoCoEvolve@Train이 차트-표-코드 순환 전반에 걸쳐 공진화(co-evolution)를 수행하며, CoCoEvolve@Test는 추론 시 동일한 일관성 목표를 적용하여 테스트 시 공동 최적화를 수행한다. 또한 6가지 교차 표현 작업을 모두 포괄하는 평가 스위트(suite)인 CoCoEvolve@Eval을 제시한다. 네 가지 벤치마크에서 CoCoEvolve는 훈련 시 및 테스트 시 설정 모두에서 성능을 향상시킨다. 프로젝트 페이지: https://xhguo7.github.io/CoCoEvolve/.
프롬프트 인젝션은 LLM 에이전트에게 중대한 보안 위험을 초래한다. 따라서 이러한 위험을 평가하고 방어를 개선하기 위한 훈련 데이터를 수집하기 위해서는 효율적이고 효과적인 레드티밍이 중요하다. 기존의 최첨단 프롬프트 인젝션 레드티밍 방법은 주로 강화 학습(RL)에 의존하며, 생성된 공격자 모델은 새로운 대상 LLM에 대해 일반화가 잘 되지 않는 경우가 많다. 본 연구에서는 프롬프트 인젝션 레드티밍을 위한 에이전트 기반 시스템인 PIMiner를 개발한다. 훈련 중에 PIMiner는 (데이터셋, 대상 모델) 쌍의 시퀀스로 훈련되며 처음부터 전략 라이브러리를 구축한다. 테스트 시에는 학습된 전략 라이브러리를 추가 훈련 없이 이전에 본 적 없는 대상 LLM에 직접 전이할 수 있다. PIMiner는 테스트 샘플당 대상 에이전트에 대한 소수의 쿼리(예: 10회)만 필요로 한다. 실험 결과는 PIMiner가 강력한 성능을 달성함을 보여준다. IPIArena에서 Gemini-2.5-Pro에 대해 76.2% ASR, GPT-5.1에 대해 61.9% ASR, Claude-Sonnet-4.5에 대해 42.9% ASR을 달성한다. AgentDojo에서는 Gemini-2.5-Pro에 대해 86.7% ASR, GPT-5.1에 대해 53.3% ASR, Claude-Sonnet-4.5에 대해 40.0% ASR을 달성한다.
LLM 및 자율 에이전트의 발전에 힘입어, 딥 리서치는 가장 널리 채택된 에이전틱 제품 중 하나가 되었다. 그러나 대부분의 딥 리서치 시스템은 일반 목적의 보고서를 작성하며, 이는 금융 딥 리서치에는 부적합하다. 금융 리서치는 과거 패턴을 분석하고 향후 사건을 예측하기 위한 전문 지식을 요구한다. 따라서 금융 딥 리서치를 자동화하려면 연구 에이전트를 구동하는 계층적 하니스와 미래 정보의 누출을 방지하는 검증 가능한 시점 기준(point-in-time) 벤치마크가 모두 필요하다. 우리는 금융 지향 도구와 실무자 안내 워크플로를 실행하는 하니스인 FinanceHarness를 제시한다. 이는 환경 및 데이터 구축, 에이전트 실행 루프, 보상 모델링을 포함하여 금융 딥 리서치를 종단간(end-to-end)으로 자동화한다. 또한 우리는 사전 컷오프 및 사후 컷오프 기준을 결합한 논제 기반 연구 질문과 루브릭으로 구성된 FinanceGym을 제안한다. 전문가 검증 결과 82%의 통과율을 보였다. 최고 성능의 LLM과 에이전트조차 루브릭에서 40% 미만의 점수를 기록하여, FinanceGym이 도전적이며 상당한 개선 여지를 남기고 있음을 보여준다. 동일한 오픈 가중치(open-weight) 백본을 사용할 때, FinanceHarness는 전체 루브릭 점수를 25.3%에서 32.4%로 향상시킨다. FinanceHarness는 https://github.com/Yijia-Xiao/FinanceHarness에서 이용할 수 있다.
대규모 언어 모델은 저장소를 검사하고, 도구를 호출하고, 테스트를 실행하고, 실패를 디버깅하며, 패치를 생성할 수 있는 코딩 에이전트로서 소프트웨어 엔지니어링 워크플로우에 점점 더 통합되고 있습니다. 그러나 소프트웨어 개발은 저장소가 진화하고, 의존성이 변경되며, 테스트가 실패하고, 수리 시도가 재사용 가능한 경험을 남기는 역동적이고 피드백이 풍부한 과정임에도 불구하고, 대부분의 기존 에이전트는 배포 후 대체로 정적인 상태로 남아 있습니다. 이러한 긴장은 자기 진화 코딩 에이전트에 대한 연구의 증가를 촉발했습니다. 자기 진화 코딩 에이전트는 이전 코딩 상호작용에서 얻은 프레임워크, 메모리, 스킬, 도구, 모델 또는 협업 구조를 업데이트하여 미래의 행동을 개선합니다. 본 서베이는 이 새로운 영역에 대한 체계적인 종합을 제공합니다. 먼저 자기 진화 코딩 에이전트를 정의하고, 이를 기존 코딩 에이전트 및 일반적인 자기 진화 에이전트와 구별합니다. 그런 다음 이러한 시스템에서 무엇이 진화하는지를 특성화하는 객체 중심 분류 체계를 개발하고, 이를 진화가 언제 발생하는지와 어떤 소프트웨어 특유의 증거가 진화를 주도하는지라는 두 가지 직교적 관점으로 보완합니다. 문헌 전반에 걸쳐, 우리는 실행 가능한 피드백, 저장소 수준의 맥락, 그리고 코딩 궤적이 에이전트 자기 진화의 자연스러운 영역으로서 소프트웨어 엔지니어링에 독특한 역할을 부여한다는 것을 발견합니다. 그러나 동시에 피드백 신뢰성, 벤치마크 과적합, 안전성, 유지보수성, 비용 및 일반화 측면에서 새로운 도전 과제를 제기합니다. 본 서베이는 이러한 차원을 중심으로 기존 연구를 체계화함으로써 자기 진화 코딩 에이전트의 개념적 경계를 명확히 하고, 보다 적응적이고 신뢰할 수 있으며 소프트웨어를 인지하는 에이전트 시스템을 설계하기 위한 기반을 제공하는 것을 목표로 합니다. 우리가 수집한 논문은 https://github.com/zhouhao1024/Awesome-Self-Evolving-Coding-Agents에서 확인할 수 있습니다.
다중 모드 대규모 언어 모델(MLLM)은 시각적 단서와 텍스트적 단서를 결합하여 실제 세계 장면에 근거한 예측을 수행하지만, 기존 벤치마크는 이러한 증거 소스들이 충돌할 때 모델이 어떻게 중재하는지를 거의 드러내지 않는다. 우리는 텍스트-시각 충돌 해결을 평가하기 위한 통제된 반사실적 벤치마크인 SIGNPOST-Bench를 소개한다. 각 원본 이미지는 원본(Original), 공백(Blank), 유사(Similar), 무작위(Random), 적대적(Adversarial) 변형으로 구성된 반사실적 다섯 가지 변형 세트로 변환된다. 비텍스트 콘텐츠를 보존하도록 설계된 합성적이고 국소화된 장면-텍스트 개입을 통해, 위치 파악 성능의 변화와 충돌하는 텍스트가 유도하는 지리적 목표를 향한 방향적 이동을 쌍별로 측정할 수 있다. SIGNPOST-Bench는 네 개의 데이터셋에서 추출한 5,111개의 반사실적 그룹과 25,555개의 이미지 변형을 포함한다. 우리는 일곱 개 제공업체의 20개 MLLM을 평가한다. 원본 이미지와 비교할 때, 적대적 변형은 위치 파악 오차의 중앙값을 282km에서 1,347km로, 즉 4.8배 증가시킨다. 지오코딩 가능한 적대적 샘플 중에서, 모델에 따라 예측의 6.5~20.1%가 주입된 목표로부터 50km 이내에 위치한다. 또한 평가된 모든 모델은 Blank에서 Adversarial로 전환될 때 목표 거리에서 양의 평균 쌍별 감소를 보인다. 일치하는, 무관한, 그리고 충돌하는 텍스트 대체는 모델 예측에 뚜렷하게 다른 영향을 미친다. 반면, 정상 입력에서의 위치 파악 성능은 충돌하는 텍스트에 대한 견고성을 완전히 예측하지는 못한다. 이러한 결과는 시각적 지리 위치 파악을 장면-텍스트 중재의 연속적 진단 도구로 확립하며, MLLM이 충돌하는 다중 모드 증거를 어떻게 해결하는지 평가하기 위한 통제된 프레임워크를 제공한다.
흐름 정합 비전-언어-행동(flow-matching vision-language-action, VLA) 모델(예: pi0)은 학습된 잡음 제거 속도장(denoising velocity field)을 적분하여 로봇의 행동을 생성하며, 자기회귀(autoregressive) VLA 모델을 쉽게 속이는 적대적 섭동(adversarial perturbation)에 저항하는 것으로 보고되었다. 우리는 이러한 강건성이 대체로 착각에 불과함을 보인다. 그 원인은 기존 공격들이 다단계 잡음 제거 ODE(상미분방정식)를 무시했기 때문이다. 우리는 DRIFT(Denoising Redirection via Input perturbation of the Flow-matching Trajectory)를 도입한다. 이는 테스트 시점에 로봇의 그리퍼에 부착되는 범용 적대적 패치(universal adversarial patch)로서, 사전 훈련된 정책(off-the-shelf policy)의 잡음 제거 속도장을 공격한다. 우리의 핵심 발견은 직관에 반하는 것이다. 즉, 첫 번째 잡음 제거 단계만 공격하는 것이 더 넓은 단계 구간을 공격하는 것보다 더 강력하고 계산 비용도 낮다는 것이다. 우리는 이를 입력 공간 최적화에 고유한 기울기 충돌(gradient conflict)로 설명하며, 이는 훈련 시점의 백도어(backdoor) 체계와 정확히 반대된다. pi0와 pi0.5에서 네 가지 LIBERO 벤치마크를 대상으로 한 실험에서, DRIFT는 단일 소형 패치만으로 원래 해결 가능한 거의 모든 작업을 무너뜨렸으며, 행동 공간 및 임베딩 공간 공격 기준선(action- and embedding-space attack baselines)을 훨씬 능가하는 성능을 보였다.
실행 상태를 영속화하여 실행이 중단되거나 충돌을 겪은 뒤에도 계속될 수 있도록 하는 프레임워크는, 이미 발생한 효과에 대해 재개(resume)가 무엇을 의미하는지 결정해야 한다. 널리 배포된 다섯 가지 에이전트 워크플로 프레임워크는 서로 다르게 답하며, 그 어느 것도 기계적으로 검증 가능한 계약을 제공하지 않고, 실제 동작은 이들이 명시한 일부 조항조차 위반한다. RESUME 계약은 영속화 API에 대한 여섯 가지 속성(접두사 연속성, 효과 정확히 한 번, 포크 결정성, 체크포인트 유효성, 소비-한 번, 복구 결정성)과 함께 포크 의도 및 생존성 의무를 규정한다. TLA+ 모델은 참조 의미론을 확장된 경계(740만 상태)에서도 변경 없이 전수적으로 검사한다. 39개 셀 오류 행렬은 독립성을 입증하는 데 필요한 분리 모델들을 제공하며, 소비-한 번은 분리되는데, 그 소비 조항은 다른 여섯 속성 모두와 독립적이다. 결정적이며 LLM을 사용하지 않는 하네스가 고정된 릴리스에서 이들을 측정한다. LangGraph 1.2.9는 두 번째 재개 값을 영속적으로 기록하고 결코 참조하지 않으며, 스키마에 위배되는 상태를 조용히 영속화하고, 실제 SIGKILL 이후에 영속적으로 기록된 작업을 재실행한다. 즉, 하나의 API에서 인터럽트에 대해서는 정확히 한 번, 충돌에 대해서는 적어도 한 번의 의미를 제공한다. CrewAI 1.15.2는 문서화된 주장과 반대로 이미 완료된 효과 수반 메서드를 재실행한다. pydantic-graph 1.x는 노드 중간 충돌 후 재개할 수 없다. 조사된 프레임워크 중 어느 두 개도 동일한 적합성 프로파일을 공유하지 않는다. 소비-한 번은 순차 실행에서는 성립하지만 동시 전달에서는 실패한다. 하나의 대기 중인 인터럽트를 재개하는 k개의 프로세스가 게이트된 효과를 k번 발생시키며, 40개 셀 중 36개에서 포화도 1.0을 보이고, 이 실패는 호스트 경계를 넘어 발생한다. REMIT는 Verus로 검증된 복구 코어가 배포된 실행 파일과 줄 단위로 동일한 참조 시퀀서로서, 포크 및 유효성 셀을 수리한다. 교차 프로세스 셀은 읽기 경로에서 수리되며, 그 수리는 실제 제품에 포함된다. 즉, 옵트인 게이트가 공유 저장소에서 소비를 선점하여, 어떤 노드도 실행되기 전에 경쟁자 하나에게만 제공하고 나머지는 거부한다.
레드팀 평가(red-team evaluation)는 일부 주장을 지지하지만 다른 주장은 지지하지 않으며, 이 둘의 경계는 단순한 판단의 문제가 아니라 계산 가능하다. 우리는 평가의 증거 상한(evidential ceiling)을 고정된 테스트 예산 하에서 하나의 결과가 믿음(belief)을 이동시킬 수 있는 최대 배수로 정의하고, 벤치마크 귀무 결과(null result)에 대해 닫힌 형태(closed form)로 유도한 다음, 이를 사용하여 그 경계를 정확히 위치시킨다. 우리는 계산 가능한 피해율(harm rate) 이상에서는 적절한 규모의 벤치마크가 명시된 증거 기준(evidentiary standard)에 따라 해당 범주를 인증하며, 이때 완전 무결과(clean sheet)는 두 가지 가능한 관측 중 더 강력한 증거가 되어 단일하게 재현된 실패보다 우월함을 발견한다. 그 피해율 이하에서는, 고정된 채점 규칙과 대략적으로 독립적인 시행 구조 하에서, 실현 가능한 규모의 어떠한 수동적 벤치마크도 명시된 안전성 증거를 제공하지 못한다. 두 체제 사이의 교차점은 닫힌 형태를 갖는다. 이 경계는 벤치마크에 국한되지 않는다. 절차의 가설 조건부 도출률(hypothesis conditioned elicitation rate)로 표현될 때, 이는 적응형 및 자동화된 레드팀링도 포괄하며, 공격 성공이 아니라 가설 간의 변별(discrimination)이 증거적 가치를 결정함을 보여준다. 여덟 개의 평가 스위트(suite)를 이 경계에 대해 감사한 결과, 현재의 벤치마크는 고빈도 피해 범주에는 적합하지만, 희귀하고 치명적인 범주에 대해서는 수 자릿수만큼 부족함을 발견한다. 안전성 벤치마크는 정보를 제공하지 않는 것이 아니다. 그것들은 특정하고 계산 가능한 명제 집합에 대해 정보를 제공하며, 요구되는 규율은 어떤 명제에 대해 정보를 제공하는지를 명시하는 것이다.