AI 연구 논문 데일리

많은 일상적인 프로그래밍 작업(예: 중요 로그 라인 알림, 깨진 JSON 복구, 의도에 따른 검색 결과 순위 매기기)은 명확한 규칙 기반 구현에 저항하며, 점점 더 대규모 언어 모델 API에 아웃소싱되고 있지만 이는 지역성, 재현성, 비용 측면에서 손해를 감수해야 합니다. 우리는 퍼지 함수 프로그래밍(fuzzy-function programming)을 제안합니다: 자연어 명세로부터 그러한 함수를 컴파일하여 컴팩트하고 로컬에서 실행 가능한 신경 아티팩트(neural artifact)로 만드는 것입니다. 우리는 이 패러다임을 PAW(Program-as-Weights)로 구체화합니다. PAW에서는 FuzzyBench(우리가 공개하는 1천만 개 예제 데이터셋)에서 학습된 4B 컴파일러가 동결된 경량 인터프리터를 위한 파라미터 효율적 어댑터(parameter-efficient adapter)를 생성합니다. PAW 프로그램을 실행하는 0.6B Qwen3 인터프리터는 Qwen3-32B의 직접 프롬프팅과 동등한 성능을 달성하면서도, 추론 메모리는 약 50분의 1만 사용하고 MacBook M3에서 초당 30토큰으로 실행됩니다. PAW는 파운데이션 모델을 입력별 문제 해결사에서 도구 제작자로 재정의합니다: 함수 정의당 한 번 호출되어 작은 재사용 가능한 아티팩트를 생성하며, 이후 함수 적용 시 호출은 저렴하고 오프라인에서 이루어집니다.

장기 지평 LLM 에이전트의 메모리는 각 미래 결정이 무엇을 볼 수 있는지에 대한 계약이다. 가장 단순한 계약은 과거 관찰, 도구 호출, 반성(reflections)을 모든 프롬프트에 추가하는 방식으로, 이는 이전 맥락에 쉽게 접근할 수 있게 하지만, 동시에 모든 것이 뒤섞인 혼합물이 되어 단일 메모리 구성 요소의 효과를 분리하기 어렵게 만든다. 우리는 대안적인 제한된 계약(bounded contract)을 도입하고 이를 구현한다: 모든 결정은 유형별 검색(typed retrieval)으로 조합된 새로운 사용자 메시지로부터 이루어지며, 원시적인 교차 결정 기록(cross-decision transcript)은 추가되지 않는다. 따라서 프롬프트는 어떤 길이의 실행에서도 제한된 상태를 유지하며, 개별 계층을 독립적으로 제거(ablate)할 수 있다. 우리는 이 계약을 폐쇄 규칙 기반 확률적 덱 빌딩 게임인 Slay the Spire 2에 적용했으며, 이 게임의 실행은 수백 번의 전술적 및 전략적 결정을 필요로 한다. 동일한 게임에 대한 최첨단 LLM들의 공개 온라인 벤치마크는 다섯 가지 구성에서 가장 낮은 난이도에서 승리가 0회임을 보고하며, 동일 난이도에서 개발자가 보고한 인간 승률은 16%로, 해당 과제는 어렵지만 포화 상태는 아니다. 우리의 테스트 환경에서는 고정 A0 제거(fixed-A0 ablation) 실험에서 전략적 스킬이 활성화되었을 때 가장 큰 차이가 관찰되었다: 저장 없는 기준선(no-store baseline)은 10게임 중 3승을 기록했고, 스킬 계층을 추가했을 때는 10게임 중 6승을 기록했다. 이 표본 크기에서 비교는 통계적으로 결정적이기보다 방향성을 제시하는 수준이다(피셔 정확검정 p≈0.37). 교차 백본 조사(cross-backbone probe) 및 공개 누적 맥락 기준선(public accumulating-context baselines)은 계약 변수 자체의 통제된 테스트가 아닌 운영상의 비교로 보고된다. 우리는 재현 가능한 테스트베드를 공개한다: 조건 태그가 부착된 298개의 완료된 궤적, 고정된 메모리/스킬 스냅샷, 프롬프트 기록 및 분석 스크립트 — 이는 명시적 메모리 계층이 장기 지평 LLM 에이전트의 결정을 어떻게 형성하는지 연구하기 위한 에이전트 설계이자 검증된 재사용 가능 방법론이다.

자율 에이전트가 피드백을 통해 실행 가능한 정책을 개선할 것으로 점점 더 기대되지만, 기존 평가는 종종 이 과정을 최종 점수로 축소하거나 개방형 소프트웨어 엔지니어링 진행과 혼동합니다. 우리는 자율 정책 진화(Autonomous Policy Evolution)를 도입합니다. 이는 통제된 평가 환경으로, 하네스 모델 에이전트가 고정된 상호작용 예산 하에서 실행 가능한 정책 시스템을 반복적으로 수정합니다. 우리는 이 환경을 EvoPolicyGym에 구현했습니다. 이는 소형 대화형 강화학습 환경으로 구축된 벤치마크로, 에이전트가 반복적으로 탐색된 정책을 개선하는 방식을 평가합니다. EvoPolicyGym 스위트에서 GPT-5.5는 가장 강력한 종합 순위 점수를 달성했으며, 16개 환경 모두에서 상위 두 성능을 기록했습니다. 리더보드 결과 외에도 EvoPolicyGym은 에이전트가 예산을 할당하고 피드백을 매개변수 조정으로 변환하는 방식을 구분하는 궤적 수준의 진단을 제공합니다. 이러한 분석은 강력한 자율 정책 진화가 단순한 개별 과제 승리에 의존하는 것이 아니라, 과제에 적합한 메커니즘을 발견하고 제한된 피드백 하에서 정책을 정제하는 데 달려 있음을 보여줍니다.

하이브리드 어텐션 모델은 전체 어텐션 레이어의 일부만 유지하고 나머지 레이어를 선형 어텐션으로 대체하여 장문맥 효율성을 개선한다. 그러나 트랜스포머-하이브리드 변환의 효과성은 어떤 레이어가 전체 어텐션을 유지하는지에 결정적으로 의존한다. 기존의 하이브리드 레이어 선택 방법은 일반적으로 고정 배치 패턴이나 레이어별 점수화와 같은 휴리스틱 전략에 의존하며, 레이어 중요도를 개별적으로 취급하고 전역 하이브리드 구성 하에서의 상호 의존적 레이어 효과를 간과한다. 본 연구에서는 하이브리드 레이어 선택을 예산 제약 하의 부분 집합 최적화 문제로 정식화한다. 또한 트랜스포머-하이브리드 변환을 위한 효과적이고 효율적이며 확장 가능한 레이어 선택 방법인 FlashMorph(Fast LAyer Selection for Hybrid MORPHing)를 제안한다. FlashMorph는 먼저 각 전체 어텐션 레이어에 변환된 선형 어텐션 분기를 장착하여 형태 변환 가능한 모델을 구축한다. 이후 모든 모델 가중치를 고정시키고 합성 장문맥 검색 데이터에 대해 레이어별 게이트를 공동 최적화하며, 효율성을 위해 모델이 선형 어텐션에 의존하도록 유도하는 선형화 정규화를 적용한다. 학습된 게이트는 사전 설정된 전체 어텐션 예산 하에서 이산화되어 하이브리드 아키텍처를 인스턴스화하며, 이후 표준 로짓 증류 및 장문맥 미세조정이 수행된다. 광범위한 실험 결과, FlashMorph는 기존 레이어 선택 방법 대비 더 효과적인 하이브리드 구성을 발견하고, 레이어 선택 비용을 크게 줄이면서도 강력한 장문맥 재현율과 일반 벤치마크 성능을 유지하여, 그 효과성, 효율성 및 확장성을 입증한다.

하드웨어에 구애받지 않는 텍스트-이미지 확산 가속 전략(예: 타임스텝 증류 및 특징 캐싱)은 맞춤형 커널이나 시스템 수준 최적화 없이도 추론 시간을 줄일 수 있다. 이 중 다중 해상도 생성 전략은 최근 광범위한 주목을 받으며, 학습 없이 5배 이상의 속도 향상을 달성했다. 그러나 잠재 공간에서 업샘플링을 수행하고 부분 영역을 선택적으로 수정하는 설계로 인해, 이러한 방법들은 눈에 띄는 블러링이나 아티팩트를 나타낸다. 이에 우리는 단계적 저해상도-고해상도 파이프라인을 기반으로 구축된 사전 학습된 플로우 매칭 모델을 위한 학습 없는 다중 해상도 가속 전략인 MrFlow를 제안한다. MrFlow는 먼저 저해상도에서 주 구조를 빠르게 생성한 후, 경량 사전 학습된 GAN 기반 모델을 사용하여 픽셀 공간에서 초해상도를 수행하고, 이후 낮은 강도의 노이즈를 주입하여 고주파수 리샘플링을 가능하게 한 후, 최종적으로 고해상도에서 세부 사항을 정제한다. FLUX.1-dev와 Qwen-Image에 대한 정량적 및 정성적 결과는 MrFlow가 저해상도 샘플링의 이차 토큰 감소와 감소된 스텝 요구 사항을 활용하여 10배의 종단 간 가속을 달성하면서도 OneIG를 가속 전 대비 1% 이내의 차이로 유지하며, 다른 학습 없는 가속 전략을 크게 능가하고, 학습이나 런타임 동적 식별이 전혀 필요하지 않음을 보여준다. MrFlow는 사전 학습된 타임스텝 증류 전략과 직교적으로 직접 결합될 수 있어 최대 25배의 더 높은 생성 가속을 달성한다.

데이터 과학은 이질적인 원시 데이터로부터 실행 가능한 통찰을 도출하여 현대 사회에서 생성되는 방대한 양의 데이터 가치를 활용하는 것을 목표로 한다. 이러한 과정을 자동화하는 것은 데이터 과학자의 노동 집약적 작업을 줄이고 확장 가능한 데이터 기반 애플리케이션을 가능하게 하는 데 필수적이다. 최근에는 대규모 언어 모델(LLM) 기반 데이터 에이전트가 데이터 과학 워크플로를 자동화하는 유망한 해결책으로 부상하고 있다. 그러나 이 분야에는 다양한 시나리오에서 세분화된 수준으로 이러한 에이전트를 엄격하게 평가할 수 있는 포괄적인 벤치마크가 부족하다. 이러한 격차를 해소하기 위해, 우리는 세분화된 실제 레이블을 갖춘 다양한 도메인에 걸친 현실적인 작업을 특징으로 하는 포괄적인 벤치마크인 AgenticDataBench를 제안한다. 이를 통해 데이터 과학 워크플로의 다양성과 복잡성, 그리고 에이전트의 세부 성능을 포착하는 평가가 가능해진다. 첫째, 다양한 도메인을 포괄하기 위해 우리는 주요 핀테크 기업의 5가지 실제 B2B 사용 사례를 포함한 15개 수직 도메인에서 실제 데이터 세트와 작업을 수집한다. 둘째, 실제 작업의 중복을 제거하고 실제 데이터가 부족한 도메인에 대한 고품질 작업을 생성하기 위해, 우리는 데이터 과학 스킬, 반복되는 데이터 중심 운영 패턴을 도입하고 포함된 스킬 수로 벤치마크 커버리지를 정량화한다. 대표적인 스킬은 스킬 정렬 계층적 군집화를 사용하여 Stack Overflow의 대규모 작업 솔루션에서 추출된다. 셋째, 실제 비즈니스 작업의 경우, 스킬 구성의 다양성을 극대화하는 작업-솔루션 쌍을 선택하여 실제 시나리오에 대한 광범위한 커버리지를 보장한다. 넷째, 실제 작업이 없는 고안된 도메인에 대한 현실적인 작업을 생성하기 위해, 우리는 이러한 스킬을 기반으로 워크플로와 작업을 생성하는 체계적인 LLM 기반 작업 생성 접근법을 제안한다. 마지막으로, 우리는 주석이 달린 벤치마크와 오픈소스 테스트베드를 사용하여 최신 데이터 에이전트를 평가하고, 상세한 스킬 수준의 인사이트를 제공한다.

본 논문에서는 지속적 동적 객체 메모리와 제약 없는 시점 탐색을 위해 설계된 고도로 제어 가능한 비디오 세계 모델 프레임워크인 WorldDirector를 제시한다. 물리적 역학을 픽셀 렌더링과 결합하고 지속적인 시각적 관찰에 의존하여 움직임을 유지하는 기존 세계 모델과 달리, 본 프레임워크는 의미적 움직임 조율을 시각적 생성으로부터 명시적으로 분리한다. LLM을 활용하여 3D 궤적을 카메라 움직임과 조정하고, 이후 이렇게 조율된 궤적을 비디오 생성을 위한 제어 신호로 사용함으로써, 본 접근법은 엄격한 물리적 논리와 외관 안정성을 보장하며, 동적인 개체가 오랜 기간 시야에서 벗어났다가 다시 장면에 재진입하더라도 정확한 시각적 정체성을 성공적으로 유지한다. 실험 결과는 본 방법이 전례 없는 제어 가능성과 지속적 동적 객체 메모리를 통해 복잡하고 확장된 이벤트 합성을 지원함을 보여준다. 프로젝트 페이지: https://worlddirector.github.io/

최근의 다중 모드 대규모 언어 모델은 임상 이미지 추론에서 큰 가능성을 보여주고 있지만, 기존의 사후 학습 파이프라인은 최종 답변의 정확성이나 시퀀스 수준의 선호도에 의존하는 결과 중심적 접근에 머물러 있다. 이는 희소한 신용 할당 문제를 초래하여 임상 적용에 필수적인 추론 과정을 최적화하기 어렵게 만든다. 본 분석 결과, 초기 추론 단계의 실패에서 비롯된 연쇄 오류가 의료 시각 질의응답(VQA) 벤치마크에서 부정확한 예측의 주요 원인임을 확인하였다. 이에 착안하여, 우리는 단계별 과정 보상을 통합한 강화 학습 알고리즘인 의료 추론 인식 정책 최적화(MRPO)를 제안한다. 최종 답변이 틀렸을 때, MRPO는 초기 무효 추론 단계의 토큰에 지수적으로 더 큰 패널티를 할당하여 성공적인 경로를 손상시키지 않으면서 실패 연쇄를 차단한다. 세 가지 다중 모드 LLM 백본에서 MRPO는 표준 GRPO 및 최근 RL 기준선보다 일관되게 우수한 성능을 보였으며, Qwen3-VL-8B-Instruct에서는 HuatuoGPT-Vision-34B와 같은 훨씬 더 큰 의료 MLLM도 2.79 포인트 차이로 능가하였다. 또한, MRPO는 초기 단계 추론 실패를 64.0%에서 13.0%로 감소시켜, 연쇄 실패의 표적 완화가 추론 품질과 최종 답변 정확성을 모두 향상시킴을 보여준다. 본 코드는 https://github.com/dmis-lab/MRPO에서 확인할 수 있다.

스킬은 LLM 에이전트의 재사용 가능한 운영 계층이 되어, SOP(표준 운영 절차), 도메인 규칙, 도구 워크플로우, 스크립트, 검증 루틴을 인코딩한다. 실제 스킬 저장소에서는 중복되는 스킬들로 인해 신뢰할 수 있는 스킬 사용이 어렵다. 최종 검증기의 성공 여부만으로는 평가와 훈련 모두에 지나치게 거친 지표인데, 에이전트가 시행착오를 거쳐 방해 요소가 되는 스킬을 선택하거나, 필수 단계를 생략하거나, 워크플로우를 잘못 구성하거나, 최종 점검을 누락하면서도 작업을 통과할 수 있기 때문이다. 우리는 에이전트의 스킬 사용을 평가하고 향상시키기 위한 자기 진화형 평가 기준(rubric) 프레임워크인 SkillCoach를 소개한다. SkillCoach는 실제 롤아웃(rollout) 데이터로부터 스킬 기반 프로세스 평가 기준을 도출하고, 네 가지 차원(스킬 선택, 스킬 준수, 스킬 구성, 스킬 기반 반성)에 따라 궤적을 평가한다. 외부 검증기는 별도의 결과 신호로 유지하여, 프로세스 품질이 우연한 작업 성공과 구별되도록 한다. 진화된 평가 기준은 고품질 훈련 궤적을 선별하기 위한 프로세스 감독(process supervision)으로도 활용된다. 실험 결과, 진화된 평가 기준은 평가 품질을 크게 향상시키고, 최종 정확도로는 드러나지 않는 실패를 노출하며, 에이전트의 스킬 사용을 강화하기 위해 결과 기반 필터링만 사용하는 것보다 더 강력한 감독 신호를 제공하는 것으로 나타났다.

기존의 시각적 생성을 위한 강화학습 전략은 일반적으로 표본 단위 보상 함수를 사용하지만, 이러한 접근법은 종종 보상 해킹을 초래하여 이미지 다양성을 저하시키고 시각적 이상을 발생시킨다. 이러한 한계를 해결하기 위해, 우리는 분포 단위 보상을 사용하여 생성 모델을 미세 조정함으로써 실제 데이터 분포와의 정렬을 개선하는 새로운 프레임워크를 제시한다. 표본을 개별적으로 평가하는 보상과 달리, 분포 단위 보상은 표본들의 데이터 분포를 고려하여 모든 표본이 독립적으로 동일한 방향으로 최적화될 때 발생하는 모드 붕괴 문제를 완화한다. 이러한 보상을 추정하는 데 따르는 막대한 계산 비용을 극복하기 위해, 우리는 생성된 참조 집합의 작은 부분 집합만을 업데이트하여 효율적으로 보상 신호를 제공하는 부분 집합 교체 전략을 도입한다. 또한, RL을 적용하여 사후 모델 병합 계수를 최적화함으로써, 일반적인 RL 관행에서 확률적 미분 방정식(SDE) 도입으로 인해 발생할 수 있는 훈련-추론 불일치를 잠재적으로 완화한다. 광범위한 실험 결과, 우리의 접근 방식은 다양한 기본 모델에서 FID-50K를 SiT의 경우 8.30에서 5.77로, EDM2의 경우 3.74에서 3.52로 크게 개선함을 보여준다. 정성적 평가 역시 우리의 방법이 표본 다양성을 유지하면서 지각적 품질을 향상시킴을 확인한다.

긴 문맥 사용에서, 대규모 언어 모델은 관련 문맥 범위의 의미로부터 답변을 합성하는 경우가 많으며, 문자 그대로 복사하여 붙여넣지 않는다. 이러한 합성을 수행하는 주의 헤드(attention head)를 식별하는 것은 긴 문맥 모델의 행동을 해석하는 데 중요하다. 그러나 기존 탐지기들은 설계상 이런 헤드들을 놓친다. 이들은 주의를 기울인 토큰이 생성된 토큰과 일치하는 헤드에 보상을 주는데, 이는 문자 그대로 복사하는 기준으로, 헤드가 읽는 위치는 포착하지만 출력-값(OV) 회로를 통해 쓰는 내용은 포착하지 못하며, 이것이 바로 비문자적 검색을 수행하는 메커니즘이다. 우리는 LOCOS(Logit-Contribution Scoring)를 도입한다. 이는 쓰기 인식 탐지기로, 각 헤드의 OV 회로 출력을 답변 토큰 임베딩 해제 방향으로 투영하여 점수를 매기며, 단일 순방향 패스에서 바늘(needle)과 비바늘(off-needle) 소스 위치를 대조한다. 세 가지 모델 계열(Qwen3, Gemma-3, OLMo-3.1)에서, NoLiMa 비문자적 검색 벤치마크에 대해 상위 LOCOS 헤드를 평균 절제(mean-ablate)하면 이전의 주의 기반 탐지보다 더 적은 헤드 수로 ROUGE-L이 붕괴된다. Qwen3-8B에서 50개 헤드를 절제하면 ROUGE-L이 0.401에서 0.000으로 떨어지는 반면, 가장 강력한 기준선은 여전히 0.292를 유지한다. 선택된 헤드는 검색에 특화되어 있다: 동일한 절제 하에서 매개변수적 회상(parametric recall)과 산술 추론(arithmetic reasoning)은 기준선 수준을 유지한다. Qwen3-8B에서 동일한 절제는 MuSiQue를 0.55에서 0.08로, BABI-Long을 0.62에서 0.20으로 떨어뜨리는 반면, 무작위 헤드 대조군은 기준선의 0.05 이내를 유지한다.

표현 정렬은 확산 트랜스포머 훈련을 가속화하고 생성 품질을 향상시키는 효과적인 방법이 되었다. 최근 SRA 및 Self-Flow와 같은 자기 정렬 방법은 확산 모델 자체 내에서 정렬을 구성함으로써 외부 사전 훈련 인코더에 대한 의존성을 추가로 제거한다. 그러나 SRA에서 Self-Flow로의 개선, 즉 이중 시간 스케줄링의 메커니즘은 충분히 검토되지 않았다. Self-Flow는 그 이득을 서로 다른 노이즈 수준에서의 토큰 간 상호작용, 즉 더 깨끗한 토큰이 더 노이즈가 많은 토큰을 추론하는 데 도움을 주는 것에 귀속시킨다. 본 연구에서는 이 설명을 재검토하고, 그 이득이 대신 노이즈 차원을 따른 데이터 증강에서 비롯되는 것인지 질문한다. 이러한 요소들을 분리하기 위해, 우리는 Attention Separation을 도입한다. 이는 서로 다른 노이즈 수준에 할당된 토큰 간의 주의(attention)를 차단하면서 Self-Flow와 동일한 이중 시간 단계 입력을 유지한다. 놀랍게도, 이러한 상호작용을 제거해도 성능이 저하되지 않을 뿐만 아니라 오히려 향상시킬 수 있으며, 이는 SRA에서 Self-Flow로의 개선이 주로 데이터 증강에서 비롯됨을 시사한다. 더 나아가, 우리는 Attention Separation 자체가 단일 이미지를 여러 개의 효과적인 훈련 부분으로 분할하여 훈련 데이터를 확장함으로써 증강 효과를 제공한다는 것을 보여준다. 이러한 관찰을 바탕으로, 우리는 자기 표현 정렬을 이중 시간 단계 및 주의 분리 증강과 결합하고, ImageNet에서 이 설계의 효과를 입증한다.

정맥 인식은 안전한 생체 인식 기술이지만, 제한된 주석 데이터와 이미징 변동성으로 인해 종종 제약을 받는다. 데이터 증강이 이를 완화할 수 있지만, 자연 이미지를 위해 설계된 전략은 개체 식별에 필수적인 세밀한 위상 구조와 질감을 손상시킬 수 있다. 본 연구에서는 AGVBench를 제안하며, 이는 고전적 CNN, 비전 트랜스포머, 정맥 특화 인식 모델을 포함한 7가지 백본 아키텍처를 사용하여 5개의 공개 손바닥 및 손가락 정맥 데이터셋에서 30가지 대표적인 증강 전략을 평가한다. 실험 결과, 다중 이미지 혼합 방법(예: MixUp, PuzzleMix, StarMixup)이 일반적으로 가장 우수한 인식 성능을 제공하는 것으로 나타났다. 그러나 이러한 방법들은 종종 캘리브레이션이 불량하고 적대적 교란에 취약하여, 정확도 기반의 평가와 적대적 보안 사이에 명확한 불일치가 있음을 보여준다. 또한 심각한 기하학적 변환은 특징 정렬 불일치나 공간적 크롭으로 인해 인식 성능을 저하시키는 경우가 많으며, 증강 효과는 손바닥 정맥과 손가락 정맥 데이터셋에 따라 달라진다. 이러한 발견은 생체 인식 증강에 있어 정확도 중심의 평가가 충분하지 않음을 입증한다. AGVBench는 재현 가능한 연구를 지원하고 신뢰할 수 있으며 안전하고 강건한 정맥 인식 시스템 설계를 안내하기 위한 표준화된 프로토콜을 제공한다. 코드베이스는 https://github.com/Advance-VeinTech-Innovators/AGVBench에서 확인할 수 있다.

ControlNet과 같은 제어 가능한 이미지 생성 방법은 깊이 맵과 같은 시각적 조건을 도입하여 이미지 생성을 안내하는 놀라운 능력을 보여주었다. 그러나 이러한 방법들은 복잡한 다중 객체 장면에서 종종 어려움을 겪으며, 객체 간 속성 혼란을 자주 초래한다. 최근 접근법들은 수동 객체 라벨링을 통해 이를 완화하려고 시도하지만, 이러한 요구 사항은 노동 집약적이다. 본 논문에서는 객체 라벨링이 필요 없는 새로운 다중 객체 제어 가능 생성 방법인 InstanceControl을 제안한다. 우리는 기존 방법의 주요 병목 현상이 시각적 조건 내에서 객체 설명과 해당 영역을 정확하게 연관시키지 못하는 것임을 확인한다. 이를 해결하기 위해, 우리는 시각-언어 모델(VLM)을 활용하여 텍스트 프롬프트와 시각적 조건 간의 객체 수준 대응 관계를 설정한다. 구체적으로, VLM은 텍스트 프롬프트에서 객체 설명을 자동으로 파싱하고 동시에 시각적 조건에 기반하여 객체 마스크를 예측한다. 또한, 예측된 마스크에 노이즈가 포함될 수 있으므로, 생성 과정에서 이러한 객체 마스크를 동적으로 정제하는 적응형 마스크 개선 전략을 도입한다. 광범위한 실험을 통해 우리의 접근법이 최신 방법보다 우수한 성능을 보이며, 뛰어난 충실도와 정밀한 객체 수준 제어를 달성함을 입증한다.

대규모 언어 모델(LLM)로 구동되는 검색 에이전트는 사용자 목표를 달성하기 위해 다단계 검색과 추론이 필요한 복잡한 정보 탐색 작업을 해결하는 데 점점 더 많이 사용되고 있습니다. 그러나 기존 벤치마크는 종종 사용자 질의가 완전하고 명시적이라고 가정하여, 실제 검색 요청이 자주 모호하거나, 불완전하거나, 심지어 사실적으로 부정확하다는 사실을 간과합니다. 심층 검색 시나리오에서 이러한 모호성은 다단계 추론 체인을 따라 전파되어 에이전트를 잘못된 검색 경로로 이끌 수 있습니다. 이러한 격차를 해결하기 위해, 우리는 DiscoBench를 소개합니다. DiscoBench는 명확화 인식 심층 검색을 위한 벤치마크로, 검색 에이전트가 능동적으로 모호성을 식별하고, 효과적인 명확화 질문을 하며, 사용자 상호작용을 통해 올바른 추론 경로를 복구할 수 있는지 평가하도록 설계되었습니다. DiscoBench는 11개 실제 도메인에 걸쳐 211개의 샘플과 463개의 모호성 인스턴스를 포함하며, 네 가지 모호성 유형을 다룹니다. 또한 다중 턴 상호작용을 위한 사용자 시뮬레이터를 설계하고, 작업 유용성, 모호성 탐지, 상호작용 전략, 비용 효율성의 네 가지 관점에서 모델 성능을 평가합니다. 대표적인 LLM에 대한 실험은 모호성 탐지와 효과적인 명확화가 별개의 능력임을 보여주며, 명확화를 요청하는 대신 반복적으로 검색하는 것이 종종 직접 추측보다 성능이 떨어짐을 나타냅니다. 이는 현재 검색 에이전트에서 검색 능력과 상호작용적 문제 해결 사이에 중요한 간극이 있음을 강조합니다.

시각-언어 모델(VLM)은 시공간 비디오 기반 추론(STVG) 분야에서 큰 가능성을 입증해 왔다. 그러나 현재의 평가 프로토콜은 주로 일반적이고 일상적인 벤치마크에 대한 제로샷 평가에 국한되어 있다. 이로 인해 전문 분야의 실제 응용과의 중요한 단절이 발생하며, 모델은 필연적으로 희귀한 시각 개념과 복잡한 시공간 역학을 마주하게 된다. 무한한 데이터 분포에 걸친 완전한 사전 학습이 불가능하기 때문에, 새로운 도메인에 적응하는 능력이 필수적이다. 이러한 격차를 해소하기 위해 우리는 AnyGroundBench를 소개한다. 이는 STVG 평가 패러다임을 정적 제로샷 테스트에서 엄격한 도메인 적응으로 전환하도록 설계된 도메인 적응 벤치마크이다. 다섯 가지 전문 도메인(동물, 산업, 스포츠, 수술, 공공 안전)을 대상으로 하는 AnyGroundBench는 전문가가 주석을 단 마우스 행동과 같은 새로 촬영된 비디오를 기존 데이터셋과 결합하여, 밀집된 고충실도 시공간 주석을 통해 이들을 통합한다. 결정적으로, 이 벤치마크는 도메인 적응성을 체계적으로 측정하기 위해 전용 학습 하위 집합을 제공한다. 우리는 15개의 최첨단 VLM을 광범위하게 평가하여, 실용적인 계산 제약 조건 하에서 제로샷 일반화 및 문맥 내 학습(ICL) 능력을 평가한다. 궁극적으로, 우리의 결과는 현재 모델이 전문 도메인에 직면했을 때 제로샷 및 ICL 기반 적응 모두에서 실패하며, 향후 연구가 반드시 해결해야 할 시공간 추론의 중요한 결함을 드러냄을 보여준다.

메모리 전문성은 학습 가능한 기술이다. 즉, 무엇을 인코딩할지, 언제 검색할지, 지식을 어떻게 조직할지 아는 능력으로, 인지과학에서는 메타기억(metamemory)이라고 부른다. 우리는 이러한 관점을 대규모 언어 모델(LLM)에 적용하여 메모리 관리를 훈련 가능한 기술로 다룬다. 파일 시스템 연산을 작업 행동과 더불어 일급 메모리 행동(first-class memory actions)으로 승격시켜, 모델 스스로 메모리 관리 방법을 결정하게 한다. 이 메모리 기술은 두 가지 축을 따라 향상된다. 이를 지원하는 구조(프롬프트, 파일 스키마, 행동 어휘)와 이를 실행하는 모델의 숙련도이다. 두 축 모두 수동 최적화에 저항한다. 장기 과제의 에피소드는 수천 단계로 실행되며, 단 한 번의 메모리 실수도 오랫동안 드러나지 않을 수 있어 전체 궤적(trajectory)에 대한 인간의 검토가 비실용적이다. 우리는 두 축을 모두 자동화하는 프레임워크인 AutoMem을 소개한다. 첫 번째 루프에서는 강력한 LLM이 에이전트의 전체 궤적을 검토하고 에이전트가 메모리 파일과 상호작용하는 방식을 형성하는 메모리 구조를 반복적으로 수정한다. 두 번째 루프에서는 많은 에피소드에서 에이전트 자체의 좋은 메모리 결정을 식별하여 훈련 신호로 사용함으로써 모델의 메모리 숙련도를 직접 향상시킨다. 절차적으로 생성된 세 가지 장기 과제(Crafter, MiniHack, NetHack)에서, 모델의 작업-행동 동작을 수정하지 않고 메모리만 최적화했을 때 기본 에이전트의 성능이 약 2배에서 4배까지 향상되었으며, 32B 오픈 웨이트 모델이 Claude Opus 4.5 및 Gemini 3.1 Pro Thinking과 같은 최첨단 시스템과 경쟁력을 갖추게 되었다. 우리의 결과는 메모리 관리가 독립적으로 학습 가능한 기술이며, 장기 과제에서 큰 성능 향상을 가져오는 높은 활용도(high-leverage)의 목표임을 보여준다.

SWE-Bench 및 GAIA와 같은 벤치마크에서 LLM 에이전트를 평가하는 것은 비용이 많이 들고 시간이 오래 걸리며 복잡한 인프라가 필요합니다. 단일 평가에 수천 달러의 비용이 들고 완료하는 데 며칠이 걸릴 수 있습니다. 반면, 개별 능력(예: 추론, 코드 생성)을 테스트하는 비에이전트 LLM 벤치마크는 실행 속도가 빠르고 비용이 저렴합니다. 본 논문에서는 비용이 많이 드는 에이전트 벤치마크에서의 성능을 신중하게 선택된 소수의 원자적 평가 인스턴스에 대한 성능으로 정확하게 예측할 수 있는지 조사합니다. 우리는 기존 비에이전트 평가에서 인스턴스를 선택하여 프록시 벤치마크를 구축하는 프레임워크인 PACE를 소개합니다. 이 프레임워크는 원자적 능력을 포괄하는 후보 인스턴스 풀에서, 모델의 점수를 목표 에이전트 벤치마크 점수에 매핑하는 회귀 모델을 적합합니다. 이 부분 집합은 목표 관련성 지역 선택과 전역 정보성 전역 선택이라는 두 가지 상호 보완적인 인스턴스 선택 전략을 결합하여 선별됩니다. 본 논문에서는 PACE를 4개의 목표 에이전트 벤치마크에 적용하여, 실제로 평가에 사용되는 구체적인 프록시 벤치마크인 PACE-Bench를 생성합니다. 14개 모델, 4개 에이전트 벤치마크, 19개 비에이전트 벤치마크에 걸친 실험 결과, PACE-Bench는 탈일차 교차 검증(LOOCV) 평균 절대 오차(MAE) 4% 미만, 스피어만 상관계수 0.80 이상, 쌍별 모델 순위 정확도 약 85%로 에이전트 점수를 예측하며, 이 모든 것이 전체 에이전트 평가 비용의 1% 미만으로 달성됩니다. 또한 선택된 프록시 인스턴스를 분석하여 각 에이전트 벤치마크가 고유하게 요구하는 능력을 밝혀냅니다. PACE를 통해 실무자는 전체 에이전트 평가의 오버헤드 없이 모델 개발, 선택 및 라우팅 과정에서 에이전트 성능에 대한 신뢰할 수 있는 추정치를 얻을 수 있습니다.

우리는 고정된 사전 학습 인코더 하에서 생성된 특징 분포와 참조 특징 분포를 매칭하여 단일 단계 이미지 생성기를 훈련하는 패러다임인 표현 분포 매칭(Representation Distribution Matching, RDM)의 설계 공간을 규명한다. 우리는 두 가지 설계 축, 즉 분포를 비교하는 방식과 비교 대상이 되는 표현을 식별하고, 이들에 대한 통제된 연구를 통해 세 가지 발견을 도출한다. 첫째, 10년 전만 해도 설득력 있는 생성기를 훈련할 수 없었던 고전적 MMD가, 올바르게 추정되면 강력하고 확장 가능한 목적 함수가 된다. 둘째, 생성된 배치가 그때 작동 변수가 되며, 관례적인 배치 크기를 훨씬 넘어서는 2048 이상에서 최적점을 가진다. 셋째, 단일 표현은 조작될 수 있으며, 실제 점수 이하로 낮아져도 이미지는 여전히 가짜로 보이므로, 우리는 균형 잡힌 인코더 배터리에 대해 매칭하고, 훈련 손실과 독립적이며 조작에 저항하는 14개 인코더에 대한 슬라이스드-바서스타인 거리(Sliced-Wasserstein distance)인 SW_r14로 평가한다. 선호되는 선택들을 결합하면 개선된 RDM(iRDM)이 도출된다: ImageNet에서 SW_r14 1.30으로 단일 단계 최고 성능(state of the art)을 달성하며, 이는 우리의 목적 함수가 절대 최적화하지 않는 인간 선호도 대리 지표인 PickScore에 의해 뒷받침되며, 이는 일치된 샘플의 71.2%에서 이전 최고 단일 단계 생성기보다 선호된다. 동일한 방법으로 4단계 FLUX.2 [klein]을 사후 훈련하여 단일 단계 생성기로 전환하며, GenEval에서 0.826 대 0.794, PickScore에서 22.76 대 22.58로 4단계 버전을 능가하며, 90시간의 H200 GPU 시간이 소요된다. 프로젝트 페이지: https://alan-lanfeng.github.io/rdm/.

시각-언어-행동(VLA) 모델은 근본적으로 전문가 시연의 부족이라는 병목 현상에 직면해 있다. 전문가 시연은 관측, 명령, 행동의 삼중항으로 구성되며 이를 대규모로 수집하는 데는 높은 비용이 든다. 본 연구는 이러한 병목 현상이 두 가지 별개의 학습 목표, 즉 물리적 능력(움직이는 방법) 획득과 의미적 정렬(무엇을 해야 하는지) 획득을 혼동한 데서 비롯된다고 주장한다. 결정적으로, 후자만이 언어 감독을 필요로 한다. 이러한 분해 가설에 기반하여, 본 논문은 작업 무관 사전 학습(TAP)이라는 두 단계 프레임워크를 제안한다. 첫 번째 단계에서는 폐기된 오프태스크 궤적 및 자율 로봇 플레이 등 저렴하고 레이블이 없는 상호작용 데이터로부터 자기 지도 역동역학 목표 함수를 통해 전이 가능한 운동 사전 지식을 학습한다. 두 번째 단계는 가벼운 구조로, 최소한의 전문가 데이터를 사용하여 이러한 사전 지식을 언어에 기반시킨다. SIMPLER 벤치마크에서 TAP은 100만 개 이상의 전문가 궤적을 사용하여 학습된 모델과 동등한 성능을 달성하면서도 훨씬 적은 양의 레이블 데이터를 사용하며, 표준 행동 복제 대비 10%의 절대적 성능 향상을 보인다. 실제 환경의 WidowX 플랫폼에서 TAP은 카메라 교란 상황에서도 25%의 성공률을 유지하는 반면, 인터넷 규모의 기준선은 0%로 붕괴한다. 이는 작업 무관 사전 학습이 강건하고 전이 가능한 물리적 표현을 생성하며, 구현된 AI를 위한 확장 가능한 경로를 제공함을 입증한다.

지속적 사후 학습(continual post-training)은 기반 모델이 기존 능력을 유지하면서 새로운 지식을 습득할 수 있게 한다. 최근 연구는 온-정책 학습(on-policy learning)이 망각을 완화할 수 있으며, 특히 온-정책 자기 증류(on-policy self-distillation)가 매력적인 접근법으로 부각되고 있다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적 관점을 재검토한다. 실험 결과, SDPO는 교사 신호가 안정적이고 잘 정렬된 경우 도메인 내 전문화(in-domain specialization)를 가속화할 수 있지만, 분포 외(out-of-distribution) 시나리오로의 일반화에는 어려움을 겪는다. 지속적 사후 학습에서 SDPO는 더 강한 망각을 보이며 심지어 붕괴(collapse)할 수 있는 반면, GRPO와 같은 온-정책 강화 학습 방법은 더 보수적으로 적응하여 기존 능력을 더 잘 보존한다. 추가 분석에 따르면, 더 조밀한 자기 증류는 매개변수 공간과 응답 공간 모두에서 더 큰 드리프트(drift)를 유발하며, 자기 강화 교사-학생 루프를 통해 고주파 포맷팅 인공물을 증폭시킬 수 있다. 이러한 발견은 온-정책 데이터만으로는 지속적 학습에 충분하지 않음을 시사한다. 조밀한 자기 증류는 교사 목표가 안정적이고 토큰 수준의 감독이 신뢰할 수 있을 때 전문화를 가속화할 수 있지만, 지속적 사후 학습의 기본 안정화 장치로 간주되어서는 안 된다. 본 연구의 코드는 https://github.com/Moenupa/SDPO-CL에서 확인할 수 있다.

확산 언어 모델은 토큰을 좌에서 우로 순차적으로 생성하는 대신 토큰 캔버스를 양방향으로 잡음 제거하여 텍스트를 생성하며, 자기회귀(AR) 생성과 경쟁할 수준에 도달했다. 그러나 의료 기반 모델은 거의 전적으로 자기회귀 방식에 의존하고 있다. 본 연구에서는 혼합 전문가 확산 언어 모델인 DiffusionGemma-26B를 적용하고, 동일한 LoRA 레시피 하에서 동일한 크기의 AR 모델인 Gemma-4-26B와 의료 시각 질의응답 데이터셋에서 비교 평가했다. 평가는 장황함에 강건한 LLM 평가자를 통해 수행되었다. 확산 모델은 모든 데이터셋에서 AR과 동등하거나 더 나은 성능을 보였으며, 미세 조정된 모델(활성 파라미터 38억 개)은 최첨단 비전-언어 모델과 경쟁할 수준이었다. 또한 디코딩 속도는 3.5~4.4배 빨랐다. 이러한 성능 동등성을 넘어, 확산 모델은 AR이 결여한 초안 작성 능력, 즉 임의 순서 내삽(any-order infill)을 제공한다. 캔버스가 양방향으로 잡음 제거되므로, 방사선 전문의가 보고서 일부를 수정하면 모델이 그 사이의 텍스트를 채울 수 있다. 이는 확산 모델에 내재된 작동 방식이지만, 자기회귀 모델에서는 부자연스럽게 수행된다. 이러한 특성은 임상 현장에서 자주 간결하거나 의료진 및 기관 간 일관성이 부족한 실제 보고서에 적합하다.

파운데이션 모델이 일반적으로 대중에 공개되고 있음에도 불구하고, 서로 다른 데이터 소스의 샘플링 방식을 결정하는 도메인 혼합 가중치와 같은 학습 데이터 구성 레시피는 거의 공개되지 않는다. 이로 인해 접근 비대칭성이 발생한다. 즉, 연구자들은 결과 모델을 연구할 수 있지만, 해당 모델을 생성한 학습 분포의 구성을 파악할 수 없다. 멤버십 추론과 같은 학습 데이터 추론을 위한 기존 연구는 개별 샘플 수준에서 탐지하므로 학습 코퍼스의 전반적 구성을 특성화할 수 없다. 본 논문에서는 파인튜닝된 모델의 학습 혼합 비율을 공개된 가중치로부터 직접 복원하는 프레임워크인 WARP를 소개한다. WARP는 모델 병합을 사용하여 기본 모델과 파인튜닝된 모델 사이를 보간함으로써, 누락된 학습 궤적을 근사하고 가중치 공간에 학습 데이터의 기하학적 발자국을 노출하는 의사 체크포인트를 생성한다. 이러한 시뮬레이션된 발자국으로부터 WARP는 기하학적 특징을 추출하고, 이를 매개변수 없는 소프트맥스 판독기 또는 합성 혼합 비율로 학습된 MLP 프로젝터를 사용하여 도메인 비율로 매핑한다. BERT와 GPT-2를 사용한 통제된 실험에서 WARP는 각각 0.046과 0.104의 평균 MAE로 도메인 혼합 비율을 복원하여, 멤버십 추론 및 실제 학습 궤적에 접근 가능한 변형 모델보다 우수한 성능을 보였다.

대규모 언어 모델(LLM) 기반 에이전트는 여러 차례의 상호작용을 통해 환경과 소통하며 복잡한 절차적 작업을 해결할 수 있지만, 이러한 능력은 일반적으로 대형 모델, 긴 맥락, 반복적인 추론 호출에 의존합니다. 이로 인해 고급 메모리 증강 에이전트를 자원이 제한된 장치에 배포하기가 어렵습니다. 본 논문에서는 대형 교사 모델의 절차적 문제 해결 능력을 소형 학생 모델로 전이하는 이중 공간 증류 프레임워크인 DuoMem을 제안합니다. DuoMem은 두 가지 보완적 공간에서 증류를 수행합니다: (1) 맥락 공간 증류(context-space distillation)는 학생 모델이 생성한 메모리를 교사 모델이 생성한 고품질의 절차적 메모리로 대체하여 학생 모델의 입력 앞에 추가하며, (2) 파라미터 공간 증류(parameter-space distillation)는 성공적인 교사 궤적에 대해 경량 LoRA 어댑터를 미세 조정합니다. 도전적인 체화된 의사 결정 벤치마크인 ALFWorld에서 평가된 DuoMem은 4B 파라미터 모델의 작업 성공률을 4.3%에서 77.9%로 향상시켜, 72B 교사 모델(87.1%)과의 격차를 대부분 줄이는 동시에 1천만 개 미만의 학습 가능한 파라미터와 수 메가바이트의 사전 계산된 교사 메모리만을 추가합니다. 또한 DuoMem으로 향상된 4B 모델은 실제 시간으로 72B 교사보다 3배 이상 빠르게 작업을 완료하여, 교사에게는 어려운 실시간 엣지 배포에 적합합니다. 2B에서 72B 파라미터에 이르는 8개 모델에 걸친 광범위한 절제 연구는 두 증류 축이 상호 보완적으로 기여함을 보여줍니다.

검증 가능한 보상을 통한 강화 학습(RLVR)은 단일 도메인 훈련에서 수학, 프로그래밍, 과학을 포괄하는 다중 도메인 추론 제품군으로 확장되었습니다. 그러나 훈련 커리큘럼(각 도메인이 샘플링되는 빈도)은 일반적으로 고정되거나 수동으로 조정되며, 추론 능력이 도메인 간에 불균등하게 전이됨에도 불구하고 그렇습니다. 기존의 학습 가능성 기반 커리큘럼은 정책이 현재 개선되고 있는 곳에 적응하지만, 선택된 도메인에 대한 기울기 단계가 나머지 도메인에 이익이 되는지 여부는 고려하지 않습니다. 본 논문에서는 업데이트가 나머지 훈련 제품군에 광범위하게 이익이 되는 도메인을 우선시하는 밴딧 스타일의 온라인 커리큘럼인 전이 인식 커리큘럼(TAC)을 제안합니다. TAC는 RL 훈련에서 이미 생성된 신호를 재사용합니다: 도메인별 이점은 지역적 학습 가능성을 포착하고, GRPO 단계에서 계산된 투영 기울기는 기울기-기하학 정렬을 통해 교차 도메인 전이 가능성을 추정하며, 이는 무시할 수 있는 비용(<1% 벽시계 오버헤드)으로 이루어집니다. 6개 도메인 추론 제품군에서 TAC는 Qwen3-1.7B와 Llama3.2-3B 모두에서 최고의 매크로 평균 정확도를 달성하여, 비례 무작위 샘플링, 수동 설계 스케줄, 학습 가능성 전용 밴딧을 능가하며, 마지막 방법 대비 최대 2.8포인트(10% 상대적) 향상되었습니다. 제거 실험에서 전이 가능성 항목이 제거될 때 성능이 급격히 저하되며, TAC는 학습 가능성 전용 커리큘럼이 지배적인 도메인에 과도하게 집중하는 불균형 훈련 혼합에서도 견고함을 유지합니다. 본 연구 결과는 교차 도메인 전이 가능성을 다중 도메인 RLVR에서 커리큘럼 설계를 위한 핵심 신호로 확립합니다.

트래픽 매트릭스(TM)는 네트워크 전반의 출발지-목적지 수요를 포착하여 트래픽 엔지니어링의 핵심 요소이지만, 온라인 네트워크 제어의 메모리, 업데이트 및 학습 예산 제약 하에서 예측을 수행해야 할 경우 정확한 전체 매트릭스 예측은 여전히 어려운 과제이다. 본 논문은 전용 그래프, 트랜스포머 또는 확산 모듈에 의존하지 않고 소형 양자 영감 순환 모델이 효과적인 TM 예측을 제공할 수 있는지 조사한다. 게이트형 양자 영감 Kolmogorov-Arnold 네트워크 고속 가중치 프로그래머(QKAN-FWP)를 Abilene TM의 직접 다단계 예측에 적용하며, 각 모델은 144개 채널 출발지-목적지(OD) 매트릭스의 다음 20개 5분 프레임을 2시간 이력에서 예측한다. 세 가지 QKAN 배치 변형을 동일 크기의 장단기 메모리(LSTM) 네트워크, 더 큰 LSTM, 그리고 고전적 게이트형 고속 가중치 프로그래머와 공유 고정 예산 학습 프로토콜 하에서 비교 평가한다. 평가된 순환 모델 중 G-QKANFWP는 더 큰 LSTM의 22.4% 파라미터만 사용하면서 최상의 통합 평균 제곱근 오차(RMSE)를 달성한다. 또한 동일 크기 LSTM 및 고전적 G-FWP 기준 모델보다 우수한 성능을 보여, 이러한 이점이 게이트형 고속 가중치 프레임워크 자체에 기인한 것이 아님을 나타낸다. 수렴 및 채널별 분석에서 양자 영감 변형이 동일 크기 순환 기준 모델보다 낮은 학습 곡선 하 검증 손실 면적(AULC)을 얻으며, G-QKANFWP와 GQKAN-FWP는 상당히 더 많은 OD 채널 승리를 달성한다. 이러한 결과는 자원에 민감한 네트워크 트래픽 매트릭스 예측을 위해 양자 영감 고속 프로그래머와 결합된 고전적 저속 프로그래머가 유망한 정확도-효율성 설계임을 식별한다.

그리드 기반 근사 최근접 이웃(ANN) 검색 방식은 현대의 스케일링 분석에서 배제되어 왔다. 본 연구에서는 데이터셋 크기 N과 차원 d에 따른 멀티프로브 그리드 알고리즘의 체계적인 특성화를 제시한다. 실험 결과, GloVe 임베딩 패밀리에서 이전에 보고되지 않은 d-스케일링 교차 현상이 관찰되었으며, 멀티프로브 그리드 검색은 거의 일정한 차원 스케일링 지수를 유지하는 반면, 다른 그래프 기반, 트리 기반, 분할 기반 방법들은 처리량 저하를 보였다. 이러한 이점은 N에 대한 거의 선형적인 질의 스케일링과 함께 나타나지만, 경쟁 ANN 방법들보다 낮은 인덱싱 비용을 수반한다. 본 결과는 인덱싱 비용과 차원 강건성이 성능을 결정하는 재구축 중심 또는 고차원 설정에서 멀티프로브 그리드와 같은 그리드 기반 방법이 경쟁력을 가질 수 있음을 시사한다. 더 나아가, 최근 연구에서는 자기주의를 ANN 연산으로 정형화한 바 있다. 따라서 ANN 알고리즘의 N 및 d 스케일링 특성은 효율적인 트랜스포머 아키텍처의 비용 분석을 안내할 수 있다. 코드는 https://github.com/weiz345/MultiProbeANN에서 확인 가능하다.