BDH-CQ: 순환적 잠재 추론을 통한 문맥 내 학습

초록

우리는 인컨텍스트 학습과 순환 잠재 추론을 결합한 추론 모델 BDH-CQ를 소개한다. 추론 시점에 제시되는 입력은 모델의 순환 메모리를 지속적으로 갱신하며, 모델은 중간 추론을 언어화하지 않고 고차원 잠재 공간에서의 반복 계산을 통해 쿼리를 해결한다. 우리는 공개 ARC-AGI-1 평가 세트에서 모델을 평가하고, 통제된 ARC 유사 개입을 통해 모델이 시연에서 무엇을 학습하는지, 추론된 변환을 얼마나 일관되게 적용하는지, 어떤 개념이 여전히 어려운지 연구한다. 1억 5천만(150M) 파라미터 구성은 작업당 $0.0007의 계산된 추론 비용으로 pass@2 29.5%를 달성한다. 이 운영 지점은 기존에 보고된 ARC-AGI-1 비용-정확도 파레토 경계를 돌파하여 벤치마크 비용 효율성 부문에서 새로운 최첨단을 확립한다.

English

We introduce BDH-CQ, a reasoning model that combines in-context learning with recurrent latent reasoning. Inputs presented at inference time continuously update the model's recurrent memory; the model then solves a query through iterative computation in a high-dimensional latent space, without verbalizing its intermediate reasoning. We evaluate the model on the public ARC-AGI-1 evaluation set and use controlled ARC-like interventions to study what it learns from demonstrations, how consistently it applies an inferred transformation, and which concepts remain difficult. A 150M-parameter configuration reaches 29.5% pass@2 at a computed inference cost of \$0.0007 per task. This operating point breaks through the previously reported ARC-AGI-1 cost-accuracy Pareto frontier, establishing a new state of the art in benchmark cost efficiency.