연속 매개변수로부터 정수 예측하기
Predicting integers from continuous parameters
April 13, 2026
저자: Bas Maat, Peter Bloem
cs.AI
초록
우리는 정수 또는 정수의 부분 범위로 제한된 숫자 레이블 예측 문제를 연구한다. 예를 들어 소셜 미디어 게시물의 추천 수나 공공 대여소의 이용 가능한 자전거 수가 이에 해당한다. 이러한 레이블을 연속값으로 모델링하고 기존 회귀 방법을 적용하는 것도 가능하지만, 이 접근법은 레이블의 기본 분포를 이산형에서 연속형으로 변경한다. 이산 분포는 특정 장점을 지니므로, 이러한 정수 레이블을 주어진 인스턴스의 특징으로부터 매개변수를 예측하는 이산 분포로 직접 모델링할 수 있는지에 대한 의문이 제기된다. 더욱이 우리는 신경망의 출력 분포 사용 사례에 주목하며, 이는 역전파와 경사 하강법을 통해 네트워크 가중치 학습이 가능하도록 분포의 매개변수가 연속형이어야 한다는 요구사항을 추가한다. 우리는 기존에 존재하는 것과 새로 제안하는 것을 포함하여 이러한 분포에 대한 여러 옵션을 조사하고, 표 형식 데이터 학습, 순차 예측, 이미지 생성 등 다양한 작업에 대해 이를 실험한다. 전반적으로 가장 우수한 성능을 보인 분포는 두 가지로 확인되었는데, 하나는 목표 정수를 비트로 표현하고 각 비트에 베르누이 분포를 적용하는 Bitwise 분포이며, 다른 하나는 연속 평균 주위로 지수적으로 감소하는 꼬리를 가진 분포를 사용하는 라플라스 분포의 이산 형태이다.
English
We study the problem of predicting numeric labels that are constrained to the integers or to a subrange of the integers. For example, the number of up-votes on social media posts, or the number of bicycles available at a public rental station. While it is possible to model these as continuous values, and to apply traditional regression, this approach changes the underlying distribution on the labels from discrete to continuous. Discrete distributions have certain benefits, which leads us to the question whether such integer labels can be modeled directly by a discrete distribution, whose parameters are predicted from the features of a given instance. Moreover, we focus on the use case of output distributions of neural networks, which adds the requirement that the parameters of the distribution be continuous so that backpropagation and gradient descent may be used to learn the weights of the network. We investigate several options for such distributions, some existing and some novel, and test them on a range of tasks, including tabular learning, sequential prediction and image generation. We find that overall the best performance comes from two distributions: Bitwise, which represents the target integer in bits and places a Bernoulli distribution on each, and a discrete analogue of the Laplace distribution, which uses a distribution with exponentially decaying tails around a continuous mean.