連続パラメータからの整数値予測

Predicting integers from continuous parameters

April 13, 2026

著者: Bas Maat, Peter Bloem

cs.AI

要旨

我々は、整数または整数の部分範囲に制約された数値ラベルの予測問題を研究する。例えば、ソーシャルメディア投稿における「いいね」の数や、公共レンタルステーションにおける利用可能な自転車の台数などが該当する。これらを連続値としてモデル化し、従来の回帰分析を適用することは可能だが、この手法はラベルの基礎となる分布を離散から連続へ変化させてしまう。離散分布には特定の利点があるため、整数ラベルを直接、離散分布によってモデル化できるかどうかが課題となる。この離散分布のパラメータは、各インスタンスの特徴量から予測される。さらに、我々はニューラルネットワークの出力分布に焦点を当てる。これにより、ネットワークの重みを学習するために誤差逆伝播法と勾配降下法が適用可能であるよう、分布のパラメータが連続値である必要が生じる。我々は、既存のものと新規のものを含む複数の分布オプションを調査し、表形式データ学習、時系列予測、画像生成などの様々なタスクで検証する。その結果、全体的に最高の性能を示すのは二つの分布であることがわかった。一つはビット単位分布であり、ターゲット整数をビット表現し、各ビットにベルヌーイ分布を仮定する。もう一つはラプラス分布の離散版であり、連続的平均値を中心に指数関数的に減衰する裾野を持つ分布を使用する。

English

We study the problem of predicting numeric labels that are constrained to the integers or to a subrange of the integers. For example, the number of up-votes on social media posts, or the number of bicycles available at a public rental station. While it is possible to model these as continuous values, and to apply traditional regression, this approach changes the underlying distribution on the labels from discrete to continuous. Discrete distributions have certain benefits, which leads us to the question whether such integer labels can be modeled directly by a discrete distribution, whose parameters are predicted from the features of a given instance. Moreover, we focus on the use case of output distributions of neural networks, which adds the requirement that the parameters of the distribution be continuous so that backpropagation and gradient descent may be used to learn the weights of the network. We investigate several options for such distributions, some existing and some novel, and test them on a range of tasks, including tabular learning, sequential prediction and image generation. We find that overall the best performance comes from two distributions: Bitwise, which represents the target integer in bits and places a Bernoulli distribution on each, and a discrete analogue of the Laplace distribution, which uses a distribution with exponentially decaying tails around a continuous mean.