与えられた平均と標準偏差の正の連続変数の最大エントロピー確率密度関数とは何ですか？

13

一次モーメントと二次モーメントが与えられた場合、正の連続変数の最大エントロピー分布は何ですか？

たとえば、ガウス分布は、その平均値と標準偏差が与えられた場合の無制限変数の最大エントロピー分布であり、ガンマ分布は、その平均値とその対数の平均値が与えられた場合の正変数の最大エントロピー分布です。

— ベッコ
ソース

13

あなたが指し示すまさにウィキペディアの記事にあるボルツマンの定理を単純に使用することができます。

平均と分散を指定することは、最初の2つの生のモーメントを指定することと同等であることに注意してください-それぞれが他方を決定します（実際にこれを呼び出す必要はありません。定理を平均と分散に直接適用できるため、この方法は少し簡単です））。

定理は、密度が次の形式でなければならないことを確立します。

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

正の実行にわたる積分性が制限されますする、そして私は場所に関係にはいくつかの制限だと思う（指定した平均と分散ではなく、生の瞬間から開始するとき、おそらく自動的に満たされます）秒。 $\lambda_2$ $\leq 0$ $\lambda$

驚いたことに（この回答を始めたときには予想していなかったので）、これは切り捨てられた正規分布を残しているように見えます。

たまたまこの定理を使ったことはないと思うので、私が考えていないことや取り残したことに対する批判や役に立つ提案は歓迎されるでしょう。

— Glen_b -Reinstate Monica
ソース

+1ありがとう。大丈夫そうです。ウィキペディアの記事を読んだとき、ボルツマンの定理がすべての閉区間に適用されるという事実を見逃したようです。私はそれが行くから、変数にのみ適用されると想定していた

にする

。

- \infty

$-\infty$

\infty

$\infty$

— becko 14年

何らかの理由で、均一なベースメジャーと結果の切り捨てられた正規分布は、私を完全には納得させません。フレッドショーンが強調するように、連続ケースで最大（相対）エントロピーを見つけるには、ベースメジャーまたは参照確率分布が必要です。問題の連続変数

は正であるため、スケール変数である可能性があり、

比例する基本測定値はさまざまな理由で推奨されます（たとえば、グループ不変性。Jaynesの本またはJeffreysを参照）。

x

$x$

1 / x

$1/x$

— pglpm

この基本測定では、結果の分布は

比例します。

が、残念ながら、それは（それはまだかかわらず、不適切な前として使用することができる）非正規化可能です。問題の変数の正しさを考えると、その対数の瞬間が情報キャリアと最大エントロピー制約としてより意味があるかどうかを検討する価値があります。それらはガンマのような最大エントロピー分布につながります。

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— pglpm

7

@Glen_bの回答をより明確にしたいのですが、コメントとして収まらないという理由だけで、追加の回答を示します。

形式主義などは、Jaynesの本の第11章と第12章で詳しく説明されています。基地対策として均一な分布をとると、一般的な解決策は、@Glen_bは既に述べたように、ガウス分布であるラグランジュ乗数は、のために無制限の変数については、明示的に解決することができおよび制約値（の面で

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

Wikipediaの記事で）。で

、あなたがしてもらう

、標準ガウスので、

。

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

この質問は/math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0の複製です

— フレッド・ショーン
ソース