タグ付けされた質問 「kullback-leibler」

ベイズ事後考えてみましょθ∣Xθ∣X\theta\mid X。漸近的に、その最大値はMLE推定値で発生θだけ尤度最大化し、argminのθをθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X)。 これらのすべての概念、つまり可能性を最大化するベイズの事前分布は、超原理的であり、まったく恣意的ではありません。ログが見えません。 しかし、MLEは、実際の分布とのKLダイバージェンスを最小限に抑えf~f~\tilde fとfθ(x)fθ(x)f_\theta(x)すなわち、それは最小限に抑え、 KL(f~∥fθ)=∫+∞−∞f~(x)[logf~(x)−logfθ(x)]dxKL(f~∥fθ)=∫−∞+∞f~(x)[log⁡f~(x)−log⁡fθ(x)]dx KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx うわー、これらのログはどこから来たのですか？特にKLの相違はなぜですか？ たとえば、異なる発散を最小化することが、ベイジアン後任者の超原理的で動機付けられた概念に対応せず、上記の可能性を最大化しないのはなぜですか？ このコンテキストでは、KLの相違やログについて特別なことがあるようです。もちろん、私たちは空中に手を投げて、それがまさに数学がそうであると言うことができます。しかし、明らかにするために、より深い直感やつながりがあるのではないかと思います。

9 bayesian  maximum-likelihood  kullback-leibler 

2つの連続分布fとgの間のKLダイバージェンスを推定したいと思います。ただし、fとgのどちらの密度も書き留めることはできません。何らかの方法でfとgの両方からサンプリングできます（たとえば、マルコフチェーンモンテカルロ）。 fからgへのKL発散は次のように定義されます DKL（f| | g）= ∫∞- ∞f（x ）ログ（f（x ）g（x ）） dバツDKL(f||g)=∫−∞∞f(x)log⁡(f(x)g(x))dxD_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx これはlog （f （x ）の期待値ですfに関して、モンテカルロ推定を想像できるログ（f（x ）g（x ））log⁡(f(x)g(x))\log\left(\frac{f(x)}{g(x)}\right) 1NΣ私Nログ（f（x私）g（x私））1N∑iNlog⁡(f(xi)g(xi))\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right) ここで、fから引き出され、私のインデックスNのサンプル（すなわち i = 1から、...、Nについて）バツ私〜F（）xi∼f()x_i \sim f() ただし、f（）とg（）がわからないため、このモンテカルロ推定値を使用することもできません。この状況でKLを推定する標準的な方法は何ですか？ 編集：f（）またはg（）の非正規化密度がわかりません

9 kullback-leibler 

母集団安定性インデックスは、2つの期間のデータサンプルを比較することにより、変数の分布の変化を定量化します。スコアの変化を測定するために非常によく使用されます。 これは次のように計算されます 。1）基準期間のサンプルが離散化されます。通常十分位数に分割される 対象期間からの試料が第一段階と同じ間隔を使用して離散化された）2 場所：Ai-ベース期間のi番目のビンのシェア。 Bi-対象期間におけるi番目のビンのシェア。PS私= ∑私（A私− B私）⋅ L N （A私B私）PSI=∑i(Ai−Bi)⋅ln(AiBi)PSI = \sum_{i} (A_{i} - B_{i}) \cdot ln(\frac{A_{i}}{B_{i}}) あ私AiA_{i}B私BiB_{i} 質問：ターゲットサンプルのビンの1つが空の場合はどうすればよいですか？

9 distributions  kullback-leibler 

私は次の時系列を持っています 以下に投稿されたデータを使用して取得されます。 スライディングウィンドウのサイズが10の場合、現在のスライディングウィンドウ内の値のPMFと履歴のPMFの間のKLダイバージェンスを計算して、KLダイバージェンスの値を経時的にプロットするという最終目標を設定して、 2つの時系列を比較できます。 今のところ、私が直面している概念的な問題があります（Pythonを使用して説明します）。 In [228]: samples = [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1] # In reality this 10 should be 20 because that is the max value I have seen in the timeseries In [229]: bins = scipy.linspace(0, 10, 21) In [230]: bins …

9 time-series  probability  multivariate-analysis  histogram  kullback-leibler 

Eステップがアルゴリズムのどこで発生するかを理解しています（以下の数学セクションで説明されています）。私の考えでは、アルゴリズムの重要な工夫は、対数尤度の下限を作成するためのジェンセンの不等式の使用です。その意味でExpectationは、対数尤度を再定義してJensenの不等式（つまり、凹関数の場合はに適合するように単純に行われます。E(f(x))&lt;f(E(x))E(f(x))&lt;f(E(x))E(f(x)) < f(E(x)) Eステップがいわゆると呼ばれる理由はありますか？期待していること（意味はありますか？単に予期せずに発生するのではなく、期待が中心的である理由の背後にある直感が欠けているように感じますジェンセンの不等式の使用。p(xi,zi|θ)p(xi,zi|θ)p(x_i, z_i| \theta) 編集：チュートリアルは言う： 「Eステップ」という名前は、通常、完了に対する確率分布を明示的に形成する必要はなく、これらの完了に対して「期待される」十分な統計を計算するだけでよいという事実に由来しています。 「通常、完了に対する確率分布を明示的に形成する必要がない」とはどういう意味ですか？その確率分布はどのようになりますか？ 付録：EMアルゴリズムのEステップ l l= ∑私ログp （x私; θ ）= ∑私ログΣz私p （x私、z私; θ ）= ∑私ログΣz私Q私（z私）p （x私、z私; θ ）Q私（z私）= ∑私ログEz私[ p （x私、z私; θ ）Q私（z私）]≥ Σ Ez私[ ログp （x私、z私; θ ）Q私（z私）]≥ Σ私Σz私Q私（z私）ログp （x私、z私; θ ）Q私（z私）対数尤度の定義潜在変数zで補強 Q私zの 分布です 私期待に応える-したがって、EMのE 凹型のログにジェンセンのルールを 使用する最大化するQ関数ll=∑ilog⁡p(xi;θ)definition of log likelihood=∑ilog⁡∑zip(xi,zi;θ)augment with latent variables …

8 maximum-likelihood  optimization  expectation-maximization  latent-variable  kullback-leibler 

サポート確率質量関数を持つ離散確率変数があるとします。ような関数は、最大化し エッジケースの処理を回避するには、と仮定し。XXXp(x)=P(X=x)p(x)=P(X=x)p(x) = P(X=x)0,…,n0,…,n0,\ldots,nq(x)≥0q(x)≥0q(x)\ge 0∑nx=0q(x)=1∑x=0nq(x)=1\sum_{x=0}^n q(x) = 1E（ログ[ q（X− 1 ）+ q（X）+ q（X+ 1 ）] ）？E(log⁡[q(X−1)+q(X)+q(X+1)])? E(\log[q(X-1)+q(X)+q(X+1)])? P（X= 0 ）= P（X= n ）= 0P(X=0)=P(X=n)=0P(X=0)=P(X=n)=0 関連する質問： 上記の期待を最大化するは、が単調であるため、も最大化すると考えてい。あれは正しいですか？q（x ）q(x)q(x)E[ q（X− 1 ）+ q（X）+ q（X+ 1 ）]E[q(X−1)+q(X)+q(X+1)]E[q(X-1)+q(X)+q(X+1)]ログlog\log 勝るものはありますか？p （x ）= q（x ）p(x)=q(x)p(x)=q(x) 関心のある人にとって、この質問は、予測値を評価するための効用関数として、ターゲット値と近隣値の確率の合計のログを使用するCDCインフルエンザ予測コンテストから生じます。

7 probability  optimization  expected-value  kullback-leibler