タグ付けされた質問 「information」

2次元バイナリマトリックスのエントロピー/情報密度/パターンらしさを測定したい。説明のためにいくつかの写真を見せてください： このディスプレイには、かなり高いエントロピーが必要です。 A） これには中程度のエントロピーが必要です： B） 最後に、これらの写真はすべてエントロピーがゼロに近いはずです。 C） D） E） エントロピー、それぞれをキャプチャするインデックスがあります。これらのディスプレイの「パターンらしさ」？ もちろん、各アルゴリズム（たとえば、圧縮アルゴリズム、またはttnphnsによって提案された回転アルゴリズム）は、ディスプレイの他の機能に敏感です。次のプロパティをキャプチャしようとするアルゴリズムを探しています： 回転対称および軸対称 クラスタリングの量 繰り返し より複雑かもしれませんが、アルゴリズムは心理的な「ゲシュタルト原理」の特性に敏感である可能性があります。特に、 近接の法則： 対称性の法則：対称的な画像は、距離があっても集合的に知覚されます： これらのプロパティを持つディスプレイには、「低エントロピー値」が割り当てられます。かなりランダム/非構造化されたポイントを持つディスプレイには、「高いエントロピー値」が割り当てられます。 ほとんどの場合、単一のアルゴリズムでこれらの機能をすべてキャプチャすることはありません。したがって、一部の機能または単一の機能のみに対処するアルゴリズムの提案も大歓迎です。 具体的には、具体的な既存のアルゴリズム、または具体的な実装可能なアイデアを探しています（これらの基準に従って賞金を授与します）。

53 algorithms  binary-data  entropy  pattern-recognition  information 

関心が単にモデルのパラメーターを推定するだけで（ポイントワイズおよび/または間隔推定）、以前の情報が信頼できず、弱い場合（これは少しあいまいですが、選択のシナリオを確立しようとしています）事前は困難です）...なぜ誰かが、古典的なアプローチの代わりに「非情報的」な不適切な事前確率でベイジアンアプローチを使用することを選択するのでしょうか？

44 bayesian  inference  prior  likelihood  information 

次の階層モデル、 および、 ここで、は正規分布です。与えられたの周辺分布のフィッシャー情報の正確な式を取得する方法はあり。つまり、次のフィッシャー情報は何ですか： 与えられた の周辺分布の式を取得できます。しかし、wrtを区別してから期待値を取ることは非常に難しいようです。明らかな何かが欠けていますか？任意の助けをいただければ幸いです。バツ〜N（μ 、1 ）、バツ〜N（μ、1）、 X \sim {\mathcal N}(\mu,1), μ 〜L P L A C E（0 、C）μ〜Laplace（0、c） \mu \sim {\rm Laplace}(0, c) N（⋅ 、⋅ ）N（⋅、⋅）\mathcal{N}(\cdot,\cdot)バツバツXcccp （x | c ）= ∫p（x | μ ）p （μ | c ）dμp（バツ|c）=∫p（バツ|μ）p（μ|c）dμ p(x | c) = \int p(x|\mu) p(\mu|c) d\mu バツバツXcccccc

20 multilevel-analysis  information  fisher-information 

弱一貫性最尤推定器（MLE）で評価された観測情報行列が、期待される情報行列の弱一貫性推定器であることを証明しようとしています。これは広く引用された結果ですが、誰も参照や証明をしていません（Googleの結果の最初の20ページと統計テキストを使い果たしたと思います）。 弱一貫性のあるMLEシーケンスを使用して、大きな数の弱い法則（WLLN）と連続マッピング定理を使用して、必要な結果を得ることができます。ただし、連続マッピング定理は使用できないと思います。代わりに、多数の統一法則（ULLN）を使用する必要があると思います。誰かがこれの証拠を持っている参照を知っていますか？ULLNを試みていますが、簡潔にするため、現時点では省略します。 この質問の長さをおaびしますが、表記を導入する必要があります。表記は次のとおりです（私の証明は最後です）。 我々は確率変数のIIDサンプルがあるとし{Y1,…,YN}{Y1,…,YN}\{Y_1,\ldots,Y_N\}密度のf(Y~|θ)f(Y~|θ)f(\tilde{Y}|\theta)、ここで（は、サンプルのメンバーのいずれか1つと同じ密度の単なる一般的なランダム変数です）。ベクトルは、すべてのであるすべてのサンプルベクトルのベクトルです。。密度の真のパラメーター値はであり、θ∈Θ⊆Rkθ∈Θ⊆Rk\theta\in\Theta\subseteq\mathbb{R}^{k}Y~Y~\tilde{Y}Y=(Y1,…,YN)TY=(Y1,…,YN)TY=(Y_1,\ldots,Y_N)^{T}Yi∈RnYi∈RnY_{i}\in\mathbb{R}^{n}i=1,…,Ni=1,…,Ni=1,\ldots,Nθ N（Y ）θ0θ0\theta_{0}θ^N(Y)θ^N(Y)\hat{\theta}_{N}(Y)はの弱一貫性最尤推定量（MLE）です。規則性条件に従って、フィッシャー情報マトリックスは次のように記述できます。θ0θ0\theta_{0} I(θ)=−Eθ[Hθ(logf(Y~|θ)]I(θ)=−Eθ[Hθ(log⁡f(Y~|θ)]I(\theta)=-E_\theta \left[H_{\theta}(\log f(\tilde{Y}|\theta)\right] ここでヘッセ行列です。同等のサンプルはHθHθ{H}_{\theta} IN(θ)=∑i=1NIyi(θ),IN(θ)=∑i=1NIyi(θ),I_N(\theta)=\sum_{i=1}^N I_{y_i}(\theta), ここで、。観測された情報行列は次のとおりです。Iyi=−Eθ[Hθ(logf(Yi|θ)]Iyi=−Eθ[Hθ(log⁡f(Yi|θ)]I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right] J(θ)=−Hθ(logf(y|θ)J(θ)=−Hθ(log⁡f(y|θ)J(\theta) = -H_\theta(\log f(y|\theta)、 （一部の人々は行列がで評価される需要θが、一部にはありません）。サンプルの観測情報マトリックスは次のとおりです。θ^θ^\hat{\theta} JN(θ)=∑Ni=1Jyi(θ)JN(θ)=∑i=1NJyi(θ)J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta) ここで、。Jyi(θ)=−Hθ(logf(yi|θ)Jyi(θ)=−Hθ(log⁡f(yi|θ)J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta) Iは、推定の確率に収束を証明することができるにI （θ ）ではなくのN - 1 J N（θ N（Y ））にI （θ 0）。ここまでが私の証明です。N−1JN(θ)N−1JN(θ)N^{-1}J_N(\theta)I(θ)I(θ)I(\theta)N−1JN(θ^N(Y))N−1JN(θ^N(Y))N^{-1}J_{N}(\hat{\theta}_N(Y))I(θ0)I(θ0)I(\theta_{0}) 今の要素である（R 、よ）のJ N（θ ）いずれかのために、R 、s = 1 、… 、k(JN(θ))rs=−∑Ni=1(Hθ(logf(Yi|θ))rs(JN(θ))rs=−∑i=1N(Hθ(log⁡f(Yi|θ))rs(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}(r,s)(r,s)(r,s)JN(θ)JN(θ)J_N(\theta)r,s=1,…,kr,s=1,…,kr,s=1,\ldots,k。サンプルはIIDされている場合は、多数（WLLN）の弱法則、確率のこれらの加数が収束の平均によるに。したがって、N − 1（J N（θ ）−Eθ[(Hθ(logf(Y1|θ))rs]=(IY1(θ))rs=(I(θ))rs−Eθ[(Hθ(log⁡f(Y1|θ))rs]=(IY1(θ))rs=(I(θ))rs-E_{\theta}[(H_\theta(\log …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

タイトルが言うように、次元削減は常にいくつかの情報を失いますか？たとえばPCAを考えてみましょう。私が持っているデータが非常に少ない場合、「より良いエンコーディング」が見つかると思います（これはどういうわけかデータのランクに関連していますか？）何も失われません。

10 pca  information-theory  information