タグ付けされた質問 「mutual-information」

「ピアソン」、「スピアマン」、「ケンドールのタウ」などの統計的相関測定で相互情報を使用する理由と時期

51 correlation  mathematical-statistics  mutual-information 

最近では、2つの記事を読みました。1つ目は相関の履歴に関するもので、2つ目は最大情報係数（MIC）と呼ばれる新しい方法に関するものです。変数間の非線形相関を推定するMICメソッドを理解することに関して、あなたの助けが必要です。 さらに、Rでの使用方法については、著者のWebサイト（ダウンロード）で確認できます。 これがこの方法を議論し理解するための良いプラットフォームになることを願っています。この方法の背後にある直感と、著者が述べたようにどのように拡張できるかを議論することへの私の関心。 " ... MIC（X、Y）からMIC（X、Y | Z）への拡張が必要です。MICの安定した推定値を得るために必要なデータの量、外れ値に対する影響の程度、3 -またはそれは欠場する高次元の関係、そしてより多くのMICは大きな前進ですが、取るために、より多くのステップがあります。」

20 correlation  nonparametric  bioinformatics  information-theory  mutual-information 

2つのセットとあり、これらのセット同時確率分布があるとします。ましょう及び上に周辺分布示すおよびそれぞれ。Y p （x 、y ）p （x ）p （y ）X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY と間の相互情報は次のように定義されます： Y I （X ; Y ）= Σ X 、Y P （X 、Y ）⋅ ログ（P （X 、Y ）XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) すなわち、点ごとの相互情報pmiの平均値です。(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) pmi上限と下限を知っていると仮定します。つまり、すべての次のことが成り立つことを知っています。- のX 、Y - K ≤ ログ（P （X 、Y ）(x,y)(x,y)(x,y)x,yx,yx,y−k≤log(p(x,y)p(x)p(y))≤k−k≤log⁡(p(x,y)p(x)p(y))≤k-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k 何の上限は、これは上の意味するものではありません。もちろん、これは意味しが、可能であれば、より厳密な範囲が必要です。pは確率分布を定義し、pmiはおよびすべての値に対して最大値を取ることができない（または負でないことさえある）ため、これは私にはもっともらしいようです。I （X …

18 entropy  mutual-information  information-theory 

順列テスト（ランダム化テスト、再ランダム化テスト、または正確なテストとも呼ばれます）は非常に便利で、たとえば、必要な正規分布の仮定がt-test満たされていない場合や、ランク付けによる値の変換時に役立ちますノンパラメトリックテストのようにMann-Whitney-U-test、より多くの情報が失われます。ただし、この種の検定を使用する場合、帰無仮説の下でのサンプルの交換可能性の仮定は1つだけの仮定を見落とすべきではありません。coinRパッケージで実装されているようなサンプルが3つ以上ある場合にも、この種のアプローチを適用できることも注目に値します。 この仮定を説明するために、平易な英語で比fig的な言葉や概念的な直観を使ってください。これは、私のような非統計学者の間で見過ごされているこの問題を明確にするのに非常に役立つでしょう。 注： 置換テストの適用が同じ仮定の下で保持または無効にならない場合に言及することは非常に役立ちます。 更新： 私の地区の地元の診療所から無作為に50人の被験者を収集したとします。彼らは、1：1の比率で薬またはプラセボを無作為に割り当てられました。それらはすべてPar1、V1（ベースライン）、V2（3か月後）、およびV3（1年後）のパラメーター1について測定されました。50個の被験者はすべて、機能Aに基づいて2つのグループにサブグループ化できます。Aポジティブ= 20およびAネガティブ=30。これらは、機能Bに基づいて別の2つのグループにサブグループ化することもできます。Bポジティブ= 15およびBネガティブ=35 。今、私はPar1すべての訪問ですべての被験者からの値を持っています。交換可能性の仮定の下で、次のPar1場合に順列検定を使用するレベルを比較でき ますか？-薬物と被験者をV2でプラセボを投与した被験者と比較する ますか？-機能Aの対象とV2の機能Bの対象を比較しますか？ -V2で機能Aを持つ対象とV3で機能Aを持つ対象を比較しますか？ -この比較はどのような状況で無効であり、交換可能性の仮定に違反しますか？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

私の質問は特にネットワークの再構築に当てはまります

15 correlation  mutual-information 

私はしばらくの間、相互情報を扱ってきました。しかし、分布の独立性、いわゆる「距離相関」（ブラウン相関とも呼ばれる）の測定にも使用できる「相関世界」で、最近の測定値を見つけました。http：//en.wikipedia.org/wiki/Brownian_covariance。私は、この手段が導入されている論文をチェックしましたが、相互情報を暗示することはありませんでした。 だから、私の質問は： 彼らはまったく同じ問題を解決しますか？そうでない場合、問題はどのように異なりますか？ そして、前の質問が肯定的に答えられる場合、どちらかを使用する利点は何ですか？

15 correlation  mutual-information  distance-covariance 

共分散行列の固有ベクトルを見ると、最大分散の方向を取得します（最初の固有ベクトルは、データが最も大きく変化する方向などです）。これは、主成分分析（PCA）と呼ばれます。 相互情報行列の固有ベクトル/値を見るとどういう意味になるのだろうか、最大エントロピーの方向を指すのだろうか？

14 pca  entropy  mutual-information  eigenvalues 

タイトルに関しては、MIの前後で相互変数を使用して、連続変数とカテゴリ変数の間の「相関」（「Bを知っているときにAについてどれだけ知っているか」と定義）を推定します。問題についての私の考えをすぐに説明しますが、アドバイスをする前に、CrossValidatedに関するこの他の質問/回答を読むことをお勧めします。 ここで、カテゴリ変数を統合できないため、連続変数を離散化する必要があります。これは、Rで非常に簡単に行うことができます。Rは、ほとんどの分析で使用した言語です。このcut関数は値をエイリアスするため、この関数を使用することを好みましたが、他のオプションも利用できます。ポイントは、離散化を行う前に、「ビン」（離散状態）の数をアプリオリに決定する必要があるということです。 ただし、主な問題は別の問題です。MIの範囲は0〜∞で、これは標準化されていない尺度であるため、単位はビットです。そのため、相関係数として使用することは非常に困難です。これは、MIの標準バージョンであるGCCの前後でグローバル相関係数を使用して部分的に解決できます。GCCは次のように定義されます。 参照：この式は、株式市場のグローバル化を分析するための非線形ツールとしての相互情報からのもので、AndreiaDionísio、Rui Menezes＆Diana Mendes、2010年。 GCCの範囲は0〜1であるため、2つの変数間の相関を推定するために簡単に使用できます。問題は解決しましたか？まあ、ちょっと。このプロセスはすべて、離散化中に使用することにした「ビン」の数に大きく依存するためです。ここに私の実験の結果： y軸にはGCCがあり、x軸には離散化に使用することにした「ビン」の数があります。2行は、2つの異なる（非常によく似ていますが）データセットに対して行った2つの異なる分析を示しています。 一般的にはMI、特にGCCの使用についてはまだ議論の余地があるように思われます。しかし、この混乱は私の側からの間違いの結果かもしれません。どちらの場合でも、私は問題についてあなたの意見を聞きたいです（また、カテゴリ変数と連続変数との相関を推定する代替方法がありますか？）

12 correlation  information-theory  mutual-information 

ジョイントエントロピーに関する相互情報： 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 「XからYに情報を伝達する確率」と定義されますか？ 世間知らずで申し訳ありませんが、私は情報理論を学んだことがなく、その概念を理解しようとしています。

11 information-theory  mutual-information 

非常に基本的な疑問があります。これが少しイライラする場合は申し訳ありません。相互情報の値は0より大きくなければならないことを知っていますが、1より小さくする必要がありますか？上限値によって制限されていますか？ ありがとう、アミット。

11 information-theory  mutual-information 

単語の埋め込みを生成する1つの方法は次のとおりです（ミラー）。 コーパスを取得します。たとえば、「飛行が好きです。NLPが好きです。ディープラーニングが好きです。」 それから単語共起行列を作成します。 でSVDを実行し、Uの最初の列を保持します。XXXkkk 部分行列の各行は、その行が表す単語を埋め込んだ単語になります（行1 = "I"、行2 = "like"、…）。U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} ステップ2と3の間に、点ごとの相互情報が適用される場合があります（A. HerbelotとEM Vecchiなど。2015。共有世界の構築：モデル理論的意味空間への分布のマッピング。自然言語処理における経験的方法に関する2015年会議の議事録。リスボン、ポルトガル。） SVDの前に単語共起行列に個別の相互情報を適用することの長所と短所は何ですか？

11 natural-language  svd  mutual-information  word-embeddings  language-models 

ここで、「証拠の重み」（WOE）は、公開された科学的および政策立案の文献における一般的な用語であり、以下によって定義されるリスク評価のコンテキストで最もよく見られます。 w （e ：h ）= ログp （e | h ）p （e | h¯¯¯）w(e:h)=log⁡p(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} ここで、は証拠、hは仮説です。eeehhh 今、私はPMI（点ごとの相互情報）との主な違いは何であるか知りたいです p m i （e 、h ）= ログp （e 、h ）p （e ）∗ p （h ）pmi(e,h)=log⁡p(e,h)p(e)∗p(h)pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}

11 probability  bayesian  mutual-information 

私は少し混乱しています。誰かが2項間の相互情報を計算する方法を説明できますか？ D O C U M E N T 1D O C U M E N T 2D O C U M E N T 3』Wh y』111』Ho w』101』W時間のE N』111』WH E R E』100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & …

10 python  information-theory  mutual-information  numpy  pandas 

これらの講義ノート（5ページ）で説明されているように、相互情報のアイデアを機能選択に適用しようとしています。 私のプラットフォームはMatlabです。経験的データから相互情報量を計算するときに私が見つける1つの問題は、数値が常に上向きにバイアスされることです。Matlab CentralでMIを計算するために約3〜4種類のファイルを見つけましたが、独立したランダム変数を入力すると、それらはすべて大きな数値（> 0.4など）を示します。 私は専門家ではありませんが、MIを計算するために単に結合密度と限界密度を使用する場合、MIは定義上正であるため、プロセスにバイアスが導入されるという問題があるようです。相互情報を正確に推定する方法について実用的なアドバイスはありますか？ 関連する質問は、実際には、実際にMIを使用して機能を選択する方法ですか。MIは理論上無制限なので、しきい値をどのように考案するかは私には明らかではありません。または、人々は単にMIによって機能をランク付けし、上位kの機能を採用しますか？

10 matlab  feature-selection  information-theory  mutual-information 

私は非統計学者によるいくつかの講演を見てきました。彼らは、回帰（または同等/密接に関連する統計的検定）ではなく相互情報量を使用して相関測定を再発明しているようです。 私は、統計学者がこのアプローチを採用しないという正当な理由があると思います。私の素人の理解は、エントロピー/相互情報量の推定者は問題が多く不安定である傾向があるということです。結果として、パワーにも問題があると思います。彼らは、パラメトリックテストフレームワークを使用していないと主張して、これを回避しようとします。通常、この種の作業は検出力の計算や、信頼性/信頼できる間隔でさえ問題になりません。 しかし、悪魔の支持者の立場を取るには、データセットが非常に大きい場合、収束が遅いのはそれほど大きな問題でしょうか。また、これらの方法は、関連付けがフォローアップ調査によって検証されるという意味で「機能する」ように見える場合もあります。関連性の尺度として相互情報量を使用することに対する最も良い批評は何ですか、なぜそれが統計的実践で広く使用されていないのですか？ 編集：また、これらの問題をカバーする良い論文はありますか？

10 correlation  mutual-information