タグ付けされた質問 「distributions」

しばらくの間、自分自身を占める質問があります。 暗号化されたデータを識別するために、エントロピーテストがよく使用されます。分析されたデータのバイトが均一に分散されると、エントロピーが最大になります。エントロピーテストは、暗号化されたデータを識別します。これは、このデータが、エントロピーテストの使用時に暗号化されたものとして分類される圧縮データのように均一な分布を持っているためです。 例：一部のJPGファイルのエントロピーは7,9961532ビット/バイト、一部のTrueCryptコンテナーのエントロピーは7,9998857です。つまり、エントロピーテストでは、暗号化されたデータと圧縮されたデータの違いを検出できません。しかし、最初の写真でわかるように、JPGファイルのバイトは均一に分散されていません（少なくとも、truecrypt-containerからのバイトほど均一ではありません）。 別のテストは、周波数分析です。各バイトの分布が測定され、たとえば、分布を仮説の分布と比較するためにカイ2乗検定が実行されます。その結果、p値が得られます。JPGとTrueCrypt-dataでこのテストを実行すると、結果が異なります。 JPGファイルのp値は0です。これは、統計ビューからの分布が均一でないことを意味します。TrueCryptファイルのp値は0,95です。これは、分布がほぼ完全に均一であることを意味します。 私の質問：エントロピーテストでこのような誤検知が発生する理由を誰かに教えてもらえますか？情報の内容が表現されている単位のスケール（ビット/バイト）ですか？より細かいスケールのため、例えばp値はより良い「単位」ですか？ 回答/アイデアをありがとうございました！ JPG-Image TrueCrypt-Container

8 distributions  hypothesis-testing  chi-squared  entropy  compression 

偏った条件下でこの分布から抽出されたサンプル母集団から、指数分布のパラメーターを計算したいと思います。私の知る限り、n個の値のサンプルの場合、通常の推定量はです。しかし、私のサンプルは次のように偏っています：E - λ X λ = Nλλ\lambdae−λxe−λxe^{-\lambda x}λ^=n∑xiλ^=n∑xi\hat{\lambda} = \frac{n}{\sum x_i} 指数分布からiidで描かれたm個の要素の完全な母集団から、n個の最小の要素だけが知られています。このシナリオでパラメータをどのように推定できますか？λλ\lambda もう少し厳密に言うと、がから抽出されたiidサンプルである場合、すべてのに対してあり、私は推定することができる方法をセットから。E - λ X I &lt; J X I ≤ X jの λ { X 1、X 2、X 3、。。。、x n } n &lt; m{x1,x2,x3,...,xm}{x1,x2,x3,...,xm}\{x_1,x_2,x_3,...,x_m \}e−λxe−λxe^{-\lambda x}i&lt;ji&lt;ji < jxi≤xjxi≤xjx_i \leq x_jλλ\lambda{x1,x2,x3,...,xn}{x1,x2,x3,...,xn}\{x_1,x_2,x_3,...,x_n\}n&lt;mn&lt;mn < m どうもありがとう！ マイケル

8 distributions  estimation  bias  unbiased-estimator  exponential 

期待値および共分散行列と単調減少関数密度が 、ここで はマハラノビス距離です。もちろん、多変量法線はによって回復されます。 ΣG（D）P（ → X）αG（Δ（ → X、 → μ））Δ（ →、 → B）=√μ⃗ μ→\vec \muΣΣ\Sigmag（d）g(d)g(d)p （x⃗ ）∝ g（ Δ （x⃗ 、μ⃗ ））p(x→)∝g(Δ(x→,μ→)) p(\vec x) \propto g \left ( \Delta(\vec x, \vec \mu) \right ) G（D）=EXP（- 1Δ （a⃗ 、b⃗ ）= （a⃗ − b⃗ ）TΣ− 1（a⃗ − b⃗ ）−−−−−−−−−−−−−−−√Δ(a→,b→)=(a→−b→)TΣ−1(a→−b→) \Delta(\vec a, \vec …

8 distributions  classification  normal-distribution  multivariate-analysis 

実験中に3回評価された10人の参加者の2つのグループがあります。グループ間および3つの評価全体の違いをテストするために、group（コントロール、実験）、time（最初、2、3）、およびを使用して2x3混合設計ANOVAを実行しましたgroup x time。両方timeとgroup有意な相互作用があったほか、重大な結果group x time。 グループメンバーシップに関しても、3回の評価の違いをさらにチェックする方法をよく知りません。実際、最初は、ANOVAのオプションで、ボンフェローニの補正を使用してすべての主要な効果を比較することだけを指定しました。しかし、この方法で、グループを区別せずに、サンプル全体の時間の違いをこのように比較したことに気付きましたね。 したがって、可能な解決策を見つけるためにインターネットでたくさん検索しましたが、結果はほとんどありませんでした。私と同じようなケースは2つしか見つかりませんでしたが、解決策は逆です！ 記事では、混合設計の後、著者らは被験者ごとに1つずつ、2回の反復測定ANOVAを事後的に実行しました。このようにして、2つのグループは修正なしで個別に分析されます。 インターネットのガイドでは、混合ANOVAの実行中に、SPSS構文のCOMPARE(time) ADJ(BONFERRONI)直後にを手動で追加すると述べています/EMMEANS=TABLES(newgroup*time)。このように、3つの時間はグループごとに個別に比較されます。ボンフェローニ補正を使用すると、私は正しいのでしょうか。 どう思いますか？どちらが正しい方法でしょうか？

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

線形モデルでシミュレーションを実行しています。1000の結果が得られ、結果は密度チャートに入れられます。私はx軸が従属変数であり、y軸がカーネル密度を表すことを理解しています。Y軸は0から0.15のような10進数です。これを他のユーザーに説明するにはどうすればよいですか？シミュレーションされた値がx1とx2の間に入る確率は15％ですか？ これは私のシミュレーション出力です： summary(s) Model: ls Number of simulations: 1000 Values of X (Intercept) Volume 1 1 1699992 attr(,"assign") [1] 0 1 Expected Values: E(Y|X) mean sd 50% 2.5% 97.5% 1 12.305 2.638 12.231 7.03 17.512

8 distributions  pdf  kernel-smoothing 

離散検定統計の場合、対応する値の分布は離散的であり、一様分布よりも確率的に大きくなります。したがって、p値に基づく対応する仮説検定（たとえば、p値が0.05未満の場合は拒否）は、タイプIのエラーが発生する確率が0.05未満になるという意味で常に保守的です。mid-pvalueを使用することが推奨されることもあります。しかし、mid-pvalueを使用してもType Iエラーが制御されるという証拠はないと思います。保守性を減らす他の方法はありますか？この分野に精通している人は、これに関するいくつかのヒントや既存の文献を指摘できますか？ppp

8 distributions  statistical-significance  hypothesis-testing  discrete-data 

スペル修正、機械翻訳、音声認識などの多くの自然言語処理アプリケーションでは、言語モデルを使用しています。言語モデルは通常、単語のシーケンス（n-gram）が大規模なコーパスで発生する頻度をカウントし、そのカウントを正規化して確率を作成することによって作成されます。目に見えないn-gramを説明するために、モデルで証明されているn-gramから確率質量の一部を取り、この質量を低次のn-gram（短い単語シーケンス）に分配する平滑化方法（ここにリストされているいくつかを参照）を使用します）バックオフ確率。 計算では分布を確率として維持する必要があるため、平滑化手法の多くは数学的に複雑になります（合計は1にする必要があります）。 この制約の理由は何ですか？他の種類のスコアではなく、厳密な確率を予測に使用する利点は何ですか？ PSリンクに対応するリファレンスは、[Stanley F. Chen and Joshua Goodman（1998）、an Empirical Study of Smoothing Techniques for Language Modeling]]です。

8 distributions  modeling  natural-language  language-models 

データを取得し、データの分布をプロットし、qqnorm関数を使用しましたが、正規分布に従っていないようです。データを記述するためにどの分布を使用する必要がありますか？ 経験累積分布関数

8 distributions 

ましょうT1,T2,…T1,T2,…T_1, T_2, \dotsパラメータの指数確率変数のIIDシーケンスですλλ\lambda。合計は、ガンマ分布です。今私が理解しているように、ポアソン分布はによって次のように定義されています：N tSn=T1+T2+⋯+TnSn=T1+T2+⋯+TnS_n = T_1 + T_2 + \dots + T_nNtNtN_t Nt=max{k:Sk≤t}Nt=max{k:Sk≤t}N_t = \max\{k: S_k \le t\} がポアソン確率変数であることを正式に示すにはどうすればよいですか？NtNtN_t どんな提案も歓迎します。いくつかの証明を試みましたが、最終的な方程式に到達できませんでした。 参考文献 http://en.wikipedia.org/wiki/Exponential_distribution http://en.wikipedia.org/wiki/Gamma_distribution http://en.wikipedia.org/wiki/Poisson_distribution

8 distributions  probability  poisson-distribution  exponential  gamma-distribution 

まず、漠然としたタイトルについてお詫びしたいのですが、今のところより良いタイトルを作成することができませんでした。自由に変更するか、変更のアドバイスをお願いします。タイトルを質問の核心に合わせてください。 。 質問自体については、サンプリングに経験的分布を使用するというアイデアに出くわしたソフトウェアに取り組んでいますが、実装されたため、すべてを解釈する方法がわかりません。私が行ったこととその理由を説明させてください： 一連のオブジェクトの計算がたくさんあり、最終スコアが得られます。ただし、スコアはその場限りです。したがって、特定のオブジェクトのスコアを理解するために、モック/ランダムに生成された値を使用してスコアの計算を多数（N = 1000）実行し、1000のモックスコアを生成します。その特定のオブジェクトの経験的な「スコア分布」の推定は、これらの1000モックスコア値によって達成されます。 私はこれをJavaで実装しました（他のソフトウェアもJava環境で記述されているため）、Apache Commons Mathライブラリ、特にEmpiricalDistImplclassを使用します。ドキュメントによると、このクラスは以下を使用します： ガウス平滑化を使用した可変カーネル法に相当するもの：入力ファイルのダイジェスト ファイルを1回渡して、最小値と最大値を計算します。 範囲をmin-maxからbinCount "bins"に分割します。 データファイルを再度渡して、各ビンのビンカウントと一変量統計（平均、標準偏差）を計算します。 間隔（0,1）を、ビンに関連付けられたサブインターバルに分割します。ビンのサブインターバルの長さは、そのカウントに比例します。 今私の質問は、ある種の期待値を計算するためにこの分布からサンプリングすることは理にかなっていますか？言い換えれば、このディストリビューションをどれだけ信頼/信頼できますか？たとえば、分布をチェックしてスコアを観察することの重要性について結論を出すことはできますか？SSS これはおそらく、このような問題を検討するための正統な方法ではないことを理解していますが、経験的分布の概念と、それらを分析にどのように使用できるかできないかを理解することは興味深いと思います。

8 distributions  sampling  java 

私は年齢（6〜90歳）と声の大きさ（dB）を関連付けようとしています。ただし、私のデータには、20〜50年の範囲のデータポイントが含まれていません。 このようなかなりのギャップがある場合、どの相関測定が最も適切ですか。なぜですか。今までKendall Tauを使ってきました。 ここでは、バイモーダルに分散されたデータは扱っていませんが、年齢範囲のデータギャップが大幅に不足していることに注意してください。

8 distributions  correlation  missing-data 

この質問が明確でない場合はご容赦ください。適切な用語を使用しているかどうかはわかりません。 さまざまな環境で何度も実験を行いました。だから私のデータは次のようになります： Environment1 1.2 2.1 1.1 1.5 1.6 Environment2 4.2 2.6 3.5 2.5 2.9 Environment3 7.2 4.6 5.3 4.5 1.6 Environment4 0.0 0.0 1.2 15.0 0.0 Environment5 3.2 2.4 7.2 5.5 6.6 Environment6 23.2 32.1 18.1 1.5 19.6 実験がEnvironment4（低すぎて変動が激しい）とEnvironment5（高すぎる）で適切に行われなかったことははっきりと（またはおそらく私の直感では）わかりますが、これを証明する方法がわかりません。私は仮説を用いた仮説テストに依存することになっていますか？ 実験は、環境4および6では適切に行われませんでした。 そして、これを証明するためにいくつかの手順を使用しますか？またはこれを示す標準的な方法はありますか？誰かが私にこの種の問題に取り組む方法を助けてくれませんか？私はRを使用しています。

8 r  distributions  hypothesis-testing  statistical-significance  experiment-design 

私は統計の初心者なので、頭の悪い質問をする場合は事前に謝罪してください。質問への回答を検索しましたが、トピックの多くが具体的すぎるか、現在理解しているトピックをすぐに超えてしまいます。 完全にシミュレーションすることが不可能になる大規模なデータセットを含むシミュレーション作業があります。最小のデータセットの場合、完全な実行では、合計9180900テストからの結果の次の分布が示されます。 結果/頻度： 0 7183804 1 1887089 2 105296 3 4571 4 140 数字の意味は関係ありません。重要なのは、私が持っているより大きなデータセットは何十億ものテストに拡張され、実行するには時間がかかりすぎるということです。ワークロードを制限する必要があります。 完全なテストセットからサンプリングして、サンプルの分布を導き出し、徹底的なシミュレーションの結果がほぼ同じ分布を示すと（ある程度の範囲内で）推測できるはずだと思います。実行されるテストには固有のバイアスがないため、入力を一様にランダムに選択すると、有効なサンプルが提供されます。 私がまだ理解していないのは、サンプルサイズを選択する方法です。特に、分布は奇妙な尾を示し、サンプリングが小さすぎると低い周波数が失われるのではないかと心配しています。（「4」の140回の出現は、人口の0.0015％にすぎません！） それで、私の質問は、結果である程度の良いことを主張できるサンプルサイズを計算する最良の方法は何ですか？ または、私は間違った質問をしていますか？

8 distributions  sample-size  experiment-design  sampling 

ベイジアンメタアナリシスの以前の分布を述べようとしています。 確率変数に関する次の情報があります。 2つの観察：3.0、3.6 変数を研究する科学者は、であり、6という高い値はゼロ以外の確率を持つと私に言っています。P(X&lt;2)=P(X&gt;8)=0P(X&lt;2)=P(X&gt;8)=0P(X<2)=P(X>8)=0 私は、最適化に次のアプローチを使用している（ログ-Nのモードを= ：eμ−σ2)eμ−σ2)e^{\mu-\sigma^2)} prior &lt;- function(parms, x, alpha) { a &lt;- abs(plnorm(x[1], parms[1], parms[2]) - (alpha/2)) b &lt;- abs(plnorm(x[2], parms[1], parms[2]) - (1-alpha/2)) mode &lt;- exp(parms[1] - parms[2]^2) c &lt;- abs(mode-3.3) return(a + b + c) } v = nlm(prior,c(log(3.3),0.14),alpha=0.05,x=c(2.5,7.5)) x &lt;- seq(1,10,0.1) plot(x, dlnorm(x, v$estimate[1], v$estimate[2])) …

8 r  distributions  probability  bayesian  optimization 

私はトリガーの効率を調べています。つまり、イベントのうちイベントで起動するデバイスがあるということです。結局、ランダムに与えられたイベントで発砲する確率である効率推定に興味があります。を超える均一な事前分布でベイジアンアプローチを使用すると、確率分布をベータ分布としてモデル化できます。kkknnnϵϵ\epsilon[0,1][0,1][0,1]ϵϵ\epsilonβ(ϵ;k+1,n−k+1)β(ϵ;k+1,n−k+1)\beta(\epsilon; k+1, n-k+1) ここで問題が発生します。「ブートストラップ」を使用して効率を計算します。つまり、最終的なトリガー効率は2つのトリガー効率の積であり、どちらもベータ分布としてモデル化できます。 大きな値に対して2つのベータPDFのこの積を計算するにはどうすればよいですかk1,2k1,2k_{1,2}及び効率？閉じた形の製品はありますか（AFAIKはありません）？現時点ではこれを数値的に行っていますが、かなり時間がかかります。n1,2n1,2n_{1,2} この質問には、大きな引数値のベータ分布の積分を評価する方法の答えがありますが、これはここでは役に立ちません。 私の質問が明確で完全に愚かではないことを願っています...

8 distributions  beta-distribution