タグ付けされた質問 「distributions」

私はキャパシティプランニングの割り当てに取り組んでおり、いくつかの本を読んだことがあります。これは特にディストリビューションについてです。私はRを使用します。 データの分布を特定するために推奨されるアプローチは何ですか？それを識別する統計的方法はありますか？ この図があります。 Rを使用して利用できるシミュレーションアプローチは何ですか？ここでは、指数のような特定の分布のデータを生成したいと思います。Javaと統合したい場合、r-javaは適切なアプローチですか？ 特定の分布のデータをパイプ処理するときに、影響（CPU使用率など）がどの分布になるかを予測する方法はありますか？データの特定の分布を送信することの異なる効果は何ですか？ 初心者向けの質問とお考えください。これらのタイプのシミュレーションを扱う本や資料はありますか？ ノート この図は、論文http://people.stern.nyu.edu/adamodar/pdfiles/papers/probabilistic.pdfの末尾からのものです。 私が出会った適合度のテクニック 適合度の評価 カイ二乗 コルモゴロフ=スミルノフ、 アンダーソン・ダーリング統計密度、cdf、PPおよびQQプロット 私の分布が正規または指数関数的であることがわかった場合、どのような解釈または次のステップが必要なのかわかりません。それにより、何ができるようになりますか？予測？この質問が明確であることを願っています。 指数関数的な遅延は、Neil Guntherによる私の容量計画の本のとおり、キューの変動を引き起こします。だから私はその一点を知っています。

9 distributions  simulation 

以下の移植片は、この記事から引用したものです。私はブートストラップの初心者であり、R bootパッケージを使用した線形混合モデルのパラメトリック、セミパラメトリック、ノンパラメトリックのブートストラップブートストラップを実装しようとしています。 Rコード これが私のRコードです： library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- function(data, indices){ data <- data[indices, ] mod <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out <- boot(data=Cultivation, statistic=boot.fn, R=99) Out ご質問 …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

サーバーの応答遅延に関するいくつかのテスト結果があります。理論分析によると、遅延分布（応答遅延の確率分布関数）は、裾が重い動作になるはずです。しかし、テスト結果がヘビーテール分布に従っていることをどのように証明できますか？

9 regression  distributions  probability  normal-distribution  mathematical-statistics 

関連する変数の比率分析とどのように2つの正規分布の変数の比をパラメータ化するために、または1つの逆？。 4つの異なる連続ランダム分布からのサンプルがいくつかあるとします。これらのサンプルはすべてほぼ正常であると想定できます。私の場合、これらは暗号化ありと暗号化なしの2つの異なるファイルシステム（たとえば、ext4とXFS）のいくつかのパフォーマンスメトリックに対応しています。このメトリックは、たとえば、1秒あたりに作成されたファイルの数や、一部のファイル操作の平均待機時間などです。これらの分布から抽出されたすべてのサンプルは常に厳密に正であると想定できます。レッツコールこれらの分布ここで、F S Tパフォーマンスfs t yp e 、e n c r yp t i o nPerffstype,encryption\textrm{Perf}_{fstype,encryption}及び E N C RのY軸のP T iがO 、N ∈ { C 、R 、Y 、P 、T 、O 、N 、O 、C 、R 、Y 、P T O }。fs t yp個のE ∈ { XのFs 、e x t 4 }fstype∈{xfs,ext4}fstype …

9 distributions  hypothesis-testing  statistical-significance 

さまざまな分布と形式に従う2次元のデータポイント（各データポイントは2つの値（x、y）のベクトル）のデータセットを探しています。そのようなデータを生成するコードも役立ちます。それらを使用して、いくつかのクラスタリングアルゴリズムが実行する方法をプロット/視覚化したいと思います。ここではいくつかの例を示します。 星のような雲データ 4つのクラスター、1つは分離可能 スパイラル（クラスターなし） 指輪 2つのかろうじて分離された雲 らせんを形成する2つの平行なクラスター ...など

9 distributions  data-visualization  clustering  dataset 

我々は、線形モデルがあるとしすべての標準回帰（ガウス-マルコフ）前提条件を満たしています。我々は、に興味があるθ = 1 / β 1。y私= β0+ β1バツ私+ ϵ私yi=β0+β1xi+ϵiy_i = \beta_0 + \beta_1 x_i + \epsilon_iθ = 1 / β1θ=1/β1\theta = 1/\beta_1 質問1：どのような仮定を配信するために必要であるθを明確に定義されるべき？β 1 ≠ 0重要であろう---他のもの？θ^θ^\hat{\theta}β1≠ 0β1≠0\beta_1 \neq 0 質問2：エラーが正規分布に従うという仮定を追加します。場合我々は、それを知っているβ 1は、 MLEであり、Gは、（⋅ ）単調関数であり、次に、G （β 1 ）のためのMLEであるG （β 1）。単調性は近傍にのみ必要であるβ 1？言い換えれば、あるθ = 1 / β MLE？連続マッピング定理は、少なくともこのパラメーターが一貫していることを示しています。β^1β^1\hat{\beta}_1g（⋅ ）g(⋅)g(\cdot)g（β^1）g(β^1)g\left(\hat{\beta}_1\right)g（β1）g(β1)g(\beta_1)β1β1\beta_1θ^= 1 / β^θ^=1/β^\hat{\theta} = 1/\hat{\beta} …

9 regression  distributions  maximum-likelihood  bootstrap 

個人レベルの多変量解析を、地理的集計の小さなレベル（オーストラリアの国勢調査区）で実行したいと思います。明らかに、プライバシーの理由から、これらの小さなレベルの集計では国勢調査を利用できないため、他の代替案を調査しています。関心のある変数のほとんどすべてがカテゴリカルです。自由に使える2つのデータセットがあります。 1％の国勢調査サンプルは、はるかに高いレベルの空間集約（人口が約190,000で、人口統計の空間分離が広大な地域）で利用できます。 小領域レベルで関心のある変数の度数分布表（500小領域、平均ポップ= 385、sd = 319、中央値= 355）。 これらの2つのデータセットを使用して、小区域の実際の人口にできるだけ近い小区域レベルでの人口分布をシミュレートするにはどうすればよいですか？ これを行うための通常の方法があることを私は感謝しています。もしそうなら、教科書または関連する雑誌の記事へのポインタが非常に高く評価されます。

9 distributions  sampling  simulation  spatial  census 

質量関数をもつ離散分布 p(x;k)=k(x+k)(x+k−1),x=1,2,…p(x;k)=k(x+k)(x+k−1),x=1,2,…p(x;k) = \frac{k}{(x+k)(x+k-1)},\quad x = 1,2,\ldots このペーパーの 9ページで発生します。 以下のためにそれはユール・サイモン分布を持つ、私は、他の実施例を見つけていません。k=1k=1k=1ρ=1ρ=1\rho=1 名前はありますか？他の状況で表示されますか？それを生成する可能性のある単純な確率的プロセスはありますか？

9 distributions 

2つの異なる分布に従って2つの変数があり、標準偏差が異なる場合... 2つの変数を変換して、2つの結果がより変動性のある変数によって「駆動」されないようにするにはどうすればよいですか。 たとえば、変数Aは変数Bよりも揮発性が低く（範囲は0〜3000）、変数Bはあちこちに移動します。300から350。 2つの変数を単に加算すると、結果は明らかにAによって駆動されます。

9 distributions 

私はこのようなほぼ同じ質問があります： ベルヌーイ確率変数の合計を効率的にモデル化するにはどうすればよいですか？ ただし、設定はかなり異なります。 S=∑i=1,NXiS=∑i=1,NXiS=\sum_{i=1,N}{X_i}、、〜20、〜0.1P(Xi=1)=piP(Xi=1)=piP(X_{i}=1)=p_iNNNpipip_i ベルヌーイ確率変数の結果のデータがあります：、Xi,jXi,jX_{i,j}Sj=∑i=1,NXi,jSj=∑i=1,NXi,jS_j=\sum_{i=1,N}{X_{i,j}} 最尤推定でを推定した場合（およびを取得した場合）、がはるかに大きいことが他の基準で期待される：pipip_ip^MLEip^iMLE\hat p^{MLE}_iP^{S=3}(p^MLEi)P^{S=3}(p^iMLE)\hat P\{S=3\} (\hat p^{MLE}_i)P^{S=3}(p^MLEi)−P^expected{S=3}≈0.05P^{S=3}(p^iMLE)−P^expected{S=3}≈0.05\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05 したがって、とは独立したものとして扱うことができません（依存関係が小さいため）。XiXiX_{i}XjXjX_{j} (j&gt;k)(j&gt;k)(j>k) これらのようないくつかの制約があります：および（既知）、これは推定に役立つはずです。pi+1≥pipi+1≥pip_{i+1} \ge p_i∑s≤2P^{S=s}=A∑s≤2P^{S=s}=A\sum_{s \le 2}\hat P\{S=s\}=AP{S}P{S}P\{S\} この場合、ベルヌーイ確率変数の合計をモデル化するにはどうすればよいでしょうか？ この課題を解決するのに役立つと思われる文献はどれですか。 更新しました さらにいくつかのアイデアがあります： （1）間の未知の依存関係は、連続して1回以上成功した後に始まると想定できます。したがって、場合、およびます。XiXi{X_i}∑i=1,KXi&gt;0∑i=1,KXi&gt;0\sum_{i=1,K}{X_i} > 0pK+1→p′K+1pK+1→pK+1′p_{K+1} \to p'_{K+1}p′K+1&lt;pK+1pK+1′&lt;pK+1p'_{K+1} < p_{K+1} （2）MLEを使用するには、問題が最も少ないモデルが必要です。ここにバリアントがあります： P{X1,...,Xk}=(1−p1)...(1−pk)P{X1,...,Xk}=(1−p1)...(1−pk)P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)場合任意のkのための ifおよび、および任意のkに対して。∑i=1,kXi=0∑i=1,kXi=0\sum_{i=1,k}{X_i} = 0P{X1,...,Xk,Xk+1,...,XN}=(1−p1)...pkP′{Xk+1,...,XN}P{X1,...,Xk,Xk+1,...,XN}=(1−p1)...pkP′{Xk+1,...,XN}P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}∑i=1,k−1Xi=0∑i=1,k−1Xi=0\sum_{i=1,k-1}{X_i} = …

9 distributions  modeling  binomial  random-variable  non-independent 

としてペアで作成された観測値iidがあるとします以下のために。LETによると表すの番目の最大観測値。の（条件付き）分布とは何ですか？（または同等に、）私は= 1 、2 、... 、N Z iが = X I + Y I、Z I J J Z X I jはXi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i,ZijZijZ_{i_j}jjjZZZXijXijX_{i_j}YijYijY_{i_j} つまり、が観測値の番目に大きいことを条件として、の分布は何ですか？Z i j n ZXiXiX_iZiZiZ_ijjjnnnZZZ 私はそれを推測してい、の分布のちょうど無条件分布に収束としてながら、の、分布は、次の統計量の無条件分布に収束します。でも、真ん中ははっきりしません。XIjのXρ→∞XIJJXρ=σxσy→0ρ=σxσy→0\rho = \frac{\sigma_x}{\sigma_y} \to 0XijXijX_{i_j}XXXρ→∞ρ→∞\rho \to \inftyXijXijX_{i_j}jjjXXX

9 distributions  order-statistics  shrinkage 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

ランダムウォークの最大ドローダウンの分布に興味がありますここで、。期間後の最大ドローダウンはです。Magdon-Ismail らによる論文。al。ドリフトを伴うブラウン運動の最大ドローダウンの分布を与えます。式には、暗黙的にのみ定義されたいくつかの項を含む無限和が含まれます。収束する実装の記述に問題があります。CDFの代替表現やコードのリファレンス実装を知っている人はいますか？X0=0,Xi+1=Xi+Yi+1X0=0,Xi+1=Xi+Yi+1X_0 = 0, X_{i+1} = X_i + Y_{i+1}Yi∼N(μ,1)Yi∼N(μ,1)Y_i \sim \mathcal{N}(\mu,1)nnnmax0≤i≤j≤n(Xi−Xj)max0≤i≤j≤n(Xi−Xj)\max_{0 \le i \le j \le n} (X_i - X_j)

9 distributions  cdf  finance  random-walk 

この投稿は言う PDFは、任意の1つの値をとるのではなく、確率変数が特定の値の範囲内に入る確率を指定するために使用されます。 本当ですか？ これは標準正規分布のPDFです。 φ （x ）= 12個のπ−−√e− x2/ 2φ(x)=12πe−x2/2\varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} 上記の式にx = 0を挿入すると、1つの値をとる確率を得ることができます。 その投稿は、PDFがポイントとインターバルの両方に使用できることを意味しますか？

9 distributions  terminology 

連続的な場合のベイズの公式のいくつかのあいまいさについては（このように）多くの質問があります。 p(θ|x)=p(x|θ)⋅p(θ)p(x)p(θ|x)=p(x|θ)⋅p(θ)p(x)p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)} 多くの場合、条件付き分布定義は、が指定された固定の関数であると説明されているという事実から混乱が生じ。f(variable|parameter)f(variable|parameter)f(variable | parameter) fffvariablevariablevariableparameterparameterparameter それに加えて、尤度は次のように記述できることを示す等価原理があります L(θ|x)=p(x|θ)L(θ|x)=p(x|θ) L(\theta | x) = p(x | \theta) それでは、なぜ次の形式の分布にベイズ規則を使用しないのですか？ P （θ | X ）= L （θ | X ）⋅ P （θ ）p （x ）p(θ|x)=L(θ|x)⋅p(θ)p(x)p(\theta | x) = \frac{L(\theta | x) \cdot p(\theta)}{p(x)} 観測データxが与えられた\ thetaの関数を 扱っていること、およびそれぞれの項が尤度（少なくともLで始まる）であることを強調するには？θθ\thetaバツxxLLL …

9 distributions  bayesian  conditional-probability  likelihood