タグ付けされた質問 「mathematical-statistics」

私は自分のスキルセットを向上させたいと考え始めており、私は常に機械学習に魅了されてきました。しかし、6年前にこれを追求する代わりに、コンピューターサイエンスとはまったく関係のない学位を取ることにしました。 私は約8〜10年間ソフトウェアとアプリケーションを開発してきたので、私は良いハンドルを持っていますが、機械学習/確率/統計学の数学の側面に侵入することはできないようです。 私は学習教材に目を向けると、最初のページには混乱を招き、すぐに学習に障害を引き起こすものが含まれている可能性があります。 数学の強力なバックグラウンドはMLの必須条件ですか？MLを続行する前に、数学の空白を埋めてみる必要がありますか？自己学習は、ハードコンピュータサイエンスのバックグラウンドがなくても、開発者だけで本当に機能しますか？ 関連する質問： 統計学習の要素の前に読むための本？

37 machine-learning  references  mathematical-statistics 

無制限のランダム変数の合計の確率不等式を探しています。誰かが私にいくつかの考えを提供できるなら、本当に感謝しています。 私の問題は、実際には2つのiidガウスの乗算である無制限のiid確率変数の合計が特定の値、つまりを超える確率に関する指数の上限を見つけることです。、、とからIIDが生成される。Pr[X≥ϵσ2N]≤exp(?)Pr[X≥ϵσ2N]≤exp⁡(?)\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)X=∑Ni=1wiviX=∑i=1NwiviX = \sum_{i=1}^{N} w_iv_iwiwiw_iviviv_iN(0,σ)N(0,σ)\mathcal{N}(0, \sigma) モーメント生成関数（MGF）を使用してChernoff境界を使用しようとしましたが、派生境界は次のようになります。 Pr[X≥ϵσ2N]≤=minsexp(−sϵσ2N)gX(s)exp(−N2(1+4ϵ2−−−−−−√−1+log(1+4ϵ2−−−−−−√−1)−log(2ϵ2)))Pr[X≥ϵσ2N]≤minsexp⁡(−sϵσ2N)gX(s)=exp⁡(−N2(1+4ϵ2−1+log⁡(1+4ϵ2−1)−log⁡(2ϵ2)))\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray} ここで、gX(s)=(11−σ4s2)N2gX(s)=(11−σ4s2)N2g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}はXのMGFですXXX。しかし、限界はそれほど厳しくありません。私の問題の主な問題は、ランダム変数が制限されていないことであり、残念ながら、ヘフディング不等式の境界を使用することはできません。 あなたが私にいくつかのきつい指数関数的境界を見つけるのを手伝ってくれれば幸いです。

37 probability  mathematical-statistics  probability-inequalities  mgf 

私は、誰かが素人の言葉で、特徴的な機能とは何か、実際にどのように使用されるかを説明できることを望んでいます。私はそれがpdfのフーリエ変換であることを読んだので、私はそれが何であるか知っていると思いますが、私はまだその目的を理解していません。誰かがその目的の直感的な説明と、おそらくそれが通常どのように使用されるかの例を提供できれば、それは素晴らしいことです！ 最後の注意点：Wikipediaのページを見たことがありますが、何が起こっているのかを理解するには密度が高すぎるようです。私が探しているのは、確率論の不思議に没頭していない人、たとえばコンピューター科学者が理解できる説明です。

37 probability  mathematical-statistics  characteristic-function 

SCIENCEのこの現在の記事では、以下が提案されています。 10,000人の人々の間で5億の収入をランダムに分割するとします。全員に平等な50,000株を与える唯一の方法があります。したがって、収益をランダムに分配する場合、平等は非常にありそうにありません。しかし、少数の人々に多くの現金を与え、多くの人々に少しか何も与えない無数の方法があります。実際、収入を分配することができるすべての方法を考えると、それらのほとんどは収入の指数関数的な分布を生み出します。 結果を再確認したと思われる次のRコードでこれを行いました。 library(MASS) w <- 500000000 #wealth p <- 10000 #people d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45, xlim = c(0, quantile(d, 0.99))) fit <- fitdistr(d,"exponential") curve(dexp(x, rate = fit$estimate), col = "black", type="p", pch=16, add = TRUE) 私の質問 結果の分布が実際に指数関数的であることを分析的に証明するにはどうすればよいですか？ …

36 distributions  mathematical-statistics  exponential 

大学院の入学シーズンです。私（および私のような多くの学生）は現在、どの統計プログラムを選択するかを決定しようとしています。 統計学を研究している皆さんが、統計学の修士課程について検討することを示唆していることは何ですか？ （おそらく学校の評判に関して）学生が犯すよくある落とし穴や間違いはありますか？ 雇用に関しては、応用統計に焦点を当てるべきか、応用統計と理論統計の組み合わせに注目すべきでしょうか？ 編集：ここに私の個人的な状況に関するいくつかの追加情報があります：私が現在検討しているすべてのプログラムは米国にあります。より応用的な側面に焦点を合わせ、「応用統計学」の修士号を授与する者もいれば、「統計学」の理論コースとグラント学位を授与する者もいます。私は個人的に、ある業界で別の業界で働くつもりはありません。私はプログラミングのバックグラウンドがあり、たとえば、ゲノミクスやバイオインフォマティクス業界よりもテクノロジー業界を少しよく知っています。しかし、私は主に興味深い問題のあるキャリアを探しています。 編集：質問をより一般的に適用できるようにしました。

36 machine-learning  mathematical-statistics  careers 

場合分配される、 分布している と、私はそれを知っている分配される XとYが独立している場合。XXXY N （μ Y、σ 2 Y）Z = X + Y Z N （μ X + μ Y、σ 2 X + σ 2 Y）N(μX,σ2X)N(μX,σX2)N(\mu_X, \sigma^2_X)YYYN(μY,σ2Y)N(μY,σY2)N(\mu_Y, \sigma^2_Y)Z=X+YZ=X+YZ = X + YZZZN(μX+μY,σ2X+σ2Y)N(μX+μY,σX2+σY2)N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y) しかし、XとYが独立していない場合、つまり (X,Y)≈N((μXμY),(σ2XσX,YσX,Yσ2Y))(X,Y)≈N((μXμY),(σX2σX,YσX,YσY2))(X, Y) \approx N\big( (\begin{smallmatrix} \mu_X\\\mu_Y \end{smallmatrix}) , (\begin{smallmatrix} \sigma^2_X && \sigma_{X,Y}\\ …

36 normal-distribution  mathematical-statistics 

次の質問に対する直感的な説明を探しています。 統計と情報理論では、2つの離散確率分布の差の尺度として、バタチャリャ距離とKL発散の違いは何ですか？ それらはまったく関係がなく、まったく異なる方法で2つの確率分布間の距離を測定しますか？

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

ウィキペディアによると- 確率理論では、中心極限定理（CLT）は、ほとんどの場合、独立したランダム変数が追加されると、元の変数自体ではなくても、適切に正規化された合計が正規分布（非公式に「ベル曲線」）になる傾向があることを確立します正規分布しています... 「ほとんどの状況で」と書かれている場合、どのような状況で中心極限定理は機能しませんか？

32 probability  mathematical-statistics  normal-distribution  central-limit-theorem 

チェビシェフ不等式の次の片側Cantelli版に興味があります。 P(X−E(X)≥t)≤Var(X)Var(X)+t2.P(X−E(X)≥t)≤Var(X)Var(X)+t2. \mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,. 基本的に、母平均と分散がわかっている場合、特定の値を観測する確率の上限を計算できます。（少なくとも私の理解はそうでした。） ただし、実際の母集団の平均と分散の代わりに、標本の平均と標本の分散を使用したいと思います。 これにより不確実性が高まるため、上限が増加すると推測しています。 上記に類似した不等式はありますが、サンプルの平均と分散を使用していますか？ 編集：チェビシェフ不等式の「サンプル」アナログ（片面ではない）が作成されました。Wikipediaのページには、いくつかの詳細を持っています。ただし、上記の片側のケースにどのように変換されるかはわかりません。

32 probability  mathematical-statistics  probability-inequalities  mean 

相関関係は因果関係ではないことを理解しています。2つの変数間に高い相関関係があると仮定します。この相関関係が実際に原因であるかどうかをどのように確認しますか？または、どのような条件下で、正確に、実験データを使用して2つ以上の変数間の因果関係を推測できますか？

30 correlation  mathematical-statistics  causality 

尤度は、たとえば、いくつかの方法で定義できます。 関数からマップをすなわち、。LLLΘ × XΘ×バツ\Theta\times{\cal X}（θ 、x ）（θ、バツ）(\theta,x)L （θ | X ）L（θ∣バツ）L(\theta \mid x)L ：Θ × X→ RL：Θ×バツ→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} ランダム関数L （⋅ | X）L（⋅∣バツ）L(\cdot \mid X) また、尤度は「観測された」尤度のみであると考えることもできL （⋅ | Xobs）L（⋅∣バツobs）L(\cdot \mid x^{\text{obs}}) 実際には、尤度は\ thetaの情報をθθ\theta乗法定数までしか持ち込まないため、尤度は関数ではなく関数の等価クラスと考えることができます パラメーター化の変更を検討する際に別の問題が発生します：ϕ = θ2ϕ=θ2\phi=\theta^2が新しいパラメーター化である場合、一般にL （ϕ ∣ x ）L（ϕ∣バツ）L(\phi \mid x)で\ phiの尤度を示しϕϕ\phi、これは前の関数L （⋅ | X ）L（⋅∣バツ）L(\cdot \mid x)でθ2θ2\theta^2が、でϕ−−√ϕ\sqrt{\phi}。これは虐待的だが有用な表記法であり、強調しないと初心者に困難をもたらす可能性がある。 …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

ロジスティック回帰モデルから近似値を予測する場合、標準誤差はどのように計算されますか？つまり、フィッシャーの情報マトリックスを含む係数ではなく、近似値についてです。 私はのみで数を取得する方法を見つけたR（例えば、ここでは R-ヘルプ上、またはここにスタックオーバーフロー上）が、私は式を見つけることができません。 pred <- predict(y.glm, newdata= something, se.fit=TRUE) （できれば大学のウェブサイトで）オンラインソースを提供できれば、それは素晴らしいことです。

29 r  regression  logistic  mathematical-statistics  references 

応用確率は、計算確率を含む確率の重要な分岐です。統計は確率理論を使用してデータを処理するモデルを構築しているため、私の理解では、統計モデルと確率モデルの本質的な違いは何ですか？確率モデルは実際のデータを必要としませんか？ありがとう。

29 probability  mathematical-statistics 

検討NNNの独立した試料SSSランダム変数から得られたXXX（例えばA切り捨て分布に従うと仮定される正規分布を切り捨て既知の（有限の）最小値と最大値の）およびBが、未知パラメータのμ及びσ 2。場合Xは非切り捨て分布に従って、最尤推定量は、μ及びσ 2のためのμ及びσ 2からSは試料の平均であろうμaaabbbμμ\muσ2σ2\sigma^2XXXμˆμ^\widehat\muσˆ2σ^2\widehat\sigma^2μμ\muσ2σ2\sigma^2SSSμˆ=1N∑iSiμ^=1N∑iSi\widehat\mu = \frac{1}{N} \sum_i S_i及び試料分散 σ 2=1σˆ2=1N∑i(Si−μˆ)2σ^2=1N∑i(Si−μ^)2\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2。しかし、切り捨て分布のために、このように定義されたサンプル分散はで囲まれている(b−a)2(b−a)2(b-a)^2、それは必ずしも一致推定量ではないのでための：σ2>(b−a)2σ2>(b−a)2\sigma^2 > (b-a)^2、それに対して確率で収束することができませんσ2σ2\sigma^2としてNNN無限大になります。そのようですので、 μ及び σ 2は、の最尤推定量ではありませんμμˆμ^\widehat\muσˆ2σ^2\widehat\sigma^2μμ\muそして、切り捨て配布するため。もちろん、これは以来、予想されるμとσ 2つの切断正規分布のパラメータは、その平均と分散ではありません。σ2σ2\sigma^2μμ\muσ2σ2\sigma^2 それでは、既知の最小値と最大値の切り捨てられた分布のおよびσパラメーターの最尤推定量は何ですか？μμ\muσσ\sigma

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

平均と、分散と 2つの独立した正規分布とます。XXXYYYμxμx\mu_xμyμy\mu_yσ2xσx2\sigma^2_xσ2yσy2\sigma^2_y それらの比率の分布に興味があります。どちらやので、ゼロの平均値を有し、Zはコーシーとして配布されていません。Z=X/YZ=X/YZ=X/YXXXYYYZZZ ZのCDFを見つけてZZZから、μxμx\mu_x、μyμy\mu_y、σ2xσx2\sigma^2_xおよび\ sigma ^ 2_yに関するCDFの導関数を取得する必要がありますσ2yσy2\sigma^2_y。 これらがすでに計算されている論文を知っている人はいますか？または、これを自分で行う方法は？ 1969年の論文でCDFの式を見つけましたが、これらの派生物を取得することは間違いなく大きな苦痛です。誰かがすでにそれを行っているか、簡単に行う方法を知っているのでしょうか？私は主にこれらのデリバティブの兆候を知る必要があります。 このペーパーには、YYYがほとんど正の場合の分析的に単純な近似も含まれています。私はその制限を持つことはできません。ただし、パラメータ範囲外であっても、近似値は真の導関数と同じ符号を持つ可能性がありますか？

28 distributions  normal-distribution  references  mathematical-statistics  cdf