統計とビッグデータ probability

1

2つのランダム変数、があり、は一様な0-1分布です。αi∼iid U(0,1),i=1,2αi∼iid U(0,1),i=1,2\alpha_i\sim \text{iid }U(0,1),\;\;i=1,2U(0,1)U(0,1)U(0,1) 次に、これらはプロセスを生成します： P(x)=α1sin(x)+α2cos(x),x∈(0,2π)P(x)=α1sin⁡(x)+α2cos⁡(x),x∈(0,2π)P(x)=\alpha_1\sin(x)+\alpha_2\cos(x), \;\;\;x\in (0,2\pi) 今、私はの与えられたのの理論的な75パーセント分位の閉形式表現があるかどうか疑問に思っていました --iコンピューターと多くの実現でそれができると仮定しますが、私は閉じた形を好むでしょう-。F−1(P(x);0.75)F−1(P(x);0.75)F^{-1}(P(x);0.75)P(x)P(x)P(x)x∈(0,2π)x∈(0,2π)x\in(0,2\pi)P(x)P(x)P(x)

16 distributions probability stochastic-processes

5

自習用の確率論書

確率分布関数や累積分布関数などの確率理論の重要な概念を説明する良い本はありますか？ジョン・ライスによる「数学統計とデータ分析」のような単純な順列概念から始まり、突然（第2章で）実分析、多重積分、表面積分の知識を想定して飛躍し、CDFとPDFとそれらを3次元の図で示します。1つは、すべてがどのように接続されているかについて頭をひっかきます。私は自習用の本を探していますが、「実用的な人のための微積分」と同じカテゴリの本は大いに役立ちます。

16 probability self-study distributions references theory

4

なぜP（A、B | C）/ P（B | C）= P（A | B、C）ですか？

16 probability conditional-probability

2

どの表記と理由：

これらは単なるイタリック体かイタリック体か、またはこれらの表記の意味に実質的な違いがありますか？この質問で考慮すべき「確率」を意味する他の表記法はありますか？

16 probability notation

2

周辺分布/周辺確率が「周辺」と表示されるのはなぜですか？

限界とは一般に、小さなシステムの外にある小さな効果を指します。「限界」と呼ばれるものの重要性を低下させる傾向があります。それでは、それが確率変数のサブセットの確率にどのように適用されるのでしょうか？言葉の意味のために言葉が使われると仮定すると、数学では危険な命題になる可能性があるため、ここに必ずしも答えがあるとは限りませんが、この種の質問に対する答えは、真の洞察を得るのに役立つことがあります。お願いします。

15 probability terminology

5

なぜ

15 probability bayesian

1

確率密度関数の変数の変化の導出？

本のパターン認識と機械学習（式1.27）では、 py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) | ここで、x=g(y)x=g(y)x=g(y)、px(x)px(x)p_x(x)は、変数の変化に関して対応するpdfpy(y)py(y)p_y(y)です。書籍は、その観察が範囲に入るので、それがだと言う、の値が小さいためであろうδ X、範囲に変換する（Y 、Y + δ Y ）。(x,x+δx)(x,x+δx)(x, x + \delta x)δxδx\delta x(y,y+δy)(y,y+δy)(y, y + \delta y) これは正式にどのように導出されますか？ Dilip Sarwateからの更新結果は、が厳密に単調な増加または減少関数である場合にのみ保持されます。ggg LV Raoの回答にいくつかのマイナーな編集場合したがってGP(Y≤y)=P(g(X)≤y)={P(X≤g−1(y)),P(X≥g−1(y)),if g is monotonically increasingif g is monotonically decreasingP(Y≤y)=P(g(X)≤y)={P(X≤g−1(y)),if g is monotonically increasingP(X≥g−1(y)),if g is …

15 machine-learning probability self-study derivative jacobian

2

イベントが「最終的に発生する」とはどういう意味ですか？

整数の1次元ランダムウォークを検討ZZ\mathbb{Z}初期状態でx∈Zx∈Zx\in\mathbb{Z}： Sn=x+∑i=1nξiSn=x+∑i=1nξi\begin{equation} S_n=x+\sum^n_{i=1}\xi_i \end{equation} 増分は、ここでξiξi\xi_i IIDがそのようなことであるP{ξi=1}=P{ξi=−1}=12P{ξi=1}=P{ξi=−1}=12P\{\xi_i=1\}=P\{\xi_i=-1\}=\frac{1}{2}。それを証明することができます（1） Px{Sn reaches +1 eventually}=1Px{Sn reaches +1 eventually}=1\begin{equation} P^x{\{S_n \text{ reaches +1 eventually}\}} = 1 \end{equation} ここで、添え字は初期位置を示します。してみましょうττ\tau状態への最初の通過時間が。つまり、です。次のことも証明できます（2）+1+1+1τ:=τ(1):=min{n≥0:Sn=1}τ:=τ(1):=min{n≥0:Sn=1}\tau:=\tau(1):=\min\{n\geq0:S_n=1\} Eτ=+∞Eτ=+∞\begin{equation} E\tau = +\infty \end{equation} 両方の証明はhttp://galton.uchicago.edu/~lalley/Courses/312/RW.pdfにあります。記事を読んで、私は両方の証拠を理解しています。しかし、私の質問は、「最終的に」の意味が最初の文だけでなく一般的に何であるかです。「最終的に」何かが発生した場合、有限時間で発生する必要はありませんか？もしそうなら、実際に発生しないものと、「最終的に」発生しないものの違いは何ですか？ステートメント（1）および（2）は、ある意味で私自身と矛盾しています。このような他の例はありますか？編集質問の動機付けを追加したい、つまり、「最終的に」発生するものの単純な例ですが、待機時間は有限です。 P{walker eventually moves left}=1−P{walker never moves left}=1−limn→∞12n=1P{walker eventually moves left}=1−P{walker never moves left}=1−limn→∞12n=1\begin{split} P\{\text{walker eventually moves left}\} …

15 probability terminology stochastic-processes randomness random-walk

4

勾配ブースティングマシンの精度は、反復回数が増えると低下します

caretR のパッケージを介して勾配ブースティングマシンアルゴリズムを試しています。小さな大学入学データセットを使用して、次のコードを実行しました。 library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

1

統計アルゴリズム開発者候補者にとって、面接に適した質問は何ですか？

統計/機械学習/データマイニングのコンテキストにおけるアルゴリズム開発者/研究者の立場について、人々にインタビューしています。具体的には、基礎となる理論に対する候補者の親しみやすさ、理解、流動性、たとえば期待値と分散の基本的な性質、一般的な分布などを判断するための質問を探しています。私の現在のゴーへの質問は：「未知数がある。我々は推定したいと思い、この目的を達成するために、我々は推定持っY 1、Y 2、... 、Y nは与えられた、、すべての公平かつ独立しており、それぞれに既知の分散、それぞれ異なる。最適な推定量を見つけます。XXXY1,Y2,…,YnY1,Y2,…,YnY_1, Y_2, \ldots, Y_nXXXσ2iσi2\sigma_i^2Y=f(Y1,…,Yn)Y=f(Y1,…,Yn）Y=f(Y_1,\ldots, Y_n) 真面目な候補者なら誰でも簡単に処理できると期待しています（計算に時間をかけます）が、関連する分野からの候補者が、ほんの少しでも進歩しなかったのではないかと驚いています。したがって、私はそれを良い、差別的な問題だと考えています。この質問の唯一の問題は、それが1つしかないことです。これには他にどのような質問を使用できますか？または、そのような質問のコレクションはどこで見つけることができますか？

15 machine-learning probability distributions

2

各面が3回現れるまでダイスを振る回数

各サイドが3回出現するまでダイスを振る必要があると予想される回数はいくつですか？この質問はニュージーランドの小学校で尋ねられ、シミュレーションを使用して解決されました。この問題の分析ソリューションは何ですか？

15 probability multinomial negative-binomial coupon-collector-problem

2

PAC学習理論とはどういう意味ですか？

私は機械学習が初めてです。私は機械学習（スタンフォード大学）のコースを勉強していますが、この理論が何を意味するのか、そしてその有用性は何なのか理解できませんでした。誰かが私のためにこの理論を詳述できるかどうか疑問に思っています。この理論はこの方程式に基づいています。

15 machine-learning probability pac-learning

1

置換なしで描画する場合に予想される異なる色の数

含有URN考慮するのボールと、異なる色を色のボールの比率であるのうちボール（）。私が描く壷からボールをすることなく、数に置き換え、ルック描かれたボールの中で異なる色の。分布適切な特性に応じて、関数としてのの期待は何ですか？P P I I N Σ I P iは = 1 、N ≤ NをNNNPPPpipip_iiiiNNN∑ipi=1∑ipi=1\sum_i p_i = 1n≤Nn≤Nn \leq Nγ N / N Pγγ\gammaγγ\gamman/Nn/Nn/Npp\mathbf{p} より多くの洞察を与えるために：すべてのおよび場合、正確に色、つまりが常に表示されます。そうでなければ、それは示すことができることを期待 IS。固定および場合、が均一の場合、を乗算する係数は最大になると思われます。多分、見られる異なる色の予想数は、関数として、たとえばエントロピーとして制限されますか？N=PN=PN = Ppi=1/Ppi=1/Pp_i = 1/Piiinnnγ=P(n/N)γ=P(n/N)\gamma = P (n/N)γγ\gamma>P(n/N)>P(n/N)>P(n/N)PPPNNNn/Nn/Nn/Npp\mathbf{p}n/Nn/Nn/Npp\mathbf{p} これは、サンプリングが置換なしで実行され、クーポンの配布が均一ではないことを除いて、クーポンコレクターの問題に関連しているようです。

15 probability expected-value coupon-collector-problem

4

条件付き確率の直観をどのように開発しますか？

iTunesとYouTubeにあるハーバードの統計110：確率コースのビデオ講義で、この問題に遭遇しました。ここに要約しようとしました：標準のデッキからランダムな2枚のカードのハンドが与えられたとします。少なくとも1つのエースがある場合、両方のカードがエースである確率はどのくらいですか？ P(both aces|have ace)=P(both aces,have ace)P(have ace)P(both aces|have ace)=P(both aces,have ace)P(have ace) P(both\ aces | have\ ace) = \frac{P(both\ aces, have\ ace)}{P(have\ ace)} 両方のエースを持っている場合、少なくとも1つのエースを持っていることが暗示されるので、交差点はP(both aces)P(both aces)P(both\ aces) P(both aces|have ace)=P(both aces)P(have ace)P(both aces|have ace)=P(both aces)P(have ace) P(both\ aces | have\ ace) = \frac{P(both\ aces)}{P(have\ ace)} これはまさに P(both …

15 probability conditional-probability intuition

4

飛行機事故のクラスターはどのくらい奇妙ですか？

元の質問（7/25/14）：ニュースメディアからのこの引用は意味がありますか、それとも最近の飛行機事故の相次ぐ統計を見るためのより良い統計的方法がありますか？ただし、Barnettはポアソン分布の理論にも注意を向けています。これは、衝突間の短い間隔が実際には長い衝突よりも可能性が高いことを意味します。「1年に平均1つの致命的な事故があると仮定します。これは、特定の日にクラッシュする可能性が365に1つであることを意味します」とバーネットは言います。「8月1日にクラッシュが発生した場合、次のクラッシュが8月2日に1日発生する可能性は1/365です。しかし、次のクラッシュが8月3日に発生する可能性は（364/365）x（1/365）です、次のクラッシュは8月3日に発生するのは、8月2日にクラッシュが発生しない場合のみです。」「直観に反するように思えますが、結論は確率の法則から容赦なく続きます」とバーネットは言います。出典：http : //www.bbc.com/news/magazine-28481060 明確化（14/27/14）：（私にとって）直観に反することは、まれなイベントは近いうちに発生する傾向があるということです。直観的には、まれな出来事はすぐには起こらないと思います。誰かがポアソン分布の仮定の下でのイベント間の時間の理論的または経験的な予想される分布を指摘できますか？（つまり、y軸は頻度または確率であり、x軸は日、週、月、または年などにグループ化された2つの連続した発生間の時間であるヒストグラムです。）ありがとう。明確化（14年7月28日）：見出しは、間隔が広い事故よりも事故のクラスターがある可能性が高いことを示しています。それを運用可能にします。クラスターが3回の飛行機事故であり、短い期間が3か月、長い期間が3年であるとします。3年の期間内よりも3か月の期間内に3つの事故が発生する可能性が高いと考えるのは非論理的なようです。仮に最初の事故を想定したとしても、今後3年以内に比べて今後3か月以内にさらに2つの事故が発生すると考えるのは非論理的です。それが本当なら、ニュースメディアの見出しは誤解を招き、間違っています。何か不足していますか？

15 probability poisson-distribution

タグ付けされた質問 「probability」

タグ付けされた質問「probability」