統計とビッグデータ probability

1

このサイトでは、確率積分変換の証明が複数回行われていることを知っています。しかし、私が見つけた証明はCDFがFX(x)FX(x)F_X(x) 厳密に増加しています（もちろん、一緒に、 XXXは連続確率変数です）。実際に必要な唯一の仮説はXXXは連続確率変数であり、厳密な単調性は必要ありません。方法を教えてください。私はすでにここにいるので、機会に確率積分変換の簡単な適用を依頼することもできます:) XXX CDFあり FX(x)FX(x)F_X(x) そして YYY の切り捨てです XXX に [a,b][a,b][a,b]、その後 YYY として配布されます F−1X(U)FX−1(U)F_X^{-1}(U) どこ U∼[FX(a),FX(b)]U∼[FX(a),FX(b)]U\sim[F_X(a),F_X(b)]？

9 probability cdf

2

共分散の全法則の解釈

せて同一の確率空間上に定義された確率変数であるとの共分散させ、X及びYが有限で、合計共分散/共分散分解式状態の次に法則： Covを（X 、Y ）= E [ Covを（X 、Y | Z ）] ⏟（i） + Cov [ E（X | Z ）、E（Y | Z ）]X,Y,ZX,Y,ZX,Y,ZXXXYYY の解釈は何であると？Cov(X,Y)=E[Cov(X,Y|Z)](i)+Cov[E(X|Z),E(Y|Z)](ii)Cov(X,Y)=E[Cov(X,Y|Z)]⏟(i)+Cov[E(X|Z),E(Y|Z)]⏟(ii)\begin{align} \text{Cov}(X,Y)=\underbrace{\mathbb{E}\big[\text{Cov}(X,Y\lvert Z)\big]}_{\text{(i)}}+\underbrace{\text{Cov}\big[\mathbb{E}(X\lvert Z),\mathbb{E}(Y\lvert Z)\big]}_{\text{(ii)}} \end{align}（ⅱ）(i)(i)\text{(i)}(ii)(ii)\text{(ii)} 私の考えは：（II）は、2つの条件付き期待値がランダム変数として自分自身を見ることができますに、私はまた、この設定によって示すことができる全分散/分散分解式の法則を一般化したものであることを知っている、解釈ばらつきの次にであるにより説明によって、および原因不明。しかし、上記の（i）と（ii）の共分散式の正しい解釈は何ですか？ウィキペディアは、あまり満足のいくものではない簡単な説明を提供しています。Y Z ZX=YX=YX=YYYYZZZZZZ

9 probability covariance variance-decomposition

3

ベイジアンはどのくらい正確に確率を定義（または解釈）しますか？

ベイジアン対頻度論者を理解しようとする一連の流れの一部：1 2 3 4 5 6 7 ベイジアンと常連がどのように仮説の選択にアプローチするかについては違いがあると思いますが、それが確率をどのように見ているのかを私に説明するのかどうか、どのように説明するのかはよくわかりません。私が理解していることから、Wikiによれば、頻度論者は確率を次のように「定義」しています：確率空間与えられた場合、、、ここで、は実施された試行の数であり、はそれらの試行でAが発生した回数です。∀ A ∈ F P（A ）≈ N A(Ω,F,P)(Ω,F,P)(\Omega, \mathscr{F}, \mathbb{P})∀A∈F∀A∈F\forall A \in \mathscr{F} ntnAP(A)≈nAntP(A)≈nAnt\mathbb{P}(A) \approx \frac{n_A}{n_t}ntntn_tnAnAn_A さらに、です。P(A)=limnt→∞nAntP(A)=limnt→∞nAnt\mathbb{P}(A) = \lim_{n_t \to \infty} \frac{n_A}{n_t} では、ベイジアンはどのように確率を定義するのでしょうか？上記は、確率を定義することに加えて、イベントの確率を計算する1つのアプローチのようです。ベイジアンは事前確率を仮定し、いくつかの試行を行ってから確率を更新するように見えますが、それが実際に確率がどのように定義されているかを説明しているようには見えません。 Wikiは、「ベイジアン確率は、知識の状態または信念の状態を表す目的で割り当てる量です」と述べています。どういう意味ですか？州は同義語ですか？たとえば、特定のコインが公正であるというウォルターの信念の状態は0.1で表され、同じコインが公正であるというジェシーの信念の状態は0.2で表されます。新しい情報があれば、ウォルターの信念の状態は0.96になり、ジェシーの信念の状態は0.03になる可能性があります。それで、当初、ウォルターはコインが公正であると信じる傾向が少なかったが、後にジェシーはコインが公正であると信じる傾向が強くなったのだろうか？上記のような常連客のようなシンボルに関して何かを期待しています。同じWikiページでは、「確率のベイジアン解釈は、仮説、つまり真理または誤りが不確かな命題を用いた推論を可能にする命題論理の拡張と見なすことができます」と述べています。それぞれブール論理。

9 probability bayesian frequentist definition philosophical

1

以下のための閉じた形のために、

我々が知っている場合p∼Beta(α,β)p∼Beta(α,β)p \sim Beta(\alpha, \beta)、次いで E[lnp]=ψ(α)−ψ(α+β)E[ln⁡p]=ψ(α)−ψ(α+β) \mathbb{E}[\ln p] = \psi(\alpha) - \psi(\alpha + \beta) ここでψ(.)ψ(.)\psi(.)ディガンマ関数です。\ mathbb {E} [\ ln（1-p）]の簡単な形式はあり E[ln(1−p)]E[ln⁡(1−p)] \mathbb{E}[\ln (1-p)]ますか？

9 probability distributions beta-distribution

1

QQプロットの均一分布から観測された期待値と期待されるp値を計算する

インフレの度合い（つまり、観測されたデータポイントが予想にどの程度適合するか）を定量化しようとしています。1つの方法は、QQプロットを見ることです。しかし、インフレの数値指標を計算したいと思います。つまり、観測された値が理論上の均一分布にどれだけよく適合するかを意味します。データの例： # random uniform distribution pvalue <- runif(100, min=0, max=1) # with inflation expected i.e. not uniform distribution pvalue1 <- rnorm(100, mean = 0.5, sd=0.1)

9 probability distributions qq-plot

1

ベイジアン95％予測区間の解釈

次の二変量回帰モデルを仮定 IIDであるのために。U 、I N （0 、σ 2 = 9 ）I = 1 、... 、n個y私= βバツ私+ u私、yi=βxi+ui, y_i = \beta x_i + u_i, あなた私uiu_iN（0 、σ2= 9 ）N(0,σ2=9)N(0, \sigma^2 = 9)i = 1 、… 、ni=1,…,ni = 1,\ldots, n noninformative前想定、のための事後PDFことを示すことができるであるここでβ P （β | Y）= （18 π ）- 1p （β）∝ 定数p(β)∝constantp(\beta) \propto \text{constant}ββ\beta …

9 probability self-study bayesian confidence-interval credible-interval

2

ハイパーラインからの距離に応じたSVM信頼度

9 probability classification svm unsupervised-learning uncertainty

1

離散一様確率変数間の間隔

LETこと（0,1）上の離散一様確率変数のIIDとその順序統計量があること。 n U （1 ）、… 、U （n ）U1、… 、UんU1,…,UnU_1, \ldots, U_nんnnU（1 ）、… 、U（n ）U(1),…,U(n)U_{(1)}, \ldots, U_{(n)} 定義のためにと。 i = 1 、… 、n U 0 = 0D私= U（私）− U（i − 1 ）D私=U（私）−U（私−1）D_i=U_{(i)}-U_{(i-1)}i = 1 、… 、n私=1、…、んi=1, \ldots, nU0= 0U0=0U_0=0 私はの共同分布とそれらの限界分布、そしておそらくそれらの最初の数瞬間を理解しようとしています。誰かがこれについていくつかのヒントを与えることができますか？また、注文統計に関する本をお勧めしてもらえますか？U私U私U_i

9 probability distributions order-statistics joint-distribution

4

ベイズ分類器の誤差を分析的に計算する

2つのクラスとw 2が既知のパラメーター（それらの平均として、と、はそれらの共分散）を持つ正規分布を持っている場合、それらのベイズ分類器の誤差を理論的にどのように計算できますか？w1w1w_1w2w2w_2M 2 Σ 1 Σ 2M1M1M_1M2M2M_2Σ1Σ1\Sigma_1Σ2Σ2\Sigma_2 また、変数がN次元空間にあるとします。注：この質問のコピーはhttps://math.stackexchange.com/q/11891/4051からも入手できますが、未回答です。これらの質問のいずれかが回答されると、他の質問は削除されます。

9 probability self-study normality-assumption naive-bayes bayes-optimal-classifier

1

スコア関数の背後にある直感は何ですか？[重複]

この質問にはすでに回答があります：フィッシャー情報とはどのような情報ですか？（3つの答え） 7か月前に閉鎖。 Wikipediaは、スコアがCramér–Raoの不等式で重要な役割を果たすことを教えています。また、定義を次のように表現しています。 V=∂∂θログL （θ ; X）V=∂∂θlog⁡L(θ;X)V = \frac{\partial}{\partial \theta} \log{L(\theta; X)} しかし、この量が何を表しているのかを直感的に説明することはできません。明らかに、それはどういうわけかθθ\theta 観測データの対数尤度に影響しますバツXX、しかしそれは正確にはどういう意味ですか？ウィキペディアの記事では、期待値が E[V∣θ]=0E[V∣θ]=0\mathbb{E} [V \mid \theta] = 0。これはどういうわけか解釈できますか？少し進んで、クラスでフィッシャーの情報（私も直感的に理解していない）は I(θ)=E[V2∣θ]I(θ)=E[V2∣θ]I(\theta) = \mathbb{E} [V^2 \mid \theta]。と組み合わせE[V∣θ]=0E[V∣θ]=0\mathbb{E} [V \mid \theta] = 0 それは意味します I(θ)=Var[V]I(θ)=Var[V]I(\theta) = \text{Var}[V]、これは正しいです？前もって感謝します。 PS：これは宿題ではありません。

9 intuition probability

5

Coxの2つのルールからP（C | A + B）を導出する

私はETジェインズの本の確率論-科学の論理-を通して自分のやり方（自習）をしています元の問題演習2.1では、「[式類似した一般式を見つけることはできますか ]積と合計のルールから。そうである場合はそれを導き出し、そうでない場合は、これを実行できない理由を説明してください。」p （C| A+B）p(C|A+B)p(C|A+B)p （A + B | C）= p （A | C）+ p （B | C）− p （A B | C）p(A+B|C)=p(A|C)+p(B|C)−p(AB|C)p(A+B|C)=p(A|C)+p(B|C)-p(AB|C) ギブンズ私が使用しなければならないルールは次のとおりです。 p （A B | C）= p （A | C）p （B | A C）= p （B | C）p （A | B C）p(AB|C)=p(A|C)p(B|AC)=p(B|C)p(A|BC)p(AB | C) = …

9 probability bayesian self-study conditional-probability

3

PMFに0が含まれている場合のカルバックライブラーダイバージェンスの計算方法

私は次の時系列を持っています以下に投稿されたデータを使用して取得されます。スライディングウィンドウのサイズが10の場合、現在のスライディングウィンドウ内の値のPMFと履歴のPMFの間のKLダイバージェンスを計算して、KLダイバージェンスの値を経時的にプロットするという最終目標を設定して、 2つの時系列を比較できます。今のところ、私が直面している概念的な問題があります（Pythonを使用して説明します）。 In [228]: samples = [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1] # In reality this 10 should be 20 because that is the max value I have seen in the timeseries In [229]: bins = scipy.linspace(0, 10, 21) In [230]: bins …

9 time-series probability multivariate-analysis histogram kullback-leibler

3

logit-係数を確率として解釈する

重要な情報が不足しているようです。ロジスティック回帰の係数は、ロジットスケールと呼ばれるlog（odds）にあることを知っています。したがって、それらを解釈するためにexp(coef)採用され、オッズ比ORが得られます。もし β1=0.012β1=0.012\beta_1 = 0.012 解釈は次のとおりです。共変量の1単位の増加 X1X1X_1、ログオッズ比は0.012です。これは、意味のある情報を提供しません。べき乗により、共変量が1単位増加します。 X1X1X_1、オッズ比は1.012（exp(0.012)=1.012exp⁡(0.012)=1.012\exp(0.012)=1.012）、または Y=1Y=1Y=1 よりも1.012高い可能性があります Y=0Y=0Y=0。ただし、係数はパーセンテージで表現したいと思います。GelmanとHillによると、回帰とマルチレベル/階層モデルを使用したデータ分析、111ページ：係数βは累乗され、乗法効果として扱われます。」したがって、β1= 0.012の場合、「予想される乗法的増加はexp（0.012）= 1.012、または1.2％の正の差... しかし、私のスクリプトによると ODDS=p1−pODDS=p1−p\text{ODDS} = \frac{p}{1-p} と逆ロジット式の状態 P=OR1+OR=1.0122.012=0.502P=OR1+OR=1.0122.012=0.502 P=\frac{OR}{1+OR}=\frac{1.012}{2.012}= 0.502 共変量が1単位増えると、Y = 1の確率が50％増えると解釈したくなります。これは間違っていると思いますが、理由はわかりません。ロジット係数は確率でどのように解釈できますか？

9 probability logistic binary-data logit odds-ratio

4

ワームとアップルの期待値

リンゴは五角形A B C D Eの頂点AAAにあり、ワームは2つの頂点Cにあります。ワームは毎日、隣接する2つの頂点の1つと同じ確率でクロールします。したがって1日後にワームが頂点であるB又はD確率でそれぞれ、1 / 2。2日後、以前の位置の記憶がないため、ワームは再びCに戻る可能性があります。頂点Aに到達すると、食事を停止します。ABCDEABCDEABCDECCCBBBDDD1/21/21/2CCCAAA （a）夕食までの日数の平均は何ですか？（b）日数が100100100以上になる確率をpとする。マルコフの不等式はについて何と言っていpppますか？（a）について、XXX夕食までの日数で定義された確率変数とします。したがって、P(X=0)=0P(X=1)=0P(X=2)=1(52)⋮P(X=0)=0P(X=1)=0P(X=2)=1(52)⋮ P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots 一般的な分布はどうなりますか？（b）の場合、（a）がわかっていれば、P(X≥100)≤E(X)100P(X≥100)≤E(X)100P(X \geq 100) \leq \frac{E(X)}{100}

8 probability markov-process

3

「共通の」正規分布があるとはどういう意味ですか？

運動の質問は尋ねます LET共通の正規分布を有するRVSことと。すべてのの上部テール依存係数を計算します。バツ1、X2バツ1、バツ2X_1, X_2N（0 、1 ）N（0、1）N(0,1)コア（X1、X2）= ρコア⁡（バツ1、バツ2）=ρ\operatorname{Corr}(X_1, X_2) = \rhoρ ∈ [ - 1 、1 ]ρ∈[−1、1]\rho \in [-1, 1] 「一般的な」正規分布があるとはどういう意味ですか？私の最初の考えは、と両方が一変量正規分散変数であることを意味するということでした。ただし、それが真実である場合、その質問は意味がありません。尾の依存関係は計算できません。バツ1バツ1X_1バツ2バツ2X_2N（0 、1 ）N（0、1）N(0,1) それで、私は「共通の」正規分布によって、それらは二変量正規分布を意味すると信じるように残されていますか？

8 probability random-variable heavy-tailed

タグ付けされた質問 「probability」

タグ付けされた質問「probability」