タグ付けされた質問 「probability-inequalities」

確率不等式は、他の方法では計算が難しいかもしれない境界数量に役立ちます。関連する概念は集中不等式であり、これは確率変数が特定の値からどれだけ離れているかについての限界を具体的に提供します。

2
確率不等式
無制限のランダム変数の合計の確率不等式を探しています。誰かが私にいくつかの考えを提供できるなら、本当に感謝しています。 私の問題は、実際には2つのiidガウスの乗算である無制限のiid確率変数の合計が特定の値、つまりを超える確率に関する指数の上限を見つけることです。、、とからIIDが生成される。Pr[X≥ϵσ2N]≤exp(?)Pr[X≥ϵσ2N]≤exp⁡(?)\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)X=∑Ni=1wiviX=∑i=1NwiviX = \sum_{i=1}^{N} w_iv_iwiwiw_iviviv_iN(0,σ)N(0,σ)\mathcal{N}(0, \sigma) モーメント生成関数（MGF）を使用してChernoff境界を使用しようとしましたが、派生境界は次のようになります。 Pr[X≥ϵσ2N]≤=minsexp(−sϵσ2N)gX(s)exp(−N2(1+4ϵ2−−−−−−√−1+log(1+4ϵ2−−−−−−√−1)−log(2ϵ2)))Pr[X≥ϵσ2N]≤minsexp⁡(−sϵσ2N)gX(s)=exp⁡(−N2(1+4ϵ2−1+log⁡(1+4ϵ2−1)−log⁡(2ϵ2)))\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray} ここで、gX(s)=(11−σ4s2)N2gX(s)=(11−σ4s2)N2g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}はXのMGFですXXX。しかし、限界はそれほど厳しくありません。私の問題の主な問題は、ランダム変数が制限されていないことであり、残念ながら、ヘフディング不等式の境界を使用することはできません。 あなたが私にいくつかのきつい指数関数的境界を見つけるのを手伝ってくれれば幸いです。
2
片側チェビシェフ不等式のサンプルバージョンは存在しますか？
チェビシェフ不等式の次の片側Cantelli版に興味があります。 P(X−E(X)≥t)≤Var(X)Var(X)+t2.P(X−E(X)≥t)≤Var(X)Var(X)+t2. \mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,. 基本的に、母平均と分散がわかっている場合、特定の値を観測する確率の上限を計算できます。（少なくとも私の理解はそうでした。） ただし、実際の母集団の平均と分散の代わりに、標本の平均と標本の分散を使用したいと思います。 これにより不確実性が高まるため、上限が増加すると推測しています。 上記に類似した不等式はありますが、サンプルの平均と分散を使用していますか？ 編集：チェビシェフ不等式の「サンプル」アナログ（片面ではない）が作成されました。Wikipediaのページには、いくつかの詳細を持っています。ただし、上記の片側のケースにどのように変換されるかはわかりません。
1
二項分布関数が制限ポアソン分布関数より上/下にあるのはいつですか？
ましょパラメータを持つ二項分布関数（DF）を示しとで評価： \ begin {equation} B（n、p、r）= \ sum_ {i = 0} ^ r \ binom {n} {i} p ^ i（1-p）^ {ni}、\ end {equation } およびF（\ nu、r）が、パラメーター\ a \ in \ mathbb R ^ +で評価されたポアソンDFを表し、r \ in \ {0,1,2、\ ldots \}で評価されます： \ begin {equation} F（a 、r）= e ^ {-a} \ sum_ {i …
4
クーポンコレクター時間の厳密な下限とは何ですか？
古典的なクーポンコレクターの問題では、ランダムに選択されたクーポンのセットを完了するのに必要な時間が、および満たすことがよく知られています。。TTTnnnE[T]∼nlnnE[T]∼nln⁡nE[T] \sim n \ln n Var(T)∼n2Var(T)∼n2Var(T) \sim n^2Pr(T&gt;nlnn+cn)&lt;e−cPr(T&gt;nln⁡n+cn)&lt;e−c\Pr(T > n \ln n + cn) < e^{-c} この上限は、おおよそ1 / c ^ 2になるチェビシェフ不等式によって与えられる上限よりも優れてい 1/c21/c21/c^2ます。 私の質問は次のとおりです。よりも良い-チェビシェフが対応している下限のためのTTT？（たとえば、Pr(T&lt;nlnn−cn)&lt;e−cPr(T&lt;nln⁡n−cn)&lt;e−c\Pr(T < n \ln n - cn) < e^{-c}）？
1
統計学習理論では、テストセットに過剰適合の問題はありませんか？
MNISTデータセットの分類に関する問題を考えてみましょう。 Yann LeCunのMNIST Webページによると、「Ciresan et al。」畳み込みニューラルネットワークを使用したMNISTテストセットで0.23％のエラー率を得ました。 レッツとして示すMNISTトレーニングセット、としてMNISTテストセット、最終的な仮説は、彼らが使用して得られたとして、およびMNIST試験に彼らの誤り率が使用して設定のようにE t e s t（h 1）= 0.0023。DtrainDtrainD_{train}DtestDtestD_{test}DtrainDtrainD_{train}h1h1h_{1}h1h1h_{1}Etest(h1)=0.0023Etest(h1)=0.0023E_{test}(h_{1}) = 0.0023 彼らの観点では、DtestDtestD_{test}はh1h1h_{1}に関係なく入力空間からランダムにサンプリングされたテストセットであるため、最終仮説サンプル外エラーパフォーマンスはEout(h1)Eout(h1）E_{out}(h_{1})次のように制限されると主張できますHoeffdingの不等式 N個のT E S T = | D t e s t | 。P[|Eout(h1)−Etest(h1)|&lt;ϵ|]≥1−2e2ϵ2NtestP[|Eout(h1)−Etest(h1)|&lt;ϵ|]≥1−2e2ϵ2Ntest P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}} Ntest=|Dtest|Ntest=|Dtest|N_{test}=|D_{test}| 換言すれば、少なくとも確率が、 E O U T（H 1）≤ E T E S T（H …
1
モーメント生成関数の限界
この質問は、モーメント生成関数（MGF）の限界についてここで質問されたものから生じます。 仮定バツバツX有界ゼロ平均ランダム変数に値を取っている [ - σ、σ][−σ、σ][-\sigma, \sigma]とlet G （t ）= E[ et X]G（t）=E[etバツ]G(t) = E[e^{tX}]であり、そのMGFを。Hoeffdingの不等式の証明に使用される結合した、我々はその G （t ）= E[ et X] ≤ Eσ2t2/ 2G（t）=E[etバツ]≤eσ2t2/2G(t) = E[e^{tX}] \leq e^{\sigma^2t^2/2} ここで、右側は標準偏差σσ\sigmaゼロ平均正規確率変数のMGFとして認識できます。今の標準偏差バツバツXより大きくなることはできませんσσ\sigmaときに最大値が発生すると、バツバツX例えば、その離散ランダム変数である P{ X= σ} = P{ X= - σ} = 12P{バツ=σ}=P{バツ=−σ}=12P\{X = \sigma\} = P\{X = -\sigma\} = \frac{1}{2}。したがって、参照される境界は、ゼロ平均有界確率変数バツバツXのMGFは、標準偏差がバツバツXが取りうる最大の標準偏差に等しいゼロ平均正規確率変数のMGFによって上に制限されると考えることができます持ってる。 私の質問は次のとおりです。これは、Hoeffdingの不等式の証明以外の場所で使用される独立した関心のよく知られた結果であり、もしそうなら、非ゼロの平均でランダム変数に拡張することも知られていますか？ プロンプトは、この質問は、その結果、非対称範囲でき[ a 、b …
1
Oracle不等式：基本的に
私はオラクルの不平等を使って何かを証明する論文を読んでいますが、それが何をしようとしているかを理解することはできません。「Oracle Inequality」についてオンラインで検索したところ、「Candes、Emmanuel J.「オラクル不平等による現代の統計的推定」という記事に導かれた情報源がありました。" https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdfにあります。しかし、この本は私には重すぎるように思われ、いくつかの前提条件が欠けていると思います。 私の質問は次のとおりです。オラクルの不等式が数学以外の専攻（エンジニアを含む）にどのように説明しますか？第二に、上記の本のようなものを学ぶ前に、前提条件/トピックについてどのように推奨するか。 具体的に把握し、高次元統計の経験が豊富な人に答えてもらうことを強くお勧めします。
1
Borel-Cantelli Lemmaに関連する質問
注意： Borel-Cantelli Lemmaは次のように述べています ∑n=1∞P(An)&lt;∞⇒P(limsupAn)=0∑n=1∞P(An)&lt;∞⇒P(limsupAn)=0\sum_{n=1}^\infty P(A_n) \lt \infty \Rightarrow P(\lim\sup A_n)=0 ∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1\sum_{n=1}^\infty P(A_n) =\infty \textrm{ and } A_n\textrm{'s are independent} \Rightarrow P(\lim\sup A_n)=1 次に、 もし∑n=1∞P(AnAcn+1)&lt;∞∑n=1∞P(AnAn+1c)&lt;∞\sum_{n=1}^\infty P(A_nA_{n+1}^c )\lt \infty Borel-Cantelli Lemmaを使用して それを見せたい まず、 存在limn→∞P(An)limn→∞P(An)\lim_{n\to \infty}P(A_n) 第二に、 limn→∞P(An)=P(limsupAn)limn→∞P(An)=P(limsupAn)\lim_{n\to \infty}P(A_n) =P(\lim\sup A_n) これら2つの部分を見せてください。ありがとうございました。
1
特別な確率分布
場合非ゼロ値を有する確率分布が上にあるp(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)、どのような種類の（S）のためのp(x)p(x)p(x)の定数が存在するc&gt;0c&gt;0c\gt 0よう ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2すべてについて0&lt;ϵ&lt;10&lt;ϵ&lt;10\lt\epsilon\lt 1？ 上記の不等式は、実際には分布p(x)p(x)p(x)とその圧縮バージョン間のカルバック・ライブラー発散(1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)})です。この不等式は指数分布、ガンマ分布、ワイブル分布に当てはまることがわかり、それがより大きなクラスの確率分布に有効かどうかを知りたいと思っています。 その不平等が何を意味するのか考えていますか？
3
確率の収束について
ましょう{Xn}n≥1{Xn}n≥1\{X_n\}_{n\geq 1}ランダム変数STの配列であるXn→aXn→aX_n \to a確率で&gt; 0は固定された定数です。私は次を見せようとしています： √a&gt;0a&gt;0a>0Xn−−−√→a−−√Xn→a\sqrt{X_n} \to \sqrt{a} と aXn→1aXn→1\frac{a}{X_n}\to 1 両方の確率。私の論理が健全かどうかを確認するためにここにいます これが私の仕事です 試行 最初の部分については、我々は持っています |Xn−−−√−a−−√|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn−−−√+a−−√|=ϵ|(Xn−−−√−sqrta)+2a−−√||Xn−a|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn+a|=ϵ|(Xn−sqrta)+2a||\sqrt{X_n}-\sqrt{a}|<\epsilon \impliedby |X_n-a|<\epsilon|\sqrt{X_n}+\sqrt{a}|=\epsilon|(\sqrt{X_n}-sqrt{a})+2\sqrt{a}| ≤ϵ|Xn−−−√−a−−√|+2ϵa−−√&lt;ϵ2+2ϵa−−√≤ϵ|Xn−a|+2ϵa&lt;ϵ2+2ϵa\leq \epsilon|\sqrt{X_n}-\sqrt{a}|+2\epsilon\sqrt{a}<\epsilon^2+2\epsilon\sqrt{a} お知らせ ϵ2+2ϵa−−√&gt;ϵa−−√ϵ2+2ϵa&gt;ϵa\epsilon^2+2\epsilon\sqrt{a}>\epsilon\sqrt{a} その後、 P(|Xn−−−√−a−−√|≤ϵ)≥P(|Xn−a|≤ϵa−−√)→1asn→∞P(|Xn−a|≤ϵ)≥P(|Xn−a|≤ϵa)→1asn→∞P(|\sqrt{X_n}-\sqrt{a}|\leq \epsilon)\geq P(|X_n-a|\leq \epsilon\sqrt{a})\to 1 \;\;as\;n\to\infty ⟹Xn−−−√→a−−√inprobability⟹Xn→ainprobability\implies \sqrt{X_n}\to\sqrt{a} \;\;in\;probability 第二部については、 |aXn−1|=|Xn−aXn|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn||aXn−1|=|Xn−aXn|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn||\frac{a}{X_n}-1|=|\frac{X_n-a}{X_n}|<\epsilon \impliedby |X_n-a|<\epsilon|X_n| ここで、Xn→aXn→aX_n \to a asn→∞n→∞n \to \infty、XnXnX_nは有界シーケンスです。つまり、実数が存在するM&lt;∞M&lt;∞M<\infty STは|Xn|≤M|Xn|≤M|X_n|\leq M。したがって、 確率で見ると、 P （| a|Xn−a|&lt;ϵ|Xn|⟸|Xn−a|&lt;ϵM|Xn−a|&lt;ϵ|Xn|⟸|Xn−a|&lt;ϵM|X_n-a|<\epsilon|X_n|\impliedby |X_n-a|<\epsilon MP(|aXn−1|&gt;ϵ)=P(|Xn−a|&gt;ϵ|Xn|)≤P(|Xn−a|&gt;ϵM)→0asn→∞P(|aXn−1|&gt;ϵ)=P(|Xn−a|&gt;ϵ|Xn|)≤P(|Xn−a|&gt;ϵM)→0asn→∞P(|\frac{a}{X_n}-1|>\epsilon)=P(|X_n-a|>\epsilon|X_n|)\leq …
3
指数の上限
分布を持つIIDランダム変数とします。私たちは、のサンプルを観察しようとしている 'は次のように秒：聞かせて独立していること確率変数、と仮定し、すべてのことをさんとさん独立しており、サンプルサイズを定義します。さんは、のかを示すサンプルであるS '、我々はによって定義されたサンプル中の成功の割合を勉強したいです X1,…,XnX1,…,XnX_1,\dots,X_nBer(θ)Ber(θ)\mathrm{Ber}(\theta)XiXiX_iY1,…,YnY1,…,YnY_1,\dots,Y_nBer(1/2)Ber(1/2)\mathrm{Ber}(1/2)XiXiX_iYiYiY_iN=∑ni=1YiN=∑i=1nYiN=\sum_{i=1}^n Y_iYiYiY_iXiXiX_iZ={1N∑ni=1XiYi0ifN&gt;0,ifN=0.Z={1N∑i=1nXiYiifN&gt;0,0ifN=0. Z = \begin{cases} \frac{1}{N}\sum_{i=1}^n X_i Y_i & \text{if}\quad N > 0\, , \\ 0 & \text{if} \quad N = 0 \, . \end{cases} のために、我々は上に向かう見つけたいで指数関数的に減衰する。Hoeffdingの不等式は、変数間の依存関係のため、すぐには適用されません。ϵ&gt;0ϵ&gt;0\epsilon>0Pr(Z≥θ+ϵ)Pr(Z≥θ+ϵ)\mathrm{Pr}\!\left(Z \geq \theta + \epsilon\right)nnn
1
測定濃度の不等式を理解する
この質問の精神で、ヘフディングの不平等で使用される補題の証明を理解することで、私はヘフディングの不平等につながるステップを理解しようとしています。 証明で私にとって最も謎になっているのは、指数変数がiid変数の合計に対して計算され、その後マルコフの不等式が適用される部分です。 私の目標は理解することです。なぜこの手法は厳しい不平等をもたらすのでしょうか。典型的な説明は、指数のプロパティを生成する瞬間を指します。しかし、これはあまりにもあいまいです。 Taoのブログhttp://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeffの投稿には、いくつかの回答が含まれている場合があります。 この目標を念頭に置いて、私の質問は、私が立ち往生しているタオの投稿の3つのポイントについてであり、一度説明した洞察を与えることができると思います。 Taoは、k番目のモーメントを使用して、次の不等式を導き出し これは、任意のkに対して真であれば、彼は束縛指数を終了します。これは私が迷っているところです。 P（|SN|≥λ√P(|Sn|≥λn−−√)≤2(ek/2−−−−√λ)k. (7)P(|Sn|≥λn)≤2(ek/2λ)k. (7)\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)P（ | Sn| ≥λ nは−−√）≤ Cexp（- C λ2）（8 ） P(|Sn|≥λn)≤Cexp⁡(−cλ2) (8)\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) …
1
より高いモーメントの片側チェビシェフ不等式
片側の場合のチェビシェフの不等式のより高い瞬間に類似したものはありますか？ チェビシェフ-カンテリの不等式は分散に対してのみ機能するように見えますが、チェビシェフの不等式はすべての指数に対して簡単に生成できます。 誰もがより高い瞬間を使用して一方的な不平等を知っていますか？
1
ヘッフディングの不等式で使用される補題の証明を理解する
ラリー・ワッサーマンのカセリャとバーガーを主要なテキストとして使用する統計学に関する講義ノートを研究しています。私は彼の講義ノートセット2に取り組んでいますが、ヘッフディングの不等式で使用される補題の導出に行き詰まりました（pp.2-3）。以下の注記で証明を再現しています。証明の後で、どこに行き詰まっているのかを指摘します。 補題 仮定するE(X)=0E(X)=0\mathbb{E}(X) = 0とすることを≤ X ≤ B。次いで、 E（E T X）≤ E T 2（B - A ）2 / 8。a≤X≤ba≤X≤b a \le X \le bE(etX)≤et2(b−a)2/8E(etX)≤et2(b−a)2/8\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8} 証明 以来≤ X ≤ B、我々は書くことができるXを凸状の組合せとして及びB、すなわち X = α B + （1 - α ）Aここで、α = X - Aa≤X≤ba≤X≤ba \le X \le bXXXaaabbbX=αb+(1−α)aX=αb+(1−α)aX = …
2
凸状の順序付けは、右尾の優位性を意味しますか？
2つの連続分布と与えられた場合、それらの間の凸支配の関係がどうかはわかりません：FバツFX\mathcal{F}_XFYFY\mathcal{F}_Y （0 ）Fバツ&lt;cFY(0)FX&lt;cFY(0)\quad \mathcal{F}_X <_c \mathcal{F}_Y ことを意味します （1 ）F− 1Y（q）≤ F− 1バツ（q）、∀ Q∈ [ 0.5 、1 ](1)FY−1(q)≤FX−1(q),∀q∈[0.5,1](1)\quad F_Y^{-1}(q) \leq F_X^{-1}(q),\quad \forall q\in[0.5,1] が成立するか、が成立する場合、さらに仮説が必要か？（1 ）(1)(1) 凸支配の定義。 2つの連続分布および条件を満たす場合：FバツFX\mathcal{F}_XFYFY\mathcal{F}_Y （2 ）F− 1YFバツ（xは） に凸状である X(2)FY−1FX(x) is convex in x(2)\quad F_Y^{-1}F_X(x)\text{ is convex in } x [0]それから私達は書きます： Fバツ&lt;cFYFX&lt;cFYF_X <_c F_Y そして、はよりも右に歪んでいると言います。およびは確率分布であるため、は、の導関数が単調に非減少かつ非負[1]であることも、その は凸型[2]であり、と互いに最大で2回交差します [2]とその[2]、：F X F …
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.