タグ付けされた質問 「approximation」

片側の場合のチェビシェフの不等式のより高い瞬間に類似したものはありますか？ チェビシェフ-カンテリの不等式は分散に対してのみ機能するように見えますが、チェビシェフの不等式はすべての指数に対して簡単に生成できます。 誰もがより高い瞬間を使用して一方的な不平等を知っていますか？

12 approximation  moments  probability-inequalities 

ここウィキペディアでそれは言う： 値が十分大きい場合（たとえば）、平均と分散（標準偏差）の正規分布は、ポアソン分布の優れた近似です。場合約10より大きい場合、その後、正規分布は、適切な連続性補正が行われた場合、すなわち、良好な近似である（小文字）ここで、負でない整数であることにより、置換されていますλλλλ>1000λ>1000λ>1000λλλλλλλ−−√λ\sqrt{\lambda}λλλP(X≤x),P(X≤x),P(X ≤ x),xxxP(X≤x+0.5).P(X≤x+0.5).P(X ≤ x + 0.5). FPoisson(x;λ)≈Fnormal(x;μ=λ,σ2=λ)FPoisson(x;λ)≈Fnormal(x;μ=λ,σ2=λ)F_\mathrm{Poisson}(x;\lambda) \approx F_\mathrm{normal}(x;\mu=\lambda,\sigma^2=\lambda) 残念ながら、これは引用されていません。私はこれをいくつかの厳密さで示し/証明できるようにしたいです。\ lambda> 1000の場合、正規分布が良い近似であると実際に言うにはどうすればよいですか。この「優れた」近似をどのように定量化し、どの測度を使用しましたか？λ>1000λ>1000\lambda > 1000 私がこれで得た最も遠いところは、ここでジョンがベリーエッセンの定理の使用について話し、2つのCDFのエラーを概算します。私が見ることができることから、彼はλ≥1000λ≥1000\lambda \geq 1000値を試していません。

12 normal-distribution  poisson-distribution  approximation 

私はフィッシャーの正確なテストをよりよく理解したかったので、次のおもちゃの例を考案しました。ここで、fとmは男性と女性に対応し、nとyは次のように「ソーダ消費」に対応します。 > soda_gender f m n 0 5 y 5 0 明らかに、これは大幅な簡略化ですが、コンテキストが邪魔になりたくありませんでした。ここで私は男性がソーダを飲まず、女性がソーダを飲まないと仮定し、統計手順が同じ結論になるかどうかを確認したかっただけです。 Rでフィッシャーの正確検定を実行すると、次の結果が得られます。 > fisher.test(soda_gender) Fisher's Exact Test for Count Data data: soda_gender p-value = 0.007937 alternative hypothesis: true odds ratio is not equal to 1 95 percent confidence interval: 0.0000000 0.4353226 sample estimates: odds ratio 0 ここでは、p値が0.007937であるため、性別とソーダ消費が関連付けられていると結論付けます。 フィッシャーの正確な検定が超幾何分布に関連していることを知っています。だから私はそれを使って同様の結果を得たいと思った。つまり、この問題は次のように表示できます。10個のボールがあり、5個が「男性」、5個が「女性」とラベル付けされており、交換せずに5つのボールをランダムに描画すると、0個の男性ボールが表示されます。 。この観察の可能性は何ですか？この質問に答えるために、次のコマンドを使用しました。 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

この質問は、Martijnのこちらの回答に触発されています。 二項モデルやポアソンモデルのような1つのパラメーターファミリーにGLMを当てはめ、それが（たとえば、準ポアソンとは対照的に）完全な尤度手順であると仮定します。次に、分散は平均の関数です。二項式：およびポアソン。var[X]=E[X]E[1−X]var[X]=E[X]E[1−X]\text{var}[X] = E[X]E[1-X]var[X]=E[X]var[X]=E[X]\text{var}[X] = E[X] 残差が正規分布している場合の線形回帰とは異なり、これらの係数の有限の正確なサンプリング分布は不明であり、結果と共変量のおそらく複雑な組み合わせです。また、GLMの平均の推定値を使用します。これは、結果の分散のプラグイン推定値として使用されます。 ただし、線形回帰と同様に、係数には漸近正規分布があるため、有限標本推論では、それらの標本分布を正規曲線で近似できます。 私の質問は、有限サンプル内の係数のサンプリング分布にT分布近似を使用することで何かを得られるかどうかです。一方で、我々は知っている、ブートストラップやジャックナイフ推定が適切にこれらの矛盾を説明することができるとき、T近似は間違った選択のように思えるので、分散をまだ我々は正確な分布を知りません。一方で、T分布のわずかな保守主義は、​​実際には単純に好まれます。

11 regression  generalized-linear-model  inference  approximation  t-distribution 

私は何気なく、次のような記事（経済学）を読んでいました。ログ（E（X））log⁡(E(X))\log(E(X)) 、ログ（E（X））≈ E（ログ（X））+ 0.5 v a r（ログ（X））log⁡(E(X))≈E(log⁡(X))+0.5var(log⁡(X))\log(E(X)) \approx E(\log(X))+0.5 \mathrm{var}(\log(X)) Xが対数正規であれば（筆者は知っています）、著者が言っていることは正確です。 私が知らないのは、この近似をどのように導出するかです。2次のテイラー近似を計算してみましたが、思いついたのは次の式だけです。 ログ（E（X））≈ E（ログ（X））+ 0.5 v a r（X）E（X）2log⁡(E(X))≈E(log⁡(X))+0.5var(X)E(X)2\log(E(X)) \approx E(\log(X))+0.5\frac{\mathrm{var}(X)}{E(X)^2}

11 lognormal  approximation  taylor-series 

概算するための最良の方法は何だ与えられた二つの整数のためのmは、nはあなたが平均知っているときμ、分散σ 2、歪度γ 1と過剰尖度γ 2離散分布のXを、そしてそれがあります明確な形状の（非ゼロ）測定からγ 1及びγ 2正規近似が適切でないと？Pr[n≤X≤m]Pr[n≤X≤m]Pr[n \leq X \leq m]m,nm,nm,nμμ\muσ2σ2\sigma^2γ1γ1\gamma_1γ2γ2\gamma_2XXXγ1γ1\gamma_1γ2γ2\gamma_2 通常、私は整数補正付きの通常の近似を使用します... Pr[(n−½)≤X≤(m+½)]=Pr[(n−½)−μσ≤Z≤(m+½)−μσ]=Φ((m+½)−μσ)−Φ((n−½)−μσ)Pr[(n−½)≤X≤(m+½)]=Pr[(n−½)−μσ≤Z≤(m+½)−μσ]=Φ((m+½)−μσ)−Φ((n−½)−μσ)Pr[(n - \text{½})\leq X \leq (m + \text{½})] = Pr[\frac{(n - \text{½})-\mu}{\sigma}\leq Z \leq \frac{(m + \text{½})-\mu}{\sigma}] = \Phi(\frac{(m + \text{½})-\mu}{\sigma}) - \Phi(\frac{(n - \text{½})-\mu}{\sigma}) ...歪度と過剰な尖度が0に近い（近い）場合、ただし、ここではそうではありません。 私は、異なる値を有する異なる離散分布に対して複数の近似を実行する必要が及びγ 2。用途があること手順確立があれば調べることに興味がある私はγ 1およびγ 2を正規近似よりも良い近似を選択するためには。γ1γ1\gamma_1γ2γ2\gamma_2γ1γ1\gamma_1γ2γ2\gamma_2

11 probability  distributions  moments  approximation  saddlepoint-approximation 

いくつかの一変量確率変数と関数全体の形式期待値を取ります（つまり、収束の間隔は実線全体です）。E(f(X))E(f(X))E(f(X))XXXf(⋅)f(⋅)f(\cdot) モーメント生成関数があるので、整数モーメントを簡単に計算できます。周りにテイラー級数を使用してから、一連の中心モーメント = f（\ mu）+ \ sum_ {n = 2 } ^ {\ infty} \ frac {f ^ {（n）}（\ mu）} {n！} E \ left [（x-\ mu）^ n \ right] この系列を切り捨て、 E_N（f（x） ）= f（\ mu）+ \ sum_ {n = 2} ^ {N} \ frac {f ^ {（n）}（\ mu）} {n！} E \ …

10 expected-value  approximation 

[a、b]の連続関数（aとbは実数）をガウスプロセス（回帰）で近似するか、関数に（ある基準で）任意に近づけることはできますか？

10 gaussian-process  approximation 

複数の可能な近似がある場合、私は最も基本的なものを探しています。

10 normal-distribution  multinomial  approximation 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

二項分布の正規近似について説明しているほぼすべての教科書は、および場合に近似を使用できるという経験則に言及しています。一部の書籍では、代わりにをます。同じ定数は、 -testでセルをマージするタイミングの説明によく現れます。私が見つけたテキストはどれも、この経験則の正当化または参照を提供していません。N （1 - P ）≥ 5 N P （1 - P ）≥ 5 5 χ 2np≥5np≥5np\geq5n(1−p)≥5n(1−p)≥5n(1-p)\geq 5np(1−p)≥5np(1−p)≥5np(1-p)\geq 5555χ2χ2\chi^2 この定数5はどこから来たのですか？なぜ4または6または10ではないのですか？この経験則はもともとどこに導入されたのですか？

9 normal-distribution  binomial  approximation 

短縮版 独立したポアソンドローと、置換の有無にかかわらずさらにサンプリングすることで得られる複合的な可能性を分析的に解決または近似しようとしています（実際にはどちらでもかまいません）。MCMC（Stan）で尤度を使用したいので、定数項までの解だけが必要です。最終的に、私は最初のドローがネガからであるプロセスをモデル化したいと思います。二項分布ですが、ポアソンのケースの解決策でそこに到達できると思います。 解決策が実行不可能である可能性は十分にあります（これが単純な問題か非常に難しい問題かを判断できるほど数学を理解していません）。したがって、問題がおそらく扱いにくい理由（たとえば、既知の困難な問題と比較する）の近似、否定的な結果、または直感にも興味があります。私が前進するのに役立つ有用なペーパー/定理/トリックへのリンクは、目前の問題へのそれらの関係が完全にうまくいかなくても、良い答えです。 公式声明 より正式には、まずY=(y1,...,yN),yn∼Pois(λn)Y=(y1,...,yN),yn∼Pois(λn)Y = (y_1, ..., y_N), y_n \sim Pois(\lambda_n)独立して引き出され、次いでIサンプルの全てからランダムにアイテム得るために。つまり、壷から色のボールを描画します。ここで、色のボールの量はから描画されます。ここで、は既知で固定されていると仮定し、Y Z = （Z 1、。。。、Z N）K N P 、O 、I S （λ N）K Σ N Y N ≥ KkkkYYYZ=(z1,...,zN)Z=(z1,...,zN)Z = (z_1,...,z_N)kkknnnPois(λn)Pois(λn)Pois(\lambda_n)kkk∑nyn≥k∑nyn≥k\sum_n y_n \geq k。技術的にサンプリングは置換なしで行われますが、置換ありのサンプリングを想定することは大したことではありません。 置換なしのサンプリングを解決するために2つの方法を試しましたが（一部の用語がキャンセルされたため、これはより簡単なケースのように思われました）、両方に行き詰まりました。交換せずにサンプリングする場合の可能性は次のとおりです。 P(Z=(z1,...,zN)|Λ=(λ1,...,λN))=∑Y;∀n:yn≥zn(∏Nn=1(ynzn)(∑Nn=1ynk)∏Nn=1Poisson(yn|λn))P(∑nyn≥k|Λ)P(Z=(z1,...,zN)|Λ=(λ1,...,λN))=∑Y;∀n:yn≥zn(∏n=1N(ynzn)(∑n=1Nynk)∏n=1NPoisson(yn|λn))P(∑nyn≥k|Λ) P(Z = (z_1, ..., z_N) | \Lambda = (\lambda_1, ..., \lambda_N)) = \frac{ …

8 mathematical-statistics  poisson-distribution  joint-distribution  approximation 

ニューラルネットワークの普遍近似定理は、任意のアクティブ化関数（シグモイド、ReLU、Softmaxなど）に適用されますか、それともシグモイド関数に限定されますか？ アップデート：コメント欄でアウトとして島尾ポイントは、それは絶対にするために保持していない任意の機能。それでは、どのクラスのアクティベーション関数が保持されますか？

8 neural-networks  approximation 

私は時々人々が次のようにテイラー近似を使用するのを見ます： E(ex)≈E(1+x)E(ex)≈E(1+x)E(e^x)\approx E(1+x) テイラー近似が機能することを知ってい ex≈1+xex≈1+xe^x \approx 1+x しかし、期待演算子の中で近似を行うことができるかどうかは、はっきりしません。直感的には、「が0よりもはるかに大きい確率が小さい」場合に機能すると思いますが、これがどれほど厳密かはわかりません。xxx 編集：私たちは関数に期待があるとき、私はさらに混乱しています： E(f(ex))≈?E(f(1+x))E(f(ex))≈?E(f(1+x))E(f(e^x))\overset ?\approx E(f(1+x))

8 expected-value  approximation 

私は最近ANNの背後にある理論を研究しており、非線形マルチクラス分類の能力の背後にある「魔法」を理解したいと思いました。これにより、この近似がどのようにして達成されるかを幾何学的に説明するこのウェブサイトに私を導きました。 ここに私がそれを（3Dで）理解した方法があります。非表示のレイヤーは、次のような3Dステップ関数（またはタワー関数）を出力すると考えることができます。 著者は、そのような複数のタワーを使用して、任意の関数を近似することができると述べています。次に例を示します。 これは理にかなっているようですが、著者の構成は、概念の背後にある直感を提供するようにかなり工夫されています。 しかし、任意のANNが与えられた場合、これをどのように正確に検証できますか？これが私が知りたい/理解したいことです： 私の知る限り、近似は滑らかな近似ですが、この「直感」は離散近似を提供するようですが、それは正しいですか？ 塔の数は隠れ層の数に基づいているようです-上記の塔は2つの隠れ層の結果として作成されています。これを（3Dの例で）1つの非表示レイヤーだけで確認するにはどうすればよいですか？ タワーは、いくつかの重みがゼロに強制されて作成されますが、これまでに試してみた一部のANNがこれに該当することはありません。それは本当にタワー機能でしょうか？4から辺でほぼ円に近いものは何ですか？（著者はそれが事実であると言いますが、それを自己学習として残します）。んんn ANNを単一の非表示レイヤーで近似できる任意の3D関数の3Dでのこの近似機能を本当に理解したいと思います。この近似が多次元の直感を定式化するためにどのように見えるかを確認したいですか？ これが私が助けることができると私が考えていることです： ような任意の3D関数を取ります。f（x1、x2）= x21+ x22+ 3f（バツ1、バツ2）=バツ12+バツ22+３f(x_1,x_2) = x^2_1 + x^2_2 + 3 のトレーニングセットを生成します。たとえば、1000データポイントの多くのポイントが、曲線の上と下のいくつかにあります。曲線上のものは「陽性クラス」としてマークされ（1）、「陰性クラス」としてマークされないもの（0）（x1、x2）（バツ1、バツ2）(x_1,x_2) このデータをANNに送り、1つの隠れ層（約2〜6個のニューロン）で近似を視覚化します。 この構成は正しいですか？これはうまくいくでしょうか？これを行うにはどうすればよいですか？私はこれを自分で実装するための逆伝播にまだ熟達しておらず、この点についてより明確で方向性を模索しています。これを示す既存の例が理想的です。

8 machine-learning  neural-networks  approximation  intuition  function