タグ付けされた質問 「confidence-interval」

誰かが、既知のサイズの母集団から取得したサンプルをブートストラップすることについての理論の参照を私に指摘できますか？ 私は、人口のサイズがサンプルよりもはるかに大きいと考えられる場合に、Bootstrapを使用してサンプルの信頼区間を計算することに慣れています（したがって、繰り返しによるランダムな選択は、サンプリングプロセスをうまくエミュレートするはずです）。 人口が1000で、800をサンプリングしたことがわかったとしましょう（サンプリングが実際にランダムであると仮定しましょう）。繰り返しを伴うランダム選択は適切ではないようです。ピジョンホールの原理により、サイズ800の別のランダムサンプルを実際に取得すると、少なくとも600の値が元のサンプルと同じであることが保証されます。 解決策はありますか？私は考えました： 繰り返しで1000をサンプリングし、ランダムに800を選択します（従来のブートストラップと同等のアプローチのようです） 繰り返しなしのサンプル600では、繰り返しありの800サンプルすべてを使用して200をさらにサンプリングします。これは、私が前に説明した効果を説明します。 これらのアプローチの良い点と悪い点について何か考えはありますか？または別のアプローチ？

8 confidence-interval  sampling  bootstrap  finite-population 

で、このブログの記事の著者は同時に分位を推定し、全体の分位数機能をカバーして推定のために同時信頼エンベロープを構築する議論します。彼らはこれをブートストラップしてポイントワイズブートストラップ信頼区間を計算し、多重比較のためにボンフェローニ型補正を適用します。比較は独立していないので、式に従って独立した試行の有効数のようなものを計算します Ne q=N2Σ私、jr （b私、bj）Neq=N2∑i,jr(bi,bj)N_{eq}=\frac{N^2}{\sum_{i,j}r(b_i,b_j)} どこ NNN 推定するポイントの数であり、 r （b私、bj）r(bi,bj)r(b_i,b_j) 間のサンプル相関です 私はトンの時間ithith そして jjjthブートストラップベクトル。 私の質問は、この公式がどこから来たかです。それらはソースへのリンクを提供しますが、ソースにこの式は表示されません。この特定の修正が文献で使用されていることを知っている人はいますか？

7 confidence-interval  references  bootstrap  multiple-comparisons  bonferroni 

対象のパラメーターとその点推定量を持つモデルを考えます。簡単にするために、と仮定 します（多くの場合、これは漸近的に正当化できます）。可能な限り最短レベルの信頼区間である区間を作成する方法は2つあります。θθ\thetaθ^θ^\hat\thetaθ^∼N(θ,σ2/n)θ^∼N(θ,σ2/n)\hat\theta\sim N(\theta,\sigma^2/n)(1−α)(1−α)(1-\alpha) 任意の真値に対して、Iは最短間隔たい有する捕捉の確率。、与えられた分布で最も密度の高い領域を選択し、その領域の累積確率がます。領域内のすべての点推定に対して、対応する間隔推定がをカバーするように、間隔推定器を定義します。 分布はどの真の値でも同じであるためθθ\theta(θ^lower,θ^upper)(θ^lower,θ^upper)(\hat\theta_{lower},\hat\theta_{upper})(1−α)(1−α)(1-\alpha)θθ\thetaθ^θ^\hat\thetaθθ\thetaf(θ^;θ)f(θ^;θ)f(\hat\theta;\theta)(1−α)(1−α)(1-\alpha)θ^θ^\hat\thetaθθ\thetaθ^θ^\hat\thetaθθ\thetaは場所のシフトを除いて、間隔を構築するメカニズム（規則）は実際のとは無関係です。したがって、それは真のを確率でカバーします。θθ\thetaθθ\theta(1−α)(1−α)(1-\alpha) ポイントの推定を考慮して、どの真の値の下でが生成される可能性が高いかを検討しています。与えられた真の、のの分布を知っているので、最高の密度値を生成するを選択します。選択範囲を含めるだけに制限しますθ^θ^\hat\thetaθθ\thetaθ^θ^\hat\thetaθθ\thetaf(θ^;θ)f(θ^;θ)f(\hat\theta;\theta)θθ\theta値累積確率を持つ値に対して少なくとも極端な限り。つまり、θθ\theta≥α≥α\geq\alphaθθ\theta値れる対応する関連付けられ-value少なくともある。θθ\thetapppθ^θ^\hat\thetaαα\alpha 最初のアプローチは、その何でも本当の確保に直接焦点を当て、それが中に含まれているのインスタンスをサンプリングのシェア。最良の候補者のための第二のアプローチのルックス実現させるのおそらく、廃棄ながらの下そうです。2つの間の線（可能性とそうでない可能性）は、元の目標の観点からいくらか恣意的に描かれていますが、それはたまたま正しい線です。θθ\theta(1−α)(1−α)(1-\alpha)θθ\thetaθ^θ^\hat\thetaθθ\thetaθ^θ^\hat\theta 間隔を構成するための2つのルールは、この簡略化された例では同じ答えを与えます。信頼区間の構築の正しい動機、または正しい考え方について、（2つのうちのいずれかである場合）は どれですか？ （おそらく、上記のの分布の仮定を削除すると、アプローチの1つが無効になり、一般に不適切であり、この例では偶然にしか正しい答えが得られないことがわかりますか？）θ^θ^\hat\theta

7 confidence-interval  likelihood  credible-interval 

PythonのデータからECDF（および信頼限界）を作成しようとしています。ECDFはnumpy、をソートして使用することで、かなり簡単に生成できlinspaceます。しかし、適切な信頼限界が何であるかは完全にstatsmodelsはわかりません。また、境界を計算する組み込みライブラリはないようです（ECDFを与えるだけのようです）。 ポイントごとの信頼限界が必要な場合1 - α1−α1-\alphaそれを使用するのが適切であるDKWの不平等をして、私の地域を計算します Cん（α ）=12 nログ（2α）−−−−−−−−−−√、Cん（α）=12んログ⁡（2α）、C_n(\alpha) = \sqrt{\frac{1}{2n}\log\left(\frac{2}{\alpha}\right)} \,, どこ んんnサンプルの観測数は何ですか？したがって、F（x ）F（バツ）F(x) 私のECDFです。私の上限と下限は U B（x）=min（1 、F（x ）+Cん（α ））UB（バツ）=分（1、F（バツ）+Cん（α））\mathrm{UB}(x) = \min\left(1, F(x)+C_n(\alpha)\right) L B（x）=max（0 、F（x ）−Cん（α ））LB（バツ）=最高（0、F（バツ）−Cん（α））\mathrm{LB}(x) = \max\left(0, F(x)-C_n(\alpha)\right) MATLABには組み込み関数ECDFがありますが、境界を生成するためにGreenwoodの公式（下を参照）を適用する方法を理解するのにあまり運がありませんでした。

7 statistical-significance  confidence-interval  python  matlab 

3つのルールは、 Y〜ビン（N 、P ）Y〜置き場（ん、p）Y\sim \text{Bin}(n,p) 次に、0 [ 0 、3 / N ][0、３/ん][0,3/n] の95％信頼区間 ppp。ウィキペディアや他の場所でのこのルールの派生について混乱しています。 ウィキペディアは、95％信頼区間を見つけることはすべてを見つけることと同じです ppp そのような Pp（Y= 0 ）≥ 0.05Pp（Y=0）≥0.05P_p(Y=0)\geq 0.05。これを、95％信頼区間はランダムな領域であるという自分の理解と調整するのに苦労していますC（Y）C（Y）C(Y) そのような Pp（C（Y）pを カバー ）= 0.95Pp（C（Y） カバー p）=0.95P_p(C(Y)\text{ covers }p)=0.95 すべてのために ppp。 編集：私の質問はあいまいであることに気付きました（そしてWikipediaの基礎となるロジックについての誤った推測を削除しました）。私の主な質問は：ウィキペディアの議論はどのように正当化されますか？私のもう1つの関連する質問は次のとおりです。1つの可能な値に対してのみ定義されている場合、間隔のカバレッジ確率をどのように検証しますかYYY？

7 mathematical-statistics  confidence-interval 

私はよく人々（統計家や実務家）が再考せずに変数を変換しているのを見ます。エラーの分布が変更されて無効な推論につながる可能性があるので、私は常に変換を怖がっていますが、何かを誤解しなければならないのはよくあることです。 アイデアを修正するために、モデルがあるとします Y=β0expXβ1+ϵ, ϵ∼N(0,σ2)Y=β0exp⁡Xβ1+ϵ, ϵ∼N(0,σ2)Y=\beta_0\exp X^{\beta_1}+\epsilon,\ \epsilon\sim\mathcal{N}(0,\sigma^2) これは原則としてNLSに適合します。しかし、ほとんどの場合、私は人々が丸太を取り、フィッティング logY=logβ0+β1logX+???⇒Z=α0+β1W+???log⁡Y=log⁡β0+β1log⁡X+???⇒Z=α0+β1W+???\log{Y}=\log\beta_0+\beta_1\log{X}+???\Rightarrow Z=\alpha_0+\beta_1W+??? これはOLSで適合できることはわかっていますが、パラメーターの信頼区間を計算する方法がわかりません。今のところ、予測区間や許容区間はもちろんです。 そして、それは非常に単純なケースでした：かなり複雑な（私にとって）ケースを考えてください。 YYY そして XXX アプリオリですが、GAMなどを使用してデータから推測しようとします。次のデータについて考えてみましょう。 library(readr) library(dplyr) library(ggplot2) # data device <- structure(list(Amplification = c(1.00644, 1.00861, 1.00936, 1.00944, 1.01111, 1.01291, 1.01369, 1.01552, 1.01963, 1.02396, 1.03016, 1.03911, 1.04861, 1.0753, 1.11572, 1.1728, 1.2512, 1.35919, 1.50447, 1.69446, 1.94737, 2.26728, 2.66248, 3.14672, 3.74638, …

7 regression  confidence-interval  inference  gam  logarithm 

背景：ピザを8つのスライスに切ったところを想像してみてください。 [ スライスの各直線エッジに、反対の極性を外側に向けた磁石を挿入します。これらのコンポーネントを分離して、ひっくり返さないようにして振ると、完全なピザになります。 ここで、追加のスライス（同じサイズ、フルピザの1/8）を入れても、フルピザが常に形成されるとは限りません。4＆5、3＆6、2＆7および1＆8のクラスターを形成できます。 モデル（Hosokawa et al。（1994）により提供）は、各クラスターが形成される確率を示します。モデルを検証するために、いくつかの物理実験を行います。実験条件ごとに20回試行しています。 私の結果は次のようになります： Cluster Theoretical Physical 3,6: 6.01961132827 4 1,8: 2.77455224377 5 4,5: 6.62198848501 5 2,7: 4.58384794294 6 上記のデータは多項分布です（ダイスを振ったときに得られる分布に似ています）。9つのスライスがある場合、各試行は4つの状態のいずれかで終了できます。 9スライスの実験に加えて、40スライス（およびその他いくつか）の実験のデータも持っています。（ここに含めたい場合はお知らせください） 問題：適合度をテストするために、ピアソンのカイ2乗検定を実行します。ただし、両方の分布の平均は「近い」ため、帰無仮説を棄却できません。ただし、帰無仮説も受け入れられません。 質問：モデルが物理実験にどの程度「近づく」かを示すより良い方法はありますか？「標準偏差」に相当する多項式、またはおそらく信頼区間？信頼区間のある回帰？ 更新：私の同僚は、Rでの回帰分析のために次のアプローチを提案しました： d=read.csv("data.csv") length(unique(d$abs_state)) nrow(d) d$n_componentsf=as.factor(d$n_components) ncomps=9 dsubs=d[d$n_components==ncomps,] # using exact multinomial test in EMT (better) library(EMT) # using Chi square test statistics EMT::multinomial.test(dsubs$freq_obs, …

7 r  confidence-interval  generalized-linear-model  multivariate-analysis  multinomial 

-値は、我々は仮説に対して推定することができますどのように強力に報告するために使用されます。明らかなように、この値自体はデータから推定され、同じ条件で収集された新しいデータの場合、新しい値が同じになることはほとんどありません。ppppppppp Nature Methodsの解説におけるHalsey、Curran-Everett、Vowler＆Drummond（2015）は、値を取り巻く不確実性がかなり大きくなる可能性があることを示しました。返信で、Lazzeroni、Lu＆Belitskaya-Lévy（2016、同じジャーナル）は、信頼区間が0.00000008から0.99になる0.049の観測された値の例を示しました。pppppp 私の質問は、値の標本分布を知っていますか？後者によれば、サンプルサイズには依存しません（これらはすべてテスト統計を「標準化」するために使用されるため、おそらくサンプルの標準偏差に依存します）。おそらく、それはテスト手順に依存する可能性がありますか？ppp 私があればということを知っている真である、の分布 -値が1の範囲0にわたって均一である（しかし、私はこのことを学んだ場所を覚えていないことができます）。ますます不十分である、の分布 -値（左テール試験用）0％確率上傾い、峰となります。H0H0H_0pppH0H0H_0ppp ブートストラップを使用すると、値の分布を視覚的に表現するのがかなり簡単になります。ただし、より満足のいく答えは、どのような特性がその分布に影響を与えるかを正確に把握できるようにするための式（閉形式はさらに優れている）になることです。これにより、信頼区間の幅が決まります。ppp あなたはそのような式を知っていますか、あるいはそれを持つことさえ可能ですか？

7 hypothesis-testing  confidence-interval  p-value  bootstrap 

多分この質問は与えられたデータに依存しますが、他のものより「より良い」ブートストラップ方法はありますか？私は単に1つの変数のデータセットを使用しています（これは、過去15週間のフットボールのスコア（2チーム）の違いで構成されています）。 最初にこのデータの正しいスキューに注意してください。これは、データの表現に「より良い」または最も正確であると私が推奨するブートストラップを考慮に入れるように感じます。 まず、標準のブートストラップ間隔です N <- 10^4 n <- length(Differences) Differences.mean <- numeric(N) for(i in 1:N) { x <- sample(Differences, n, replace = TRUE) Differences.mean[i]<- mean(x) } lower = mean(Differences.mean)-1.96*sd(Differences.mean) #Lower CI upper = mean(Differences.mean)+1.96*sd(Differences.mean) #Upper CI = (8.875, 10.916) mean(Differences.mean)-m #The bias is fairly small also = -.0019 これがブートストラップ百分位間隔です quantile(Differences.mean,c(.025,.975) …

7 r  confidence-interval  bootstrap 

ベルヌーイCIの標準式は次のとおりです。 p^±z1 - α / 2p^（1 −p^）ん−−−−−−−−√p^±z1−α/2p^（1−p^）ん\hat{p}\pm z_{1-\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}} もしどのように信頼区間を推定しないとき小さいとなる？この場合、上記の方程式はに縮小され。これは、を大きくしても信頼区間が改善されないことを意味します。p^=メートルんp^=メートルん\hat{p} = \frac{m}{n} ん ん\ n m = 0 メートル=0\ m = 0 0 ± 0 0±0\ 0 \pm 0 ん ん\ n 私の考えでは、が0のままであることを考えると、CIは[0,1]から始まり、が増加するにつれて上限が減少するはずです。 ん ん\ n メートル メートル\ m

7 confidence-interval  small-sample  bernoulli-distribution 

パラメータ付きの二項分布があります NNN そして ppp、そして私の分布の平均の推定値はNです×p×p\times p。の値NNN そして ppp ガウス近似を使用して σσ\sigma 平均の (n×p(1−p)−−−−−−−−−−−√(n×p(1−p)\sqrt{(n\times p (1-p)}。問題は、私がすでに推定していることですppp、 そう ppp 実際には、平均がわかっているガウス分布であり、 σσ\sigma。私の目標は、二項分布の平均の信頼区間を見つけることですが、どのようにしてppp 考慮に入れますか？

7 confidence-interval  binomial  beta-binomial  credible-interval 

で与えられる特定の量データがある。ここで、各数量の最初の桁を取得し、最初の桁の経験分布の関係を調べたいと思いここで、は、最初の数字としての正規化された頻度であり、ベンフォードの法則 今、この論文を読みましたXXXx1,...,xnx1,...,xnx_1,...,x_ndidid_ixixix_ip^=(p^1,...,p^n)p^=(p^1,...,p^n)\hat{p}=(\hat{p}_1,...,\hat{p}_n)pi^pi^\hat{p_i}iiipi=log10(1+1/i)pi=log10⁡(1+1/i) p_i = \log_{10} (1 + 1/i) 最初の桁の経験的頻度とベンフォードの法則を比較することについて。ただし、彼らが言及する方法を使用して、データが特定の頻度（たとえば、1秒あたり50データ）で到着する場合に、ベンフォードの法則をリアルタイムで一定の信頼度で棄却できるかどうかについては触れていません。 これらの方法は、次のようにベンフォードの法則とのリアルタイム比較に適用できると思います：（短い）時間間隔（たとえば、3秒）が与えられた場合、最初の桁の経験的頻度を計算します次に、前述のリファレンスに示されている統計の同時信頼区間と値を計算します（サンプルサイズを確認する必要があります）少なくとも60個のデータのため、統計の分布は、その必要があり、比較的近い漸近分布にすることなので、計算され -値がなければならない信頼できます）。p^=(p^1,...,p^n)p^=(p^1,...,p^n)\hat{p}=(\hat{p}_1,...,\hat{p}_n)pppppp 私の質問は、これは有効な手順ですか？それは意味がありますか？そうでない場合、経験的な最初の桁の分布をベンフォードの法則とリアルタイムで比較するための適切な方法はありますか？ 私が目にする1つの潜在的な問題は、最初の数字の基になる分布が、指定された時間枠内で（おそらく1回以上）変化する可能性があることです。これが、最初の桁の基になる分布が変化する可能性を低減しながら、適切なサンプルサイズを確保するために、比較的小さな時間ウィンドウを使用することをお勧めする理由です。

7 hypothesis-testing  confidence-interval  multinomial  sequential-analysis  real-time 

私は、現在世代の男性のペアが複数ありi、それぞれが父系の祖先と推定されるni世代が（世代別の証拠に基づいて）前にあり、Y染色体の遺伝子型にミスマッチがあるかどうかについて情報を持っています（排他的に父系で）遺伝性の、xi=不一致の場合は1、一致する場合は0）。不一致がない場合、彼らは確かに共通の父方の祖先を持っていますが、存在する場合、1つ以上の婚外事件の結果としてチェーンにキンクがあったに違いありません（私は、何もないか、少なくともそのようなエクストラペアの親子関係のイベントの1つが発生しました（つまり、従属変数が打ち切られます）。私が興味を持っているのは、平均のペア外父系（EPP）率（世代ごとに子供がペア外交尾から得られる確率）だけでなく、最尤推定（プラス95％信頼限界）を取得することですが、また、ペアの親の父親率が時間の関数としてどのように変化したかを推測することも試みます（共通の父親の祖先を分離した世代のnrがこれに関する情報を持っているはずです-不一致がある場合、私はしません）推定祖先の世代と現在の間のどこかにある可能性があるため、EPPがいつ発生したかはわかりませんが、一致する場合は、前の世代のいずれにもEPPがなかったことを確認します）。したがって、従属二項変数と独立共変量生成/時間の両方が検閲されます。投稿されたやや類似した問題に基づくここで、私は次のようにして、母の最尤推定値と時間平均のエクストラペアの父性率にphat加えてRの95％プロファイル尤度信頼区間をどのように作成できるかをすでに理解しました。 # Function to make overall ML estimate of EPP rate p plus 95% profile likelihood confidence intervals, # taking into account that for pairs with mismatches multiple EPP events could have occured # # input is # x=vector of booleans or 0 and 1s specifying if there was a …

7 r  confidence-interval  maximum-likelihood  bootstrap  delta-method 

二変量中央値の周りのデータと信頼楕円を計算する方法について疑問に思っています。たとえば、次のデータの二変量平均のデータ楕円または信頼楕円を簡単に計算できます（ここではデータ楕円のみを示しています）。 library("car") set.seed(1) df <- data.frame(x = rnorm(200, mean = 4, sd = 1.5), y = rnorm(200, mean = 1.4, sd = 2.5)) plot(df) with(df, dataEllipse(x, y, level = 0.68, add = TRUE)) しかし、私は二変量中央値に対してこれをどのように行うのかと苦労していますか？単変量の場合、リストラップをブートストラップして必要な間隔を生成することができますが、これを二変量の場合に変換する方法がわかりませんか？ @Andy Wが指摘したように、中央値は一意に定義されていません。この例では、そのポイントでの観測間の距離のL1ノルムを最小化するポイントを見つけることにより、空間中央値を使用しました。観測されたデータポイントから空間中央値を計算するために最適化が使用されました。 さらに、実際のユースケースにおけるx、yデータペアは、非類似度マトリックスの主座標分析の2つの固有ベクトルであるため、特定の攻撃手段を提供する場合、xとyは直交している必要があります。 実際の使用例では、ユークリッド空間の点のグループのデータ/信頼楕円を計算します。例えば： 分析は、グループ間の分散の均一性のリーベン検定の多変量類似体です。多変量中心傾向の尺度として空間中央値または標準グループの重心を使用し、空間中央値の場合の上の図のデータ楕円に相当するものを追加します。

7 r  confidence-interval  median  bivariate  ellipse