タグ付けされた質問 「confidence-interval」

信頼区間は、信頼度で未知のパラメーターをカバーする区間です。信頼区間は、頻度主義の概念です。それらは、ベイジアンアナログである信頼できる間隔と混同されることがよくあります。 (1−α)%

2
機械学習の信頼上限
k武装バンディット問題の信頼限界の上限を求める式に出くわしました。 c ln N私ん私−−−−−√clnNinic\sqrt{\frac{\text{ln} N_i}{n_i}} ここで、はこの特定の盗賊のために持っているサンプルの量であり、はすべての盗賊から持っているサンプルの総量です。モンテカルロツリー検索でも同じアルゴリズムが使用され、信頼限界の上限が取得されます。N iん私nin_iN私NiN_i 私は信頼限界の上限が何であるかを非常に明確に理解していますが、私が理解していないのは、この公式がどこから来たかです。私はいくつかの場所でオンラインを調べてみましたが、この式がどのように導出されるかについての明確な説明は見つかりませんでした。誰かがこの式がどこから来たかを説明できますか？統計の背景がよくないと思います。
2
p値と信頼区間の不一致
これはSPSSのt検定に関する質問です。 2つのグループがあり、2つの平均が等しいかどうかをテストしたいと思います。ブートストラップでt検定を使用しています。最終的に、p値<0.005が得られました。これにより、2つの母集団の平均は等しいという帰無仮説が却下されますが、私の場合、ゼロは1000サンプルに基づく95％BCaブートストラップ信頼区間内にあります。 。 平等な平均の仮説はまだ却下されますか？
1
xgb-forecastの信頼区間
専門家！たぶん、xgboostの信頼区間を計算する方法を知っていますか？私のデータは通常は分布されていないため、t分布のある古典的な数式は役に立ちません。または関係ありませんか？ いくつかの文献を提案する場合、それは非常に便利ですが、RおよびPython（ライブラリxgbのコンテキスト）でのアプローチも適切です。 おそらく、このように見えますが、どのように計算しますか？そしてこれを見つけました -それは正しいですか？ PS：データに関連する画像（リンクの制限）を追加できません。申し訳ありません。
2
ブートストラップによる標準偏差信頼区間推定の奇妙なパターン
一部のデータの標準偏差の信頼区間を推定したいと思いました。Rコードは次のようになります。 library(boot) sd_boot <- function (x, ind) { res <- sd(x$ReadyChange[ind], na.rm = TRUE) return(res) } data_boot <- boot::boot(data, statistic = sd_boot, R = 10000) plot(data_boot) そして、私は次のプロットを持っています： このブートストラップのヒストグラムを正しく解釈できません。同様のデータの他のすべてのセットは、ブートストラップ推定の正規分布を示しています...しかし、これはそうではありません。ちなみに、これは実際の生データです： > data$ReadyChange [1] 27.800000 8.985046 11.728021 8.830856 5.738600 12.028310 7.771528 9.208924 11.778611 6.024259 5.969931 6.063484 4.915764 [14] 12.027639 9.111146 13.898171 12.921377 6.916667 …
2
「最良の」信頼区間を定義する便利な方法はありますか？
（たとえば）95％の信頼区間（CI）の標準的な定義では、真のパラメーターを含む確率が95％であることが必要です。明らかに、これは一意ではありません。私が見てきた言語は、多くの有効なCIの中で、それは通常、最短のようなものを見つけることが理にかなっていることを示唆している、または対称、または正確に知られているいくつかの分布パラメータは、言い換えれば、未知の、などであっても、ノーがあるように思われますCIが他のものより「優れている」という明確な階層。 ただし、CIの同等の定義の1つは、真のパラメーターがその値に等しいという帰無仮説が、実現されたサンプルを見た後に適切な有意水準で拒否されないようなすべての値で構成されるということです。これは、必要なテストを選択する限り、CIを自動的に構築できることを示唆しています。そして、UMP（または公平なテストの間のUMP）の概念に基づくテストの間には、標準的な好みがあります。 CIをUMPテストに対応するものとして定義することなど、何か利点はありますか？
1
信頼区間の可逆単調変換は、変換された空間で（同じレベルの）信頼区間を与えますか？
と思います (a,b)(a,b) (a,b) である(1−α)(1−α)(1-\alpha)のパラメータのためのレベルの信頼区間θθ\theta。ηη\etaが単調な可逆変換であると仮定します。次に、 (η(a),η(b))(η(a),η(b)) \left (\eta(a), \eta(b) \right ) (1−α)(1−α)(1-\alpha)のためのレベルの信頼区間η(θ)η(θ)\eta(\theta)？パラメーターと信頼区間のエンドポイントがすべて実数であると仮定します。 答えは、あなたがた場合の確率変数は、同じようなことを行う変換することができ、なぜに類似の理由で、「はい」であることを直感的に思わY=g(X)Y=g(X)Y = g(X)、その後、 P(Y≤y)=P(g(X)≤y)=P(X≤g−1(y))P(Y≤y)=P(g(X)≤y)=P(X≤g−1(y)) P( Y \leq y ) = P( g(X) \leq y ) = P(X \leq g^{-1}(y) ) MLEに適用されるように、連続マッピング定理にも関連している可能性があります。 これは宿題ではなく、対数オッズの95％を計算し、それを逆変換して確率の95％と呼ぶことができるかどうかというコンテキストで考えられます。 ありがとう
1
ECDFの信頼区間
ドボレツキー-キーファー-ウォルフォウィッツの不等式は次のとおりです。 、Pr （sup | F^ん（x ）− F（x ）| > ε ）≤ 2 のexp（− 2 n ϵ2）Pr(sup|F^n(x)−F(x)|>ϵ)≤2exp⁡(−2nϵ2)Pr(\text{sup}|\hat{F}_n(x)-F(x)|>\epsilon)\leq 2\exp(-2n\epsilon^2) そして、経験的に決定された分布関数が、経験的なサンプルが抽出される分布関数にどれだけ近いかを予測します。この不等式を使用して、我々は信頼区間を描画することができ（CIさん）の周りにあるF N（X ）（関数ecdf）。しかし、これらのCIはECDFのすべての点の周囲で距離が等しくなります。F^ん（x ）F^n(x)\hat{F}_n(x) ECDFの周りにCIを構築する別の方法はありますか？ 順序付き統計について読むと、順序付き統計の漸近分布は次のようになります。 さて、最初に、これらの記号の付いたインデックスは何を意味しますか？n pnpnp 主な質問：ECDFにCIを提供するために、この方法をデルタ法（下記参照）と一緒に使用できますか？つまり、ECDFは順序付けられた統計の関数です。しかし、同時にECDFはノンパラメトリック関数なので、これは行き止まりですか？ 我々はそれを知っている及び ヴァー（F N（X ））= F （X ）（1 - F （X ））E（F^ん（x ））= F（x ）E(F^n(x))=F(x)E(\hat{F}_n(x))=F(x)Var （F^ん（x ））= F（x ）（1 − F（x ））んVar(F^n(x))=F(x)(1−F(x))n\text{Var}(\hat{F}_n(x))=\frac{F(x)(1-F(x))}{n} ここで何が得られているのかが明確になり、助けに感謝します。 編集： デルタ方法：あなたは、ランダムな変数の順序がある場合は満たしますバツんXnX_n …
4
う
与えられた分布の平均がわかっているとしましょう。これは確率変数の分散の区間推定（サンプル分散を使用して計算される）に影響しますか？のように、同じ信頼水準に対してより小さな間隔を取得できますか？
1
混合効果モデルのグループ効果は、正規分布から選ばれたと想定されていますか？
たとえば、生徒の学習時間数が生徒の試験の成績にどのように影響するかに興味があるとします。私たちはいくつかの異なる学校の生徒をサンプリングします。我々は、次の混合効果モデルを実行します。 Exam.grades私= a + β1× 時間。私+ 学校j+ e私Exam.grades私=a+β1×hours.studied私+学校j+e私 \text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i このモデルでは、各学校はより多くの学校の人口から選ばれたと想定され、学校の効果は正規分布していると言ってもいいでしょうか。したがって、学校の集団効果について、すべての「通常の」正規分布型の手順を実行できますか？学校の68％のようなものは、学校の平均集団効果の1標準偏差以内になると言えるでしょうか。また、学校の全体的な平均グループ効果の95％信頼区間を計算できますか？ また、学校の固定効果による線形回帰では、参照グループとダミー変数を使用しているため、これらの正規分布統計を計算できないと言っていいでしょうか？
1
独立したサンプルのt検定を計算するときにブートストラップが必要なのはなぜですか？（ブートストラップt検定を正当化、解釈、および報告する方法）
2つの条件があり、2つの条件のサンプルサイズが非常に小さいとします。最初の条件で14個の観測しかなく、他の11個の観測があるとしましょう。t検定を使用して、平均差が互いに有意に異なるかどうかを検定します。 最初に、t検定の正規性の仮定について少し混乱しています。そのため、完全にブートストラップを取得できません。t検定の前提は、（A）データが正規母集団からサンプリングされている、または（B）サンプル分布がガウス特性を持っているということですか？（B）の場合、それは実際には仮定ではありませんよね？データのヒストグラムをプロットして、それが正常かどうかを確認できます。サンプルサイズが小さい場合でも、サンプル分布が正常かどうかを確認するのに十分なデータポイントがありません。 これがブートストラップの出番だと思います。ブートストラップを実行して、サンプルが正常かどうかを確認できますよね？最初、ブートストラップは常に正規分布になると思っていましたが、そうではありません（ブートストラップリサンプリングを使用して、データセットの分散の信頼区間を計算できますか？ statexchange statexchange）。したがって、ブートストラップを行う理由の1つは、サンプルデータの正規性をより確実にすることです。 この時点で私は完全に混乱します。Rでt.test関数を使用してt検定を実行し、ブートストラップされたサンプルベクトルを2つの独立したサンプルとして配置した場合、t値は非常に重要になります。ブートストラップt検定を正しく行っていませんか？すべてのブートストラップが実行しているため、t値を大きくするだけなので、すべてのケースでこれが発生するのではないでしょうか。ブートストラップされたサンプルに対してt検定を実行しませんか？ 最後に、ブートストラップで信頼区間を計算することと、元のサンプルで信頼区間を計算することの利点は何ですか？これらの信頼区間から、元のサンプルデータの信頼区間では何がわかりませんか？ （A）ブートストラップを使用するとt値がより重要になる理由がわからない（B）独立したサンプルのt検定を実行するときにブートストラップを使用する正しい方法がわからない、（C）わからない独立したt検定の状況でのブートストラップの正当化、実行、および結果を報告する方法。
1
二項式のパラメーターの推定
まず第一に、私はこの主題の専門家ではないことを明確にしたいと思います。 と 2 項の2つの確率変数とがあるとすると、は同じであること注意してください。ことを知っていXXXYYYX∼B(n1,p)X∼B(n1,p)X\sim B(n_1,p)Y∼B(n2,p),Y∼B(n2,p),Y\sim B(n_2,p),pppZ=X+Y∼B(n1+n2,p).Z=X+Y∼B(n1+n2,p).Z=X+Y \sim B(n_1+n_2,p). ましょう 用試料でとのサンプルである、推定するための標準的な方法がある及び？{x1,…,xk}{x1,…,xk}\{x_1,\ldots,x_k\}XXX{y1,…,yk}{y1,…,yk}\{y_1,\ldots,y_k\}YYYn=n1+n2n=n1+n2n=n_1+n_2ppp これが私たちが行ったことです： によって与えられるの「新しいサンプル」を、ZZZ{x1+y1,…,xk+yk}{x1+y1,…,xk+yk}\{x_1+y_1,\ldots, x_k+y_k\} 尤度推定器を使用して、と推定値を取得します。nnnppp フィッシャー情報を使用して、および誤差を理解しようとします。nnnppp この方法は機能しているように見えますが、まだいくつかの疑問があります。してみましょうかけ順列のグループを要素。すべてのについて、によって与えられる「サンプル」を考慮することができ「新しいサンプル」のそれぞれに尤度推定量を適用すると（異なる合計があります、とについて異なる推定られます。SkSkS_kkkkσ∈Skσ∈Sk\sigma\in S_k{x1+yσ(1),…,xk+yσ(k)}.{x1+yσ(1),…,xk+yσ(k)}.\{x_1+y_{\sigma(1)},\dots, x_k+y_{\sigma(k)}\}.k!k!k!(nσ,pσ)(nσ,pσ)(n_\sigma,p_\sigma)nnnppp これの意味は何ですか？新しい値はどのように関連付けられますか？の誤差の計算に使用できますか？nσ,pσnσ,pσn_\sigma, p_\sigmannn 一部のコメント： 質問は以前ここに投稿されていましたが、ユーザーからタット/クロスバリデーションされたSEを使用するように勧められました。 私が念頭に置いている例では、は特定の地域の鳥の数であり、は可視性の確率です。同様の持つ領域を集約する必要があります。そうしないと、データが小さすぎます。特に、可能であれば、推定のみが必要です。ここで、のアプリオリは不明です。p p n pnnnppppppnnnppp 例 明確にするために、kjetil b halvorsenの回答を考慮して、ここで実際的な例を示します。固定された等しい確率で2つのゾーンに分割された領域が1つだけあり、データが次のとおりであるとします。ppp Zone 1 Zone 2 a1 b1 a2 b2 a3 b3 a4 b4 a5 b5 a6 b6 次に、これを検討できます。 Zone 1+2 c1=a1+b1 …
5
ランダムな量の信頼区間？
仮定a⃗ a→\vec{a}未知であるppp -ベクトル、及び一方が観察。観測されたと既知のパラメーターのみに基づいて、ランダムな量信頼区間を計算したいと思います。つまり、与えられた、ような見つけます。b⃗ ∼N(a⃗ ,I)b→∼N(a→,I)\vec{b} \sim \mathcal{N}\left(\vec{a}, I\right)b⃗ ⊤a⃗ b→⊤a→\vec{b}^{\top} \vec{a}b⃗ b→\vec{b}pppα∈(0,1)α∈(0,1)\alpha \in (0,1)c(b⃗ ,p,α)c(b→,p,α)c(\vec{b}, p, \alpha)Pr(b⃗ ⊤a⃗ ≤c(b⃗ ,p,α))=αPr(b→⊤a→≤c(b→,p,α))=αPr\left(\vec{b}^{\top}\vec{a} \le c(\vec{b},p,\alpha)\right) = \alpha 信頼区間に寄与するランダム性も影響するため、これは奇妙な質問です。単純明快なアプローチは、、として、、は、これはの期待値です。（は、最大スケーリングでは、非中心カイ二乗RVであり、非中心パラメーターはb⃗ b→\vec{b}b⃗ b→\vec{b}a⃗ ∼N(b⃗ ,I)a→∼N(b→,I)\vec{a} \sim\mathcal{N}\left(\vec{b}, I\right)b⃗ ⊤a⃗ ∼N(b⃗ ⊤b⃗ ,b⃗ ⊤b⃗ I)b→⊤a→∼N(b→⊤b→,b→⊤b→I)\vec{b}^{\top}\vec{a} \sim\mathcal{N}\left(\vec{b}^{\top}\vec{b}, {\vec{b}^{\top}\vec{b}}I\right)b⃗ ⊤b⃗ b→⊤b→\vec{b}^{\top}\vec{b}a⃗ ⊤a⃗ a→⊤a→\vec{a}^{\top}\vec{a}b⃗ ⊤a⃗ b→⊤a→\vec{b}^{\top}\vec{a}b⃗ ⊤b⃗ b→⊤b→\vec{b}^{\top}\vec{b}a⃗ ⊤a⃗ a→⊤a→\vec{a}^{\top}\vec{a} ; …
2
膨大なデータセットが与えられた場合、なぜ統計モデルは過剰適合しますか？
現在のプロジェクトでは、特定のグループの行動を予測するモデルを構築する必要があるかもしれません。トレーニングデータセットには6つの変数のみが含まれます（idは識別目的のみです）。 id, age, income, gender, job category, monthly spend その中で monthly spend応答変数です。ただし、トレーニングデータセットには約300万行が含まれid, age, income, gender, job category、予測されるデータセット（応答変数は含まれるが、含まれない）には100万行が含まれます。私の質問は、統計モデルにあまりにも多くの行（この場合は300万行）を投げた場合に潜在的な問題はありますか？計算コストが懸念事項の1つであることを理解していますが、他に懸念事項はありますか？データセットのサイズの問題を完全に説明している本/紙はありますか？
8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.