タグ付けされた質問 「mathematical-statistics」

形式的な定義と一般的な結果に関係する統計の数学的理論。

2
1つの標本t検定では、何が分散している場合が起こる推定標本平均がで置き換えられる
帰無仮説は1標本t検定、想定。統計値は、その後で、T = ¯ X - μ 0μ=μ0μ=μ0\mu=\mu_0サンプル標準偏差sを使用。推定では、Sを、1サンプルに観測値を比較した平均¯X:t=x¯¯¯−μ0s/n√t=x¯−μ0s/nt=\frac{\overline{x}-\mu_0}{s/\sqrt{n}}ssssssx¯¯¯x¯\overline{x} 。s=1n−1∑ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−−−√s=1n−1∑i=1n(xi−x¯)2s=\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i-\overline{x})^2} 我々が想定した場合しかし、与えられた真であることが、一つは、標準偏差を推定でき、S *を使用して、μ 0の代わりに、サンプルの平均¯ X:μ0μ0\mu_0s∗s∗s^*μ0μ0\mu_0x¯¯¯x¯\overline{x} 。s∗=1n−1∑ni=1(xi−μ0)2−−−−−−−−−−−−−−−−√s∗=1n−1∑i=1n(xi−μ0)2s^*=\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i-\mu_0)^2} 結果的に、帰無仮説をSDの推定にも使用するため、このアプローチはより自然に見えます。結果として得られる統計がテストで使用されるかどうか知っている人はいますか?

2
ロジスティック関数で変換されたガウス確率変数の期待値
通常、ロジスティック関数と標準偏差はどちらも表されσσ\sigmaます。標準偏差にはσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp⁡(−x))\sigma(x) = 1/(1+\exp(-x))とsssを使用します。 私はランダムな入力を持つロジスティックニューロンを持っています。その平均μμ\muと標準偏差sssは知っています。平均との差がガウスノイズで近似できることを願っています。したがって、表記を少し乱用して、生成すると仮定しますσ(μ+N(0,s2))=σ(N(μ,s2))σ(μ+N(0,s2))=σ(N(μ,s2))\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))。σ (N (μ 、s 2))の期待値は何ですか?σ(N(μ,s2))σ(N(μ,s2))\sigma(N(\mu,s^2))標準偏差sssは、μμ\muまたはと比較して大きい場合と小さい場合があります111。期待値の適切な閉じた形の近似は、閉じた形の解とほぼ同じです。 閉じた形のソリューションは存在しないと思います。これは、畳み込みとみなすことができ、およびロジスティック密度のための特徴的な機能が知られている()が、私は確かにそれがどのように役立つかあまりないです。逆シンボリック計算機はで密度を認識することができませんでした0ロジスティック分布の密度の畳み込みと示唆しているが、単純な基本整数が存在しないことを証明しない標準正規分布、の。より状況証拠:ロジスティックニューロンを含むニューラルネットワークにガウス入力ノイズを追加することに関するいくつかの論文では、これらの論文は閉形式の式も提供していませんでした。πt csch πtπt csch πt\pi t ~\text{csch} ~\pi t000 この質問は、ボルツマンマシンの平均場近似の誤差を理解しようとするときに生じました。

1
Student-Tエラーのある回帰は役に立ちませんか?
編集をご覧ください。 裾が重いデータがある場合、student-tエラーで回帰を行うと、直感的に行えるように見えます。この可能性を調査しているときに、私はこの論文に出くわしました。 Breusch、TS、Robertson、JC、およびWelsh、AH(1997年11月1日)。皇帝の新しい服:多変量t回帰モデルの批評。Statistica Neerlandica、51、3.)(link、pdf) これは、スケールパラメータと自由度パラメータが何らかの意味で相互に識別可能ではなく、このため、tエラーのある回帰を行っても、標準の線形回帰の場合を超えることはできないと主張しています。 Zellner(1976)は、データベクトル(または誤差ベクトル)が多変量スチューデントt分布からの実現として表される回帰モデルを提案しました。このモデルは、通常のガウス仮定を拡張して、より裾の長い誤差分布を可能にするように見えるため、かなりの注目を集めています。文献の多くの結果は、ガウスモデルの標準推論手順がより広い分布の仮定の下で適切なままであり、標準メソッドの堅牢性の主張につながることを示しています。数学的には2つのモデルは異なりますが、統計的推論の目的では区別できないことを示しています。多変量tモデルの経験的意味は、ガウスモデルのそれとまったく同じです。したがって、データのより広範な分布表現の提案は偽であり、堅牢性の主張は誤解を招くものです。これらの結論は、頻度主義者とベイズの両方の観点から達しています。 これには驚きました。 私はそれらの引数を適切に評価するための数学的洗練度を持っていないので、いくつか質問があります。t-エラーを使用して回帰を行うことは一般的に役に立たないのは本当ですか?それらが時々役立つ場合、私はその論文を誤解しているのでしょうか、それとも誤解を招くものですか?それらが役に立たない場合、これはよく知られた事実ですか?重い尾を持つデータを説明する他の方法はありますか? 編集:パラグラフ3とセクション4をよく読んでみると、以下の論文は私がスチューデントt回帰と考えていたものについて話していないようです(エラーは独立した一変量t分布です)。エラーは代わりに単一の分布から引き出され、独立したものではありません。私が正しく理解していれば、この独立性の欠如が、スケールと自由度を独立して推定できない理由を正確に説明しています。 この論文は、読まないようにするための論文のリストを提供していると思います。

2
ドイツ戦車問題の解決策
ドイツ戦車問題の解がパラメーターk(観測されたサンプルの数)とm(観測されたサンプルの最大値)のみの関数であることを正式に数学的に証明したものはありますか?言い換えれば、解が最大値以外の他のサンプル値から独立していることを証明できますか?

2
簡単の証明
ましょうの独立した標準正規確率変数です。そこには多くの(長い)証明があり、Z1,⋯,ZnZ1,⋯,ZnZ_1,\cdots,Z_n ∑i=1n(Zi−1n∑j=1nZj)2∼χ2n−1∑i=1n(Zi−1n∑j=1nZj)2∼χn−12 \sum_{i=1}^n \left(Z_i - \frac{1}{n}\sum_{j=1}^n Z_j \right)^2 \sim \chi^2_{n-1} 多くの証明はかなり長く、それらのいくつかは帰納法を使用します(例えば、Casella Statistical Inference)。この結果を簡単に証明できるかどうか疑問に思っています。

2
バイアスは、推定者の特性ですか、それとも特定の推定値ですか?
例として、観察されたが母集団R 2の偏った推定量であることを知っている学生によく遭遇します。次に、レポートを作成するときに、次のように言います。R2R2R^2R2R2R^2 「私が観察算出及び調整R 2が、それらは、観察されたバイアスの少量のみを示唆し、かなり類似していたR 2、我々が得た値」。R2R2R^2R2R2R^2R2R2R^2 一般的に、バイアスについて話すときは、通常、特定の推定値ではなく、推定量の特性について話していると思います。しかし、引用されたステートメントは、用語の誤用より上にありますか、それとも問題ありませんか?

1
TF-IDF対数での対数の使用について
読んでいた: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition しかし、なぜこの式がそのように構築されたのか、正確には理解できないようです。 私が理解していること: iDFは、各文書に用語Sが出現する頻度をある程度のレベルで測定する必要があり、用語が出現する頻度が高くなるにつれて値が減少します。 その観点から iDF(S)=# of Documents# of Documents containing SiDF(S)=# of Documents# of Documents containing S iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}} さらに、用語の頻度は、次のように正しく記述できます。 tf(S,D)=# of Occurrences of S in document D# maximum number of occurrences for any string Q in document Dtf(S,D)=# …

4
生存分析と生活データ分析の全体像
サバイバル分析やライフデータ分析を聞いたことがありますが、全体像がよくわかりません。 彼らがカバーしているトピックは何だろうと思っていましたか? それは純粋な統計ですか、それとも特定の領域の統計を適用しただけですか? 生涯分析は生存分析の一部ですか? よろしくお願いします!

2
仮説検定と総変動距離対カルバック・ライブラー分岐
私の研究では、次の一般的な問題に遭遇しました。同じドメイン上に2つの分布PPPとQQQがあり、それらの分布からのサンプルが多数(ただし有限)あります。サンプル独立して同一これら二つの分布のいずれかから分配される(分布が関係してもよいが:例えば、QQQの混合物であってもよいPPP。およびいくつかの他のディストリビューション)帰無仮説は、試料から来ることであるPPP、代替仮説はことですサンプルはからのものQQQです。 分布PPPと知って、サンプルのテストでタイプIとタイプIIのエラーを特徴づけようとしていQQQます。特に、私はPPPと知識に加えて、もう1つのエラーを制限することに興味がありQQQます。 私が求めている質問の関係についてmath.SE上の全変動距離の間にPPPとQQQ仮説検定には、私は受け入れたことの答えを受けました。その答えは理にかなっていますが、問題に関連するため、総変動距離と仮説検定の関係の背後にあるより深い意味に心を包むことができませんでした。したがって、私はこのフォーラムを利用することにしました。 私の最初の質問は次のとおりです。全体の変動は、タイプIとタイプIIのエラーの確率の合計にバインドされていますか?本質的に、サンプルがいずれかの分布によって生成された可能性があるゼロ以外の確率がある限り、エラーの少なくとも1つの確率はゼロ以外でなければなりません。基本的に、仮説テスターが信号処理をどれほど行っても、間違いを犯す可能性を回避することはできません。そして、総変動はその正確な可能性を制限します。私の理解は正しいですか? タイプIとIIのエラーと基になる確率分布とQの間には、KLダイバージェンスという別の関係もあります。したがって、私の2番目の質問は次のとおりです。KLダイバージェンスバウンドは、特定の仮説検定法(対数尤度比法の周りに多く出てくるように思われる)にのみ適用できますか、それともすべての仮説検定法に一般的に適用できますか?すべての仮説検定法に適用できる場合、なぜそれが合計変動限界と非常に異なるように見えるのですか?動作は異なりますか?PPPQQQ そして私の根底にある質問は、私がどちらかのバウンドを使用する必要がある所定の一連の状況がありますか、それとも純粋に便利な問題ですか?ある拘束を使用して、他の拘束を使用して結果をいつ導出する必要がありますか? これらの質問が些細なものである場合はお詫び申し上げます。私はコンピュータサイエンティストです(つまり、これは私には空想的なパターンマッチングの問題のようです:))。しかし、私はこの仮説テストのすべてを学び始めたばかりです。必要に応じて、質問を明確にするために最善を尽くします。

3
分布
日常的な練習として、私は√の分布を見つけようとしていますX2+Y2−−−−−−−√X2+Y2\sqrt{X^2+Y^2}XXX及びYYY独立しているU(0,1)U(0,1) U(0,1)ランダム変数。 (X,Y)(X,Y)(X,Y)の結合密度は fX,Y(x,y)=10&lt;x,y&lt;1fX,Y(x,y)=10&lt;x,y&lt;1f_{X,Y}(x,y)=\mathbf 1_{0\cos^{-1}\left(\frac{1}{z}\right)、のようにcosθcos⁡θ\cos\thetaに減少しているθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]; そしてzsinθ&lt;1⟹θ&lt;sin−1(1z)zsin⁡θ&lt;1⟹θ&lt;sin−1⁡(1z)z\sin\theta<1\implies\theta<\sin^{-1}\left(\frac{1}{z}\right)、のようにsinθsin⁡θ\sin\theta上に増加しているθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]。 したがって、1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2、cos−1(1z)&lt;θ&lt;sin−1(1z)cos−1⁡(1z)&lt;θ&lt;sin−1⁡(1z)\cos^{-1}\left(\frac{1}{z}\right)<\theta<\sin^{-1}\left(\frac{1}{z}\right)。 変換のヤコビアンの絶対値です|J|=z|J|=z|J|=z こうしての関節密度(Z,Θ)(Z,Θ)(Z,\Theta)によって与えられます。 fZ,Θ(z,θ)=z1{z∈(0,1),θ∈(0,π/2)}⋃{z∈(1,2√),θ∈(cos−1(1/z),sin−1(1/z))}fZ,Θ(z,θ)=z1{z∈(0,1),θ∈(0,π/2)}⋃{z∈(1,2),θ∈(cos−1⁡(1/z),sin−1⁡(1/z))}f_{Z,\Theta}(z,\theta)=z\mathbf 1_{\{z\in(0,1),\,\theta\in\left(0,\pi/2\right)\}\bigcup\{z\in(1,\sqrt2),\,\theta\in\left(\cos^{-1}\left(1/z\right),\sin^{-1}\left(1/z\right)\right)\}} θθ\theta積分すると、次のようにZZZのpdfが得られます。 fZ(z)=πz210&lt;z&lt;1+(πz2−2zcos−1(1z))11&lt;z&lt;2√fZ(z)=πz210&lt;z&lt;1+(πz2−2zcos−1⁡(1z))11&lt;z&lt;2f_Z(z)=\frac{\pi z}{2}\mathbf 1_{0\sqrt 2 \end{cases} 正しい表現のように見えます。1 &lt; z &lt; √の場合のFZFZF_Z微分1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2、すでに取得したpdfに簡単に単純化できない式を表示します。 最後に、私はCDFの正しい写真があると思います。 用0&lt;z&lt;10&lt;z&lt;10<z<1: そして1&lt;z&lt;2–√1&lt;z&lt;21<z<\sqrt 2: 網掛け部分は、領域の面積を示します{(x,y):0&lt;x,y&lt;1,x2+y2≤z2}{(x,y):0&lt;x,y&lt;1,x2+y2≤z2}\left\{(x,y):0<x,y< 1\,,\,x^2+y^2\le z^2\right\} 写真はすぐに得られます FZ(z)=Pr(−z2−X2−−−−−−−√≤Y≤z2−X2−−−−−−−√)=⎧⎩⎨⎪⎪⎪⎪πz24z2−1−−−−−√+∫1z2−1√z2−x2−−−−−−√dx, if 0&lt;z&lt;1, if 1&lt;z&lt;2–√FZ(z)=Pr(−z2−X2≤Y≤z2−X2)={πz24, if 0&lt;z&lt;1z2−1+∫z2−11z2−x2dx, if 1&lt;z&lt;2\begin{align} F_Z(z)&=\Pr\left(-\sqrt{z^2-X^2}\le Y\le\sqrt{z^2-X^2}\right) \\&=\begin{cases}\frac{\pi z^2}{4} &,\text{ if } …

1
フィットしたグラフとガンマ分布の実際のグラフを1つのプロットで描画する方法は?
必要なパッケージをロードします。 library(ggplot2) library(MASS) ガンマ分布に適合した10,000個の数値を生成します。 x &lt;- round(rgamma(100000,shape = 2,rate = 0.2),1) x &lt;- x[which(x&gt;0)] xがどの分布に適合するかわからないと仮定して、確率密度関数を描画します。 t1 &lt;- as.data.frame(table(x)) names(t1) &lt;- c("x","y") t1 &lt;- transform(t1,x=as.numeric(as.character(x))) t1$y &lt;- t1$y/sum(t1[,2]) ggplot() + geom_point(data = t1,aes(x = x,y = y)) + theme_classic() グラフから、xの分布がガンマ分布に非常に似ていることがわかるのでfitdistr()、パッケージでを使用してMASS、ガンマ分布の形状と速度のパラメーターを取得します。 fitdistr(x,"gamma") ## output ## shape rate ## 2.0108224880 0.2011198260 ## (0.0083543575) …

4
Rの離散時間イベント履歴(生存)モデル
Rに離散時間モデルを適合させようとしていますが、その方法がわかりません。 従属変数を時間監視ごとに1つずつ異なる行に編成し、glm関数をlogitまたはcloglogリンクで使用できることを読みました。この意味で、私は3つの列があります:ID、Event(各time-obsで1または0)およびTime Elapsed(観測の開始以降)、および他の共変量。 モデルに合うようにコードを書くにはどうすればよいですか?従属変数はどれですか?Event従属変数として使用できTime Elapsed、共変量に含めることができると思います。しかし、どうなりIDますか?必要ですか? ありがとう。
10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

1
サンプルの自己共分散関数に関する質問
私は時系列分析の本を読んでおり、サンプルの自己共分散の式は本で次のように定義されています。 γˆ(h )= n− 1Σt = 1n − h(xt + h− x¯)(xt− x¯)γ^(h)=n−1∑t=1n−h(xt+h−x¯)(xt−x¯)\widehat{\gamma}(h) = n^{-1}\displaystyle\sum_{t=1}^{n-h}(x_{t+h}-\bar{x})(x_t-\bar{x}) 用。は平均です。γˆ(− h )= γˆ(h )γ^(−h)=γ^(h)\widehat{\gamma}(-h) = \widehat{\gamma}(h)\;ˉ XH = 0 、1 、。。。、n − 1h=0,1,...,n−1\;h = 0,1, ..., n-1バツ¯x¯\bar{x} 合計をではなく除算する理由を誰かが直感的に説明できますか?この本は、これは上記の式が非負定関数であるためであると説明しているため、で除算することが推奨されますが、これは私にはわかりません。誰かがこれを証明したり、例を示したりできますか?n − h nんnnn − hn−hn-hんnn 私にとって最初は直感的に除算することになります。これは、自己共分散の不偏または偏りのある推定量ですか?n−hn−hn-h

1
R線形回帰のカテゴリ変数「非表示」の値
これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する: a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(&gt;|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因(要因x2であること)に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか?たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか? これの例を他の場所(例:ここ)で見ましたが、理解できる説明は見つかりませんでした。
10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

1
シーケンスの減少を証明する(多数の点をプロットすることでサポートされます)
先月私がSEに投稿した質問の多くは、この特定の問題を解決する手助けをすることを目的としています。質問はすべて答えられましたが、それでも解決策は思いつきません。それで、私が直接解決しようとしている問題を尋ねるだけでよいと考えました。 LET、、、(整数)、毎オーバー累積分布関数である 。Xn∼FnXn∼FnX_n \sim F_nFn=(1−(1−Fn−1)c)cFn=(1−(1−Fn−1)c)cF_n = (1-(1-F_{n-1})^c)^cF0=xF0=xF_0 = xc≥2c≥2c\geq 2FnFnF_n(0,1)(0,1)(0,1) がすべての(または特定の)でもとともに減少することを証明したい!私が見ることができ、そのに固有の溶液でディラック質量に収束 の場合、。同じに対してを増加させるための累積分布関数のプロットを見ると、すべての累積分布関数が交差しています。値の値について減少する未満の値に対する増加より大きいEXnEXn\mathbb{E}X_nnnnccccccFnFnF_nxc=(1−(1−x)c)c)xc=(1−(1−x)c)c)x_c = (1-(1-x)^c)^c)c=2c=2c=2x2=(3−5–√)/2≈.38x2=(3−5)/2≈.38x_2 = (3-\sqrt{5})/2 \approx .38nnncccxnxnx_nF(x)F(x)F(x)xxxxnxnx_nxxxxnxnx_n(が増加するにつれて)垂直線に収束します。nnnxnxnx_n 下のプロットであるためのののためのに。もちろん離散プロットですが、見やすくするために線をつないでいます。このプロットを生成するために、MathematicaでNIntegrateを使用しましたが、何らかの理由でMathematicaが元の関数高い値で応答を生成できなかったため、で実行する必要がありました。ヤングの定理に従って、2つは同等である必要があります。私の場合、、。EXnEXn\mathbb{E}X_nn=1n=1n = 1404040c=2c=2c = 27771−F−1n1−Fn−11-F^{-1}_nnnn∫10F(x)dx=∫101−F−1(x)dx∫01F(x)dx=∫011−F−1(x)dx\int_0^1F(x)\,dx = \int_0^1 1-F^{-1}(x)\,dxF−1n(x)=1−(1−(F−1n−1)1c)1cFn−1(x)=1−(1−(Fn−1−1)1c)1cF^{-1}_n(x) = 1-(1-(F^{-1}_{n-1})^{\frac{1}{c}})^{\frac{1}{c}}F−1n=xFn−1=xF^{-1}_n = x ご覧のとおり、は、固定点から微小距離まで非常に移動します。以下のように増加、固定小数点減少は(最終的に0になります)。EXnEXnEX_nxcxcx_cccc したがって、すべてのについて、がとともに減少することは確かに事実です。しかし、それを証明することはできません。誰かが私を助けてくれますか?(繰り返しになりますが、が1つでも満足します)できない場合でも、この特定の問題が解決できない理由について洞察があれば、その洞察も共有してください。 EXnEXnEX_nnnncccccc

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.