タグ付けされた質問 「convergence」

ましょパラメータを持つ二項分布関数（DF）を示しとで評価： \ begin {equation} B（n、p、r）= \ sum_ {i = 0} ^ r \ binom {n} {i} p ^ i（1-p）^ {ni}、\ end {equation } およびF（\ nu、r）が、パラメーター\ a \ in \ mathbb R ^ +で評価されたポアソンDFを表し、r \ in \ {0,1,2、\ ldots \}で評価されます： \ begin {equation} F（a 、r）= e ^ {-a} \ sum_ {i …

30 binomial  poisson-distribution  convergence  probability-inequalities 

GAMを使用すると、残留DFは（コードの最終行）になります。どういう意味ですか？GAMの例を超えて、一般に、自由度の数を整数以外の数にすることはできますか？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

確率が収束する確率変数と分布が収束する確率変数の直感的な違いは何ですか？ 私は数多くの定義と数学の方程式を読みましたが、それは本当に助けにはなりません。（覚えておいてください、私は計量経済学を勉強している大学生です。） ランダム変数はどのようにして単一の数値に収束しますが、分布にも収束しますか？

26 distributions  random-variable  convergence  intuition 

EMアルゴリズムの説明をいくつか読みました（たとえば、Bishopのパターン認識と機械学習、および機械学習に関するロジャーとジェロラミの最初のコースから）。EMの派生は大丈夫です、私はそれを理解しています。また、アルゴリズムが何かをカバーする理由も理解しています：各ステップで結果を改善し、尤度は1.0で制限されているため、単純な事実（関数が増加し、制限される場合は収束する）を使用することで、アルゴリズムが収束することがわかりますいくつかの解決策。 しかし、それがローカルミニマムであることをどのように知るのでしょうか？各ステップでは、1つの座標（潜在変数またはパラメーター）のみを検討しているため、ローカルミニマムでは両方の座標を同時に移動する必要があるなど、何かを見逃す可能性があります。 これは、EMのインスタンスである一般的なクラスの山登りアルゴリズムと同様の問題だと思います。したがって、一般的な山登りアルゴリズムでは、関数f（x、y）= x * yに対してこの問題があります。（0、0）ポイントから開始する場合、両方の方向を一度に考慮することによってのみ、0の値から上に移動できます。

24 missing-data  convergence  expectation-maximization 

の最大値 iid Standardnormalsは、極値理論に従って標準ガンベル分布に収束します。バツ1、… 、Xn。〜X1,…,Xn.∼X_1,\dots,X_n. \sim どのようにそれを示すことができますか？ 我々は持っています P（最大X私≤ X ）= P（X1≤ X 、... 、Xn≤ X ）= P（X1≤ X ）⋯ P（Xn≤ X）= F（x ）nP(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(\max X_i \leq x) = P(X_1 \leq x, \dots, X_n \leq x) = P(X_1 \leq x) \cdots P(X_n \leq x) = F(x)^n 我々は、選択/検索する必要が定数のシーケンスように：F \左（A_N X + B_N \右）^ …

21 probability  normal-distribution  convergence  extreme-value 

標準偏差が際限なく大きくなる場合、正規分布は特定の分布に収束しますか？PDF開始は、によって与えられた境界を持つ一様分布のように見えるように私には見える[−2σ,2σ][−2σ,2σ][-2 \sigma, 2 \sigma]。これは本当ですか？

18 normal-distribution  convergence 

この問題は以前に発生しましたが、それを明確にする（そして分類する）答えを引き出すことを試みる特定の質問をしたいと思います。 「Poor Man's Asymptotics」では、 （a）確率が定数に収束する一連のランダム変数 対照的に （b）確率が確率変数に収束する（したがって分布する）確率変数のシーケンス。 しかし、「賢者の漸近」では、次の場合もあります。 （c）限界で非ゼロの分散を維持しながら、確率が定数に収束するランダム変数のシーケンス。 私の質問は次のとおりです（以下の自分の探索的回答から盗みます）： どのように我々は漸近的に一致しているが、推定理解することができますまた、非ゼロ、有限の分散を持っているの？この差異は何を反映していますか？その動作は、「通常の」一貫した推定量とどのように異なりますか？ （c）で説明されている現象に関連するスレッド（コメントも参照）： 一貫性のある推定量と公平な推定量の違いは何ですか？ /stats/120553/convergence-of-an-estimator-with-infinite-variance 漸近的に整合性のある推定器が無限大でゼロ分散を持たないのはなぜですか？ 収束と制限分散がほぼ確実にゼロになる

18 mathematical-statistics  variance  convergence  asymptotics  consistency 

中央極限定理（CLT）に関する初心者の質問があります。 私は、CLTがiid確率変数の平均がほぼ正規分布している（場合、nは加数のインデックスである）か、標準化されたランダム変数は標準正規分布を持つと述べています。n→∞n→∞n \to \inftynnn 今、大数の法則は、iidランダム変数の平均が（確率またはほぼ確実に）期待値に収束すると言っています。 私が理解していないことは、CLTが述べているように、平均がほぼ正規分布している場合、同時にどのようにして期待値に収束することができますか？ 収束は、時間とともに平均が期待値ではない値を取る確率がほぼゼロであることを意味します。したがって、分布は実際には正規ではなく、期待値以外のどこでもほぼゼロになります。 どんな説明でも大歓迎です。

18 probability  normal-distribution  convergence  central-limit-theorem  law-of-large-numbers 

MSE = 0をとして表示するだけで十分ですか？私はメモでプリムについても読みました。plimを見つけてそれを使用して、推定量が一貫していることを示すにはどうすればよいですかn→∞n→∞n\rightarrow\infty

17 estimation  convergence  consistency 

（元々MSEに投稿されました。） 古典的な中心極限定理のヒューリスティックな議論の多くは、確率密度の空間における「アトラクター」として正規分布（または任意の安定した分布）を語っています。たとえば、Wikipediaの扱いの最上位にあるこれらの文を考えてみましょう。 より一般的な使用法では、中心極限定理は確率論における弱収束定理のセットのいずれかです。それらはすべて、多くの独立した同一に分布した（iid）ランダム変数、または特定の種類の依存関係を持つランダム変数の合計が、アトラクタ分布の小さなセットの1つに従って分布する傾向があるという事実を表しています。iid変数の分散が有限の場合、アトラクタ分布は正規分布です。 この動的システム言語は非常に暗示的です。フェラーはまたに（つまり、言語のソースである場合、私の不思議）彼の第二のボリュームにCLTの彼の治療に「魅力」のことを話す、とのYuval Flimus このノートさえ話す「の魅力の流域。」（私は彼が本当に「の正確な形式意味はないと思うの魅力の流域は、」の正確な形式推論事前にある「のではなくアトラクターが演繹事前にある」;まだ、言語があります。）私の質問は次のとおりです。これらのことができます動的なアナロジーを正確にできますか？多くの本は、正規分布が畳み込み下での安定性（およびフーリエ変換下での安定性）に特別であることを強調しているが、私はそれらの本を知らない。これは基本的に、固定小数点であるため、法線が重要であることを示しています。CLTはさらに進んで、固定小数点ではなく、アトラクタであることを示しています。 この幾何学的な図を正確にするために、位相空間を適切な無限次元関数空間（確率密度の空間）とし、進化演算子を初期条件で畳み込みを繰り返すことを想像します。しかし、私はこの絵をうまく機能させるために必要な技術や、追求する価値があるかどうかについては理解していません。 私はこのアプローチを明確に追求する治療法を見つけることができないので、それができる、または面白いという私の感覚に何か間違っているに違いないと思います。その場合は、その理由を聞きたいです。 編集：Math Stack ExchangeとMathOverflowには、読者が興味を持ちそうな3つの同様の質問があります。 いくつかの分布空間（MO）の固定小数点としてのガウス分布 最大エントロピー（MO）による中心極限定理 いくつかの不動点定理による中心極限定理の証明はありますか？（MSE）

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

R glmerのlme4パッケージの関数を使用しており、bobyqaオプティマイザーを使用しています（つまり、私の場合のデフォルト）。私は警告を受けており、それが何を意味するのか興味があります。 Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce q 「信頼領域のステップでqを減らすことができませんでした」を検索しました。「説明のためにパウエルに相談してください」と言ったminqaパッケージで情報を見つけました。私はやりました（もし望むなら、あなたもできます！以下への参照とリンクを見てください）が、理解できません。実際、qを減らすことに関して何も見つけることができませんでした。 MJDパウエル（2007）「派生物のない制約のない最小化のためのNEWUOAの開発」、ケンブリッジ大学、応用数学および理論物理学、数値解析グループ、レポートNA2007 / 05、http： //www.damtp.cam.ac.uk/ ユーザー/ NA / NA_papers / NA2007_05.pdf。 MJDパウエル（2009）、「デリバティブを使用しないバインド制約付き最適化のためのBOBYQAアルゴリズム」、レポート番号DAMTP 2009 / NA06、英国ケンブリッジ大学数学科学センター http://www.damtp.cam.ac.uk/user/na/NA_papers/NA2009_06.pdf。 Psオプティマイザーを変更できることはわかっているので、警告やエラーなしで出力を取得できるかどうかを確認します。Ben Bolkerのコメント/回答に従って、可能な場合は勾配とヘッセ行列もチェックします。私はfrom glmer内で使用しています。ベンの答えが追加の調整なしで機能するかどうかはわかりませんが、コンピューターがそれを行っていることを完了したら、それで作業します、とにかく、私は脱線します。dredgeMuMIn 更新 以下のBolker博士のコメントに従って、私はFORTRANコードを調べ始めました（これは、ダウンロードするのではなく、見ることに興味がある人のためのコードです）コードのbobyqb.f部分に「430」が表示されます。「430」または「Qを減らす」を検索して、関連するコードを見つけます。 これはFORTRANコードとの最初の出会いですが、次の条件が満たされた場合に警告が生成されるとコードに書かれていると思います：NTRITS> …

16 r  optimization  lme4-nlme  convergence  glmm 

k-meansアルゴリズムは局所的な最小値にのみ収束し、グローバルな最小値には収束しないことを読みました。どうしてこれなの？初期化が最終的なクラスタリングにどのように影響するかを論理的に考えることができ、最適でないクラスタリングの可能性がありますが、数学的にそれを証明するものは見つかりませんでした。 また、なぜk-meansは反復プロセスなのですか？目的関数を重心に部分的に区別するだけでは、この関数を最小化する重心を見つけるためにそれをゼロに等しくすることはできませんか？段階的な最小ステップに到達するために勾配降下を使用する必要があるのはなぜですか？

16 clustering  k-means  convergence  gradient-descent  minimum 

ここからダウンロードできるStanドキュメントを調べていました。Gelman-Rubin診断の実装に特に興味がありました。元の論文Gelman＆Rubin（1992）は、潜在的な縮尺率（PSRF）を次のように定義しています。 ましょうであるサンプリング番目のマルコフ連鎖、および全体的な存在であるとするサンプリング独立チェーン。ましょうから平均する番目の鎖、及び全体平均です。定義、 ここで そして、定義Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}iiiMMMX¯i⋅X¯i⋅\bar{X}_{i\cdot}ˉ X ⋅ ⋅ W = 1iiiX¯⋅⋅X¯⋅⋅\bar{X}_{\cdot \cdot}s 2 m =1W=1M∑m=1Ms2m,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, B B = Ns2m=1N−1∑t=1N(X¯mt−X¯m⋅)2.sm2=1N−1∑t=1N(X¯mt−X¯m⋅)2.s^2_m = \dfrac{1}{N-1} \sum_{t=1}^{N} (\bar{X}_{m t} - \bar{X}_{m \cdot})^2\,. BBB B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B = \dfrac{N}{M-1} \sum_{m=1}^{M} (\bar{X}_{m \cdot} - \bar{X}_{\cdot \cdot})^2 \,. 定義 PSRFはで推定されここで ここで、。√V^=(N−1N)W+(M+1MN)B.V^=(N−1N)W+(M+1MN)B.\hat{V} = \left(\dfrac{N-1}{N} \right)W …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

高次元回帰の分野での研究を読み上げようとしています。場合より大きいN、即ち、P > > N。log p / nという用語は、回帰推定量の収束率の観点から頻繁に現れるようです。pppnnnp>>np>>np >> nlogp/nlog⁡p/n\log p/n β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = O_P \left(\sigma \sqrt{\dfrac{\log p}{n} } \|\beta\|_1\right)\,. 通常、これはがよりも小さいことも意味し。logplog⁡p\log pnnn この比率が非常に顕著である理由について直感はありますか？logp/nlog⁡p/n\log p/n また、文献にば、場合、高次元の回帰問題は複雑になり。なぜそうですか？logp≥nlog⁡p≥n\log p \geq n とが互いに比較してどれだけ速く成長するかという問題を議論する良いリファレンスはありますか？pppnnn

16 regression  lasso  convergence  high-dimensional 

私の質問は： 一般化線形モデル（GLM）は、グローバルな最大値に収束することが保証されていますか？もしそうなら、なぜですか？ さらに、凸性を保証するためのリンク関数にはどのような制約がありますか？ GLMについての私の理解は、それらが高度に非線形な尤度関数を最大化するということです。したがって、いくつかの極大値があり、収束するパラメーターセットは最適化アルゴリズムの初期条件に依存すると想像します。しかし、いくつかの研究を行った後、複数の局所的最大値があることを示す単一の情報源は見つかりませんでした。さらに、私は最適化手法にあまり精通していませんが、ニュートンラプソン法とIRLSアルゴリズムは極大になりやすいことを知っています。 可能であれば、直感的かつ数学的に説明してください！ 編集：dksahujiは私の元の質問に答えましたが、上記の追加の質問[ 2 ] を追加したいと思います。（「凸性を保証するためのリンク関数にはどのような制約がありますか？」）

16 generalized-linear-model  optimization  convergence  exponential-family