タグ付けされた質問 「regression」

私の友人は最近、普通の最小二乗について、何がそんなに普通かを尋ねました。議論のどこにも行き着かなかったようです。OLSは線形モデルの特殊なケースであり、多くの用途があり、よく知られており、他の多くのモデルの特殊なケースであることに、両者は同意しました。しかし、これは本当にすべてですか？ したがって、私は知りたいのですが： 名前は本当にどこから来たのですか？ 名前を最初に使用したのは誰ですか？

9 regression  linear-model  least-squares  terminology 

Rでより最近の観測により多くの重みを割り当てるにはどうすればよいですか？ 私はこれをよくある質問または欲求と見なしますが、これを実装する方法を正確に理解するのに苦労します。私はこれについてたくさん検索しようとしましたが、良い実用的な例を見つけることができません。 私の例では、時間の経過とともに大きなデータセットができます。最近のデータ行にある種の指数重み付けを適用したいと言いたいです。したがって、2015年の観測は2012年の観測よりもモデルのトレーニングに重要であると言って、ある種の指数関数を持つことになります。 データセット変数にはカテゴリ値と数値の混合が含まれており、ターゲットは数値です-それが重要な場合。 GBRET / Random Forestなどのモデルを使用して、理想的にはCARETパッケージでテスト/試してみたいと思います。 更新質問 2つのポイント間の日付距離によって重みを指数関数的に減衰させる方法について、以下に示す応答に感謝します。 ただし、このモデルをキャレットでトレーニングする場合、重みはどの程度正確に考慮されますか？各トレーニング行の重み値は、将来のあるポイントとそのポイントが履歴的に発生したときの間の距離です。 重みは予測中にのみ機能しますか？なぜなら、それらがトレーニング中に出てきた場合、さまざまなクロスフォールドが異なる重みを持ち、実際にその前の時点であるかもしれない何かを予測しようとするため、あらゆる種類の問題を引き起こさないのではないでしょうか？

9 r  time-series  regression  random-forest 

ARMA-GARCHのような時系列モデルでは、モデルの適切なラグまたは順序を選択するために、AIC、BIC、SICなどのさまざまな情報基準が使用されます。 私の質問は非常に単純です、なぜ適切なモデルを選択するために調整されたを使用しないのですか？調整後の値が高くなるモデルを選択できます。調整された両方のために前者PENALIZEモデルにおける説明変数の追加数の情報量基準PENALIZE以降PENALIZE尤度値。 R2R2R^2R2R2R^2R2R2R^2R2R2R^2

9 regression  time-series  model-selection  aic  bic 

一部のデータでRを使用し、データが不均一であるかどうかを確認しようとしたところ、Breusch-Paganテストの2つの実装、bptest（パッケージlmtest）とncvTest（パッケージcar）が見つかりました。ただし、これらの結果は異なります。2つの違いは何ですか？どちらを使用するかをいつ選択すべきですか？ > model <- lm(y ~ x) > bp <- bptest(model) > bp studentized Breusch-Pagan test data: model BP = 3.3596, df = 1, p-value = 0.06681 > ncvTest(model) Non-constant Variance Score Test Variance formula: ~ fitted.values Chisquare = 3.858704 Df = 1 p = 0.04948855 これらの例は、テストによると、私のデータはある場合には異分散性であり、別の場合には同分散性であることを示しています。ここでこの質問を見つけたので、bptestが学生化されている可能性があり、ncvTestはそうではない可能性がありますが、これはどういう意味ですか？

9 r  regression  heteroscedasticity  assumptions  breusch-pagan 

我々はデータ行列があるとであり、N行列P、およびラベルベクトルYであり、nは -by-一つ。ここで、行列の各行は観測値であり、各列は次元/変数に対応しています。（n > pと仮定）バツX\mathbf{X}んnnpppYYYんnnn>pn>pn>p 次に何をすべきかdata space、variable space、observation space、model space意味ですか？ 列ベクトルにまたがる空間は、ランクpでありながらn座標を持っているため、（退化した） -D空間であり、変数ベクトルにまたがるため、可変空間と呼ばれますか？それとも、各次元/座標が観測に対応するため、観測空間と呼ばれますか？nnnnnnppp そして、行ベクトルがまたがる空間はどうですか？

9 regression  multiple-regression  terminology  geometry  biplot 

私がロジスティックモデルで見た典型的なAICの値は、数千、少なくとも数百です。例：http: //www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/では、AICは727.39です。 AICはモデルを比較するためだけに使用するべきだと常に言われていますが、特定のAIC値の意味を理解したいと思いました。式に従って、 A IC= − 2 ログ（L ）+ 2 KAIC=−2log⁡(L)+2KAIC= -2 \log(L)+ 2K ここで、L = MLE推定器からの最尤、Kはパラメーターの数 上記の例では、K = 8 だから、単純な算術で： 727.9 = -2*log(L)+ 2*8 Hence, 711.39 = -2*log(L) Hence, log (L)= 711.39/-2 = -355.695 Hence, L = exp(-355.695) = 3.3391E-155 したがって、私の理解が正しければ、これはMLEによって識別された関数がデータに適合する可能性です。これは本当に本当に低いようです。 ここで何が欠けていますか？

9 regression  model-selection  aic  accuracy 

私は回帰の一般的なセットアップを想定しています。つまり、連続関数は、ファミリーから選択され、与えられたデータに適合します。（は立方体ような任意の空間、または実際には適切なトポロジー空間です）いくつかの自然な基準に従います。hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n{hθ}θ{hθ}θ\{h_\theta\}_\theta(xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, kXXX[0,1]m[0,1]m[0,1]^m 一つは輪郭に興味があり、回帰のアプリケーションが存在するの一部ポイントのため例えばゼロセット-？h−1(y)h−1(y)h^{-1}(y)hhhy∈Rny∈Rny\in \mathbb R^nh−1(0)h−1(0)h^{-1}(0) 私の興味の説明は以下の通りです：多くの状況で学んだに添付不確実性があるため（不正確またはデータの欠如）が、一つはゼロセットを分析することができます "しっかり」。つまり、すべての「摂動」に共通するゼロセットの特徴を調べます。最近、非常に一般的な設定において、摂動がノルムのに近い任意の連続写像になる可能性があることで、非常によく理解されています。または、基本的に同等に、は任意の連続であり、すべてのに対してが存在します。hθhθh_\thetah−1(0)h−1(0)h^{-1}(0)hhhfffhhhℓ∞ℓ∞\ell_\inftyfffx∈Xx∈Xx\in X|f(x)−h(x)|≤c(x)|f(x)−h(x)|≤c(x)|f(x)-h(x)|\le c(x)c:X→Rc:X→Rc:X\to\mathbb Rはごとに信頼値を提供します。xxx 理論とアルゴリズムを開発する主な動機は、背後にあるエキサイティングな数学です（本質的にすべての問題/質問がホモトピー理論に還元されます）。ただし、現在の段階では、アルゴリズムをさらに開発して実装するために、より具体的な設定と目標を選択する必要があります。

9 regression  machine-learning  multiple-regression 

データ範囲外に投影するために回帰を使用することについてどう思いますか？線形またはべき乗モデルの形状に従うことが確かな場合、モデルはデータ範囲を超えて有用ではないでしょうか？たとえば、私は価格によって駆動されるボリュームを持っています。私は信じているデータ範囲外の価格を予測できるはずです。あなたの考え？ VOL PRICE 3044 4.97 2549 4.97 3131 4.98 2708 4.98 2860 4.98 2907 4.98 3107 4.98 3194 4.98 2753 4.98 3228 4.98 3019 4.98 3077 4.99 2597 4.99 2706 4.99 3000 4.99 3022 4.99 3084 4.99 3973 4.99 3675 4.99 3065 4.99 3407 4.99 2359 4.99 2802 4.99 2589 …

9 regression  dataset  linear-model 

k分割CVを使用して回帰モデルから選択する場合、通常、モデルごとにCVエラーを標準エラーSEと一緒に計算し、CVエラーが最も低いモデルの1 SE内で最も単純なモデルを選択します（1標準エラールール。たとえば、こちらを参照してください）。ただし、最近、この方法で変動性を過大評価していること、および2つのモデルAとBの間で選択する特定のケースでは、実際には別の方法で進める必要があると言われました。 長さ各フォールドについて、2つのモデル予測間の点ごとの差を計算します。、フォールドの平均二乗差KKKNKNKN_KMSDK=∑NKi=1(y^Ai−y^Bi)2NK−−−−−−−−−−−−−−−√MSDK=∑i=1NK(y^Ai−y^Bi)2NKMSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}} 通常どおり、フォールド全体の平均を使用し、このCV差エラーを（その標準エラーと共に）汎化エラーの推定値として使用します。MSDKMSDKMSD_K 質問： これはあなたにとって意味がありますか？CVエラーを汎化エラーの推定値として使用することには、理論的な理由があることはわかっています（これらの理由はわかりませんが、存在することはわかっています！）。この「差」CVエラーの使用の背後に理論的な理由があるかどうかはわかりません。 これを3つ以上のモデルの比較に一般化できるかどうかはわかりません。モデルのすべてのペアの違いを計算するのは危険に思われます（複数の比較？）：3つ以上のモデルがある場合はどうしますか？ 編集：私の数式は完全に間違っています、正しいメトリックがここに記載されており、はるかに複雑です。まあ、盲目的に式を適用する前にここで私が尋ねたのは嬉しいです！@Bayが彼の明快な答えで理解を助けてくれたことに感謝します。説明されている正しい測定は非常に実験的なものなので、信頼できる主力のCVエラーに固執します。

9 regression  cross-validation  model-selection 

線形回帰モデルを考えます yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, ここで、εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b)、つまり、000平均とbbbスケールパラメーターをもつラプラス分布は、すべて相互に独立しています。未知のパラメーター\ boldsymbol \ betaの最尤推定を考えますββ\boldsymbol \beta： −logp(y∣X,β,b)=nlog(2b)+1b∑i=1n|xi⋅β−yi|−log⁡p(y∣X,β,b)=nlog⁡(2b)+1b∑i=1n|xi⋅β−yi| -\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i| そこから …

9 regression  laplace-distribution 

機械学習の本を読んだところ、線形回帰のパラメーターは（他の方法の中でも）勾配降下法によって推定できる一方で、ロジスティック回帰のパラメーターは通常、最尤推定によって推定されます。 線形/ロジスティック回帰に異なる方法が必要な理由を初心者（私）に説明することは可能ですか？別名線形回帰の場合はMLEを使用せず、ロジスティック回帰の場合は勾配降下を使用しないのはなぜですか？

9 regression  logistic  maximum-likelihood 

この論文、（分散コンポーネントのベイズ推論はコントラストエラーのみ使用し、著者の主張、Harville、1974） は「よく知られている」関係」、線形回帰の場合 ここで Y = X β(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)ε 〜N（0 、H ）。y=Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). これはどのように有名ですか？これを証明する最も簡単な方法は何ですか？

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

筆者は、OLSを取り上げた私の計量経済学のテキスト（Introductory Econometrics）で、「別の説明変数が追加されたときにSSRが下がる必要がある」と書いています。それはなぜです？

9 regression  optimization  econometrics  intuition  sums-of-squares 

質問： 不適切な線形モデルは実際に使用されていますか、それとも科学雑誌で時々説明されているある種の好奇心ですか？もしそうなら、それらはどの領域で使用されていますか？ そのようなモデルの他の例はありますか？ 最後に、そのようなモデルのOLSから取得した標準誤差、値、R 2などは正しいのでしょうか、それとも何らかの方法で修正する必要がありますか？pppR2R2R^2 背景：不適切な線形モデルは、文献に随時説明されています。一般に、そのようなモデルは次のように説明できます。 y=a+b∑iwixi+εy=a+b∑iwixi+ε y = a + b \sum_i w_i x_i + \varepsilon 回帰との違いは、はモデルで推定された係数ではなく、wjwjw_j 各変数等しい（単位加重回帰）、wi=1wi=1w_i = 1 相関に基づく（Dana and Dawes、2004）、wi=ρ(y,xi)wi=ρ(y,xi)w_i = \rho(y, x_i) ランダムに選択された（Dawes、1979）、 −1−1-1yyy111yyy ZZZ y=a+bv+εy=a+bv+ε y = a + b v + \varepsilon v=∑wixv=∑wixv = \sum w_i x 参考文献： Dawes、Robyn M.（1979）。意思決定における不適切な線形モデルの堅牢な美しさ。アメリカの心理学者、 34、571-582。 Graefe、A.（2015）。均等に重み付けされた予測子を使用して予測を改善します。Journal of …

9 regression  references  linear-model  robust 

私はから主成分分析の基礎について読んtutorial1、リンク1とリンク2。 100個の変数（出力変数Yを含む）のデータセットがあります。PCAによって変数を40に減らし、それらの40変数を使用して変数Yを予測します。 問題1：主成分を取得して最初の40個の成分を選択した後、それに回帰を適用すると、データに適合するいくつかの関数が得られます。しかし、元のデータから変数Yを予測するにはどうすればよいでしょうか。変数YIを予測するには、入力に（100-1）個の変数があり、元の100-1個の変数から選択する40個の変数をどのようにして知ることができますか？ 問題2： PCAを逆にして、40の主要コンポーネントからデータを取得します。しかし、最初の40個のコンポーネントのみを選択したため、データが変更されています。これらのデータに回帰を適用しても意味がありますか？ 私はMatlab / Octaveを使用しています。

9 regression  pca