タグ付けされた質問 「regression」

現在、モデリングに使用する変数を選択するために主成分分析を使用しています。現時点では、実験でA、B、Cの測定を行っています-私が本当に知りたいのは、測定を減らし、CとBの記録を停止して時間と労力を節約できるかということです。 3つの変数すべてが、データの分散の60％を占める最初の主成分に大きく負荷をかけることがわかります。コンポーネントスコアから、これらの変数を特定の比率（aA + bB + cC）で加算すると、わかります。データセットの各ケースについてPC1でスコアを取得でき、このスコアをモデリングの変数として使用できますが、それではBとCの測定を停止できません。 PC1のAとBおよびCの負荷を2乗すると、変数AはPC1の分散の65％を占め、変数BはPC1の分散の50％を占め、変数Cも50％を占めることがわかります。各変数A、B、Cによって説明されるPC1の分散の別の変数は別の変数と共有されますが、Aはわずかに多くを占めてトップになります。 この変数はPC1の分散の大部分を表し、これが次に分散の大部分を表すため、モデリングで使用する変数Aまたは場合によっては（必要に応じてaA + bB）を選択できると考えるのは間違っていますか？データ？ 過去にどのアプローチをしましたか？ 他の重いローダーがある場合でも、PC1に最も重い負荷をかける単一の変数？ すべてが重いローダーであっても、すべての変数を使用したPC1のコンポーネントスコア？

12 regression  pca  model-selection 

以下からの計量経済学、林文夫（Chpt 1）によって： 無条件の同相性： 誤差項E（εᵢ²）の2番目の瞬間は、観測全体で一定です 関数形式E（εᵢ²| xi）は観測全体で一定です 条件付き同相性： 誤差項E（εᵢ²）の2次モーメントが観測全体で一定であるという制限が解除されます。 したがって、条件付き二次モーメントE（εᵢ²| xi）は、xᵢに依存する可能性があるため、観測全体で異なる可能性があります。 それで、私の質問： 条件付き同相性は、異相性とどのように異なりますか？ 私の理解では、2番目の瞬間が観測（xᵢ）で異なる場合、不均一分散性があるということです。

12 regression  econometrics  heteroscedasticity  assumptions 

yyyがxxxとダミー線形関数だとしましょうddd。私の仮説は、自体は他の変数のベクトル快楽主義的なインデックスのようなものだということです。dの（つまりz_1、z_2、...、z_n）でこれをサポートしています。これらの2つのモデルの等価性をテストする方法はありますか？dddZZZMANOVAMANOVAMANOVAZZZz1z1z_1z2z2z_2znznz_nddd モデル1：y=b0+b1⋅x+b2⋅d+e1y=b0+b1⋅x+b2⋅d+e1y = b_0 + b_1 \cdot x + b_2\cdot d + e_1 モデル2：y=g0+Z⋅G+e2y=g0+Z⋅G+e2y = g_0 + Z\cdot G + e_2 ここで、はパラメーターの列ベクトルです。GGG

12 r  hypothesis-testing  regression  model-selection 

AICまたはその他の情報基準の要点は、少ないほど良いということです。2つのモデルM1がある場合：y = a0 + XA + eおよびM2：y = b0 + ZB + uで、最初の（A1）のAICが2番目の（A2）のAICより小さい場合、M1は情報理論の観点からはより適切です。しかし、差異A1-A2のカットオフベンチマークはありますか？実際にはどれくらい少ないですか？言い換えれば、（A1-A2）の目玉検査以外のテストはありますか？ 編集：Peter / Dmitrij ...ご返信いただきありがとうございます。実際、これは私の実質的な専門知識が私の統計的な専門知識と矛盾している場合です。本質的に、問題は2つのモデルから選択するのではなく、ほぼ同等であることがわかっている2つの変数が同じ量の情報を追加するかどうかを確認することです（実際、最初のモデルの1つの変数と2番目のモデルのベクトル。それらのインデックスに対する変数の束。）。Dmitrijが指摘したように、最善の策はCox Testのようです。しかし、2つのモデルの情報内容の違いを実際にテストする方法はありますか？

12 regression  aic 

この質問を2つの部分に分けたいと思います。両方とも一般化線形モデルを扱いますが、最初はモデル選択を扱い、他は正則化を扱います。 背景：予測と説明の両方にGLM（線形、ロジスティック、ガンマ回帰）モデルを利用しています。「回帰で行う通常のこと」を参照するとき、主に（i）係数の信頼区間、（ii）予測の信頼区間、（iii）のような係数の線形結合に関する仮説検定の説明を意味する治療Aと治療Bの間に違いがありますか？」 以下のそれぞれのもとで通常の理論を使用してこれらのことを行う能力を合法的に失いますか？もしそうなら、これらは本当に純粋な予測に使用されるモデルにのみ適していますか？ I. GLMが何らかのモデル選択プロセスを介して適合した場合（具体的には、AICに基づく段階的な手順と言います）。 II。GLMが正則化方法（Rでglmnetを使用するなど）によって適合されたとき。 私の考えでは、私にとっては、答えは技術的には「リグレッションで行う通常のこと」にブートストラップを使用する必要があるということですが、実際にそれを遵守している人はいません。 追加： いくつかの回答を得て、他の場所で読んだ後、これについての私の見解を示します（他の人にとっても、訂正を受けるためにも）。 I. A）RE：エラーの一般化。新しいデータのエラー率を一般化するために、保持セットがない場合、クロス検証は機能しますが、折り畳みごとにプロセスを完全に繰り返す必要があります-ネストされたループを使用するため、機能の選択、パラメーターの調整などが必要です毎回独立して行われます。この考え方は、モデリング作業（ペナルティ化された方法を含む）に当てはまるはずです。 B）RE：GLMの仮説検定と信頼区間。一般化線形モデルにモデル選択（機能選択、パラメーター調整、変数選択）を使用し、ホールドアウトセットが存在する場合、パーティションでモデルをトレーニングし、残りのデータまたは完全なデータセットにモデルを適合させることができますそのモデル/データを使用して仮説検定などを実行します。ホールドアウトセットが存在しない場合、各ブートストラップサンプルに対して完全なプロセスが繰り返される限り、ブートストラップを使用できます。これは、おそらく変数が常に選択されるとは限らないため、実行できる仮説検定を制限します。 C）RE：将来のデータセットの予測を実行しない、理論といくつかの仮説検定によって導かれた目的のあるモデルに適合し、（HosmerとLemeshowの線に沿って）モデル内のすべての変数を残すことを考慮します。これは、小さな変数セットの古典的なタイプの回帰モデリングであり、CIおよび仮説検定の使用を可能にします。 D）RE：ペナルティ付き回帰。アドバイスはありません、おそらくこれは予測のみに適していると考えてください（または、上記のBのように別のデータセットに適用する特徴選択のタイプとして）、導入されたバイアスはCIと仮説テストをブートストラップでも不適切にするため

12 regression  model-selection  regularization 

1つのカテゴリ変数にコーディングを使用できるように見えますが、2つのカテゴリ変数と1つの連続予測変数があります。SPSSでこれに重回帰を使用できますか？ありがとう！

12 regression  spss  categorical-data  continuous-data 

分類用のSVMは直感的に理解できます。最小化すると最大マージンが得られることは理解しています。しかし、回帰の文脈でその目的を理解していません。さまざまなテキスト（こことここ）で、これを「平坦性」を最大化するものとして説明しています。なぜそうするのでしょうか？回帰分析で「マージン」の概念に相当するものは何ですか？||θ||2||θ||2||\theta||^2 ここにいくつかの試みられた答えがありますが、私の理解を本当に助けたものはありません。

12 regression  svm 

L1（投げ縄）の座標降下の使用および/または線形回帰問題の弾性ネット正則化を扱った優れた論文や書籍はありますか？

12 regression  references  lasso  regularization  elastic-net 

L1正規化線形回帰を非常に大きなデータセットに適合させています（n >> p）。変数は事前にわかっていますが、観測値は小さな塊で到着します。各チャンクの後に投げ縄の適合を維持したいと思います。 新しい観測セットをそれぞれ確認した後、モデル全体を明らかに再適合させることができます。ただし、大量のデータがある場合、これは非常に非効率的です。各ステップに到着する新しいデータの量は非常に少なく、適合度がステップ間で大きく変わることはほとんどありません。 全体的な計算負荷を軽減するためにできることはありますか？ エフロンらのLARSアルゴリズムを見ていましたが、上記の方法で「ウォームスタート」できる場合は、他のフィッティング方法を検討できます。 ノート： 私は主にアルゴリズムを探していますが、これを行うことができる既存のソフトウェアパッケージへのポインタも洞察力があるかもしれません。 現在のなげなわ軌跡に加えて、アルゴリズムはもちろん他の状態を維持することを歓迎します。 Bradley Efron、Trevor Hastie、Iain JohnstoneおよびRobert Tibshirani、 Least Angle Regression、Annals of Statistics（議論あり）（2004）32（2）、407--499。

12 regression  lasso 

結果に対する測定の予測能力を判断するために、他のいくつかのテストでROC曲線を使用する傾向があるのはいつですか？ 離散的な結果（生存/死亡、現在/不在）を処理する場合、ROC曲線がカイ二乗のようなものよりも多かれ少なかれ強力になるのはなぜですか？

12 regression  roc 

私の質問は単純です：共同推定とは何ですか？そして、それは回帰分析の文脈ではどういう意味ですか？それはどのように行われますか？私はかなりの時間インターネットをさまよいましたが、これらの質問に対する答えは見つかりませんでした。

12 regression  estimation  terminology 

圧縮センシングでは、 が一意のスパースソリューションcを持つという定理が保証され （詳細は付録を参照）。argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc 投げ縄に同様の定理はありますか？そのような定理がある場合は、投げ縄の安定性を保証するだけでなく、投げ縄にさらに意味のある解釈を提供します。 lassoは、y = Xcによって応答yを生成するために使用されるスパース回帰係数ベクトルcccを明らかにできます。yyyy=Xcy=Xcy = Xc この質問をする理由は2つあります。 「lassoはスパースソリューションを優先する」とは、選択した機能の利点が何であるかさえわからないため、機能選択にlassoを使用する理由に対する答えではないと思います。 なげなわは機能選択が不安定であることで有名です。実際には、その安定性を評価するためにブートストラップサンプルを実行する必要があります。この不安定性を引き起こす最も重要な理由は何ですか？ 付録： X_ {N \ times M} =（x_1、\ cdots、x_M）が与えられXN×M=(x1,⋯,xM)XN×M=(x1,⋯,xM)X_{N \times M} = (x_1, \cdots, x_M)ます。cccはΩΩ\Omega -sparse vector（Ω⩽MΩ⩽M\Omega \leqslant M）です。プロセスy=Xcy=Xcy = Xcは応答yを生成しyyyます。場合XXXオーダーのNSP（ヌル空間プロパティ）を有するΩΩ\Omegaとの共分散行列XXXゼロへの固有値近いを持っていない、に固有のソリューションが存在することになる argmin∥c∥1subject to y=Xcargmin‖c‖1subject to …

12 regression  self-study  feature-selection  lasso  regularization 

負の尾根回帰に関する文献を探しています。 要するに、それは負の使用線形リッジ回帰の一般化であるλλ\lambda推定式β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.ポジティブなケースには素晴らしい理論があります：損失関数として、制約として、以前のベイズとして...しかし、私は上記の式だけを使ったネガティブなバージョンで迷っています。それはたまたま私がしていることには役立ちますが、私はそれを明確に解釈することができません。 ネガティブリッジに関する深刻な導入テキストを知っていますか？どのように解釈できますか？

12 regression  regularization  ridge-regression 

ここに小さな例があります： MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) 今とbase::lm： > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . x -1.3800 0.3191 -4.325 0.0495 * --- …

12 r  regression  p-value  linear-model 

通常の機械学習分析の線形回帰と「ディープラーニング」設定の線形回帰の違いを知りたい。深層学習の設定で線形回帰に使用されるアルゴリズム。

12 regression  machine-learning  deep-learning