タグ付けされた質問 「regression」

1つ(または複数)の「従属」変数と「独立」変数の間の関係を分析する手法。

4
多重共線性は本当に問題ですか?
私は最近、いくつかの予測モデリングプロジェクトに取り組んでいます。オフラインで学習したモデルに基づいてモデルを学習し、リアルタイム予測を作成しようとしています。 正則化が多重共線性の影響を減らすのに役立つことを読んだので、私は最近リッジ回帰を使い始めました。 しかし、私は今日このブログを読み ました。私は今完全に混乱しています。このブログによると、多重共線性はモデルの予測力にそれほど影響を与えません。 つまり、結局、多重共線性が問題になるのでしょうか。

2
データポイントよりも多くの変数を使用したモデリング
私は機械学習/モデリングの初心者です。この問題の背景を教えてください。私は、観測数があるデータセットを持っているしかし、変数の数があるのp 〜8000。最初に、このようなデータセットでモデルを構築することを検討することは理にかなっていますか、それとも、リッジ回帰や投げ縄などの変数選択手法を最初に検討する必要がありますか?この状況は過剰適合につながる可能性があることを読みました。それはすべてのMLテクニックに当てはまりますか、それともいくつかのテクニックはこれを他のテクニックよりうまく処理しますか?数学が多すぎなければ、p &gt; nで数学が崩壊し始める理由についての簡単な説明をいただければ幸いです。n&lt;200n&lt;200n<200p∼8000p∼8000p\sim 8000p&gt;np&gt;np>n

2
回帰:RMSEと比較したRの2乗のユーティリティは何ですか?
トレーニング、検証、テストセットを使用して回帰を行っているとします。ソフトウェアの出力(Rのlm()関数など)からRMSEとRの2乗(R ^ 2、決定係数)を見つけることができます。 私の理解では、テストRMSE(またはMSE)は検証/テスト値の予測の良さの尺度であり、R ^ 2はトレーニングセットの分散をキャプチャする際の適合度の尺度です。 現実の世界で私が本当に気にかけているのは、私が見たことのないデータの一般化された予測精度です。それでは、RMSEと比較したR ^ 2値の有用性は何ですか?

1
スムージングスプラインの長所と短所
一般的な質問があります。最近、ベーシス展開と正則化を学びました。三次スプライン、自然スプライン、b-スプライン、平滑化スプラインなど、いくつかの興味深いテクニックがあります。 問題は、ユーザーがノットを選択する必要がある「典型的な」3次の自然スプラインと比較した場合の、平滑化スプラインの長所と短所(ある場合)は何ですか? まあ、一般的に、実際の問題のコンテキストなしで、どちらの方法が優れているかを人々に尋ねるのは愚かです。したがって、私はあなたの経験に基づいて、どちらが良いのかを尋ねています。 私が見ることができる長所の1つは、ノットの選択を避けるスムージングスプラインテクニックです。

1
標準化されたVS中心変数
stats.stackexchange.comで、標準化された独立変数と中心化された独立変数に関する多くの役立つ投稿を見つけましたが、それでも少し混乱しています。私が理解したことの評価をお願いします。また、以下が正しくない場合は、訂正していただけませんか。 標準化する方法。標準化された変数は、変数の平均を減算し、その同じ変数の標準偏差で割ることによって取得されます。 センタリングする方法。中央に配置された独立変数は、変数の平均を引くだけで得られます。 標準化する理由。変数を標準化して、回帰の変数の測定単位が異なる場合に推定係数の解釈を容易にします。標準化する場合は、回帰のすべての変数を標準化する必要があります。これは、定数(つまり、B0または切片)の推定値を取得できないことを意味します。 センタリングの理由。推定された定数の意味のある解釈を得たい場合は、変数を中央揃えにします。この場合、必要な変数の量を中央揃えにすることができます。すべての独立変数をモデルの中央に配置する必要はありません。 独立変数Y.(単純な質問)Yを中央揃えまたは標準化したことはありますか? 自然対数の利用。1つ以上の変数が正規分布していない場合は、自然対数を使用して変数を変換できます。この変換の後でのみ、すべての変数を標準化するか、中央に配置する必要がある変数を中央に配置できます。一般に、標準化またはセンタリングの前に変数の変換を行う必要があります(ここでは自然対数について説明しますが、変数を2乗したり、別の変数で除算したりできます(たとえば、population / km2)。 解釈係数標準化変数。「X1の標準偏差が1増加すると、Yが-number-増加または減少します。」 解釈係数中心の変数。確率変数の係数:「X1の平均から-number-の増加は、Yを-number-だけ増加(または減少)させます。」定数:「非中心の変数がゼロで、中心の変数がそれらの平均にあるとき、それはYの期待値を表します。」 相互作用の用語。相互作用項の係数の解釈は、変数を標準化したか、またはそれらを中央に配置したか(相互作用の1つの変数のみ、または両方)のどちらでも問題になりません。基本的に、解釈は通常、相互作用項に与えるものです(たとえば、Yに対するX1の効果に興味があり、X1はX2と相互作用します。X1の全体の効果は、その係数+相互作用の係数によって与えられます。 X2が修正された場合の用語)、行った変換のタイプに応じて、ポイント7または8の後に続く解釈をコンテキスト化することを忘れないでください。

1
加重単純線形回帰の式
このwikiページの単純線形回帰には、およびを計算するための式があります。誰かが重み付けされたケースで数式を導出する方法を教えてもらえますか?αα\alphaββ\beta
11 regression 

4
線形回帰の最小二乗法と疑似逆法の違いは何ですか?
それらの違いを知りたいです。基本的に、それらは最後にパラメーターの係数を見つけるときに同じ仕事をしますが、係数を見つける方法が異なるだけです。私にとって、最小二乗法は微分と行列形式を使用して係数を見つけ、疑似逆行列は行列操作のみを使用しているようですが、それらの違いをどのように言えますか?またはまったく違いはありませんか?

2
指数ロジスティック回帰係数が「オッズ比」と見なされるのはなぜですか?
ロジスティック回帰は、イベントのログオッズをいくつかの予測子のセットとしてモデル化します。つまり、log(p /(1-p))で、pは何らかの結果の確率です。したがって、いくつかの変数(x)の生のロジスティック回帰係数の解釈は、対数オッズスケールでなければなりません。つまり、x = 5の係数の場合、結果が発生する対数オッズスケールで、x対応の1単位の変化から5単位の変化への変化がわかります。 ただし、指数化されたロジスティック回帰係数をオッズ比として解釈する人がよくいます。しかし、明らかにexp(log(p /(1-p)))= p /(1-p)であり、これはオッズです。私が理解している限り、オッズ比は、1つのイベントが発生するオッズ(たとえば、イベントAのp /(1-p))が別のイベントが発生するオッズ(たとえば、イベントのp /(1-p))に対するオッズです。 B)。 ここで何が欠けていますか?指数ロジスティック回帰係数のこの一般的な解釈は正しくないようです。


2
OLSを使用して残差の誤差を回帰すると、勾配が常に正確に1になるのはなぜですか?
私は、Rの簡単なシミュレーションを使用して、誤差と残差の関係を実験していました。1つわかったことは、サンプルサイズや誤差の分散に関係なく、モデルを当てはめると常に勾配が正確にになることです。111 E R R O R S〜 β0+ β1× のR eはsはiはdのU LのSerrors∼β0+β1×residuals {\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals} これが私がやっていたシミュレーションです: n &lt;- 10 s &lt;- 2.7 x &lt;- rnorm(n) e &lt;- rnorm(n,sd=s) y &lt;- 0.3 + 1.2*x + e model &lt;- lm(y ~ x) r &lt;- model$res summary( …

3
データサイエンティストのインタビューの質問:低線形回帰とあなたは何をしますか
価格弾力性モデルのが非常に低い(5〜10%)と仮定して面接担当者から尋ねられた仕事の面接質問に直面しました。この質問をどのように解決しますか?R2R2R^2 回帰診断を行って何がうまくいかなかったか、または非線形メソッドを適用する必要があるかどうか以外に、私は何も考えられませんでした。どういうわけかインタビュアーは私の答えに満足していなかったと思います。このようなシナリオで、モデルを適合させ、が低いにもかかわらず、それを生産レベルの予測に使用するために何か他のことはありますか?R2R2R^2 編集:後の段階で、インタビュー中に問題をモデル化するためのデータが提供され、時間差変数、競合他社の価格の影響、季節性ダミーを追加して、それが違いを生むかどうかを確認しました。は17.6%になり、ホールドアウトサンプルでのパフォーマンスは悪かった。個人的には、このようなモデルをライブ環境で予測に使用すると、誤った結果が得られ、クライアントが失われるため、非倫理的であると考えます(このようなモデルの推奨価格を会社の収益に使用することを想像してください)。誰もが知る必要があるあまりにも明白であるようなシナリオで行われる他のことはありますか?「銀の弾丸」と言いたくて気づかない何かR2R2R^2 また、外生変数を追加すると、がさらに2%向上し、このシナリオで何ができるかを想像してみてください。モデリングプロジェクトを破棄する必要がありますか、それとも、ホールドアウトサンプルのパフォーマンスによって示される生産レベルの品質のモデルを開発する希望はまだありますか?R2R2R^2 EDIT2:私は投稿している。この中で質問をeconomics.stackexchange.comの経済学の観点からこの問題を理解するためのフォーラム


2
条件付き平均独立性は、OLS推定量の不偏性と一貫性を意味します
次の重回帰モデルについて考えてみますY=Xβ+Zδ+U.(1)(1)Y=Xβ+Zδ+U.Y=X\beta+Z\delta+U.\tag{1} ここで、は列のベクトルです。行列。 a列のベクトル; マトリックス。列ベクトル。そして、誤差項、列ベクトル。YYYn×1n×1n\times 1XXXn×(k+1)n×(k+1)n\times (k+1)ββ\beta(k+1)×1(k+1)×1(k+1)\times 1ZZZn×ln×ln\times lδδ\deltal×1l×1l\times 1UUUn×1n×1n\times1 質問 私の講師、教科書「計量経済学入門」第3版。 James H. StockおよびMark W. Watson著、p。281、および計量経済学:名誉の試験レビューセッション(PDF)、p。7、私に次のように表現しています。 いわゆる条件付き平均独立性を仮定すると、これは定義上、意味しE(U|X,Z)=E(U|Z),(2)(2)E(U|X,Z)=E(U|Z),E(U|X,Z)=E(U|Z),\tag{2} 条件付き平均ゼロの仮定以外の最小二乗仮定が満たされる場合(したがって、と仮定し)(1を参照) -3以下)、E(U|X,Z)=0E(U|X,Z)=0E(U|X,Z)=0E(U|X,Z)=E(U|Z)≠0E(U|X,Z)=E(U|Z)≠0E(U|X,Z)=E(U|Z) \neq 0 次に、OLS推定量のにおける公正なままであるとの仮定のこの弱いセットの下で、一貫。β^β^\hat{\beta}ββ\beta(1)(1)(1) この命題をどのように証明しますか?上記1及び2は、OLSの推定値があることを意味していること、すなわち、私たちのために公平かつ一貫性のある推定量与え?この命題を証明する研究記事はありますか?ββ\betaββ\beta コメント 最も単純なケースは、線形回帰モデルを考慮することによって与えられるおよびOLSを見積もることを証明のを各について場合、は不偏です。Yi=β0+β1Xi+β2Zi+ui,i=1,2,…,n,Yi=β0+β1Xi+β2Zi+ui,i=1,2,…,n,Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,β 1 β 1 E (U I | X I、Z I)= E (U I | Z I)Iをβ^1β^1\hat{\beta}_1β1β1\beta_1E(ui|Xi,Zi)=E(ui|Zi)E(ui|Xi,Zi)=E(ui|Zi)E(u_i|X_i,Z_i)=E(u_i|Z_i)iii 仮定すると、不偏性の証明と JOINTLY正規分布していますUiUiU_iZiZiZ_i 定義し、次におよび定義ししたがって、はとして書き換えられによって、ここで、とは一緒に正規分布しているため、正規分布の理論については、多変量正規分布の条件付き分布を導出する、と言うこと(実際に、私たちは共同正常にのみ、このアイデンティティを想定する必要はありません)いくつかのためにによってベクトルV=U−E(U|X,Z)V=U−E(U|X,Z)V=U-E(U|X,Z)U=V+E(U|X,Z)U=V+E(U|X,Z)U=V+E(U|X,Z)E(V|X,Z)=0.(*)(*)E(V|X,Z)=0.E(V|X,Z)=0\tag{*}.(1)(1)(1)Y=Xβ+Zδ+E(U|X,Z)+V.(3)(3)Y=Xβ+Zδ+E(U|X,Z)+V.Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}(2)(2)(2)Y=Xβ+Zδ+E(U|Z)+V.(4)(4)Y=Xβ+Zδ+E(U|Z)+V.Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}UiUiU_iZiZiZ_i E (U | Z )= …

1
周期的データに適合する周期的スプライン
この質問へのコメントで、ユーザー@whuberは、定期的なデータに適合するために定期的なバージョンのスプラインを使用する可能性を挙げました。この方法、特にスプラインを定義する方程式、および実際にそれらを実装する方法について詳しく知りたいです(私はほとんどがRユーザーですが、必要に応じて、MATLABまたはPythonを使用して実行できます)。また、これは「便利」ですが、三角多項式フィッティングに関して考えられる長所/短所について知ることは素晴らしいことです。これは、通常、この種のデータを処理する方法です(応答が非常に滑らかでない場合を除きます)。その場合、定期的なカーネルでガウスプロセスに切り替えます)。

2
回帰:なぜ条件とする残差ではなく、全体の残差の正規性をテストするのですか?
線形回帰では、エラーはyの予測値を条件として、正規分布であると想定されていることを理解しています。次に、残差をエラーの一種のプロキシと見なします。 多くの場合、次のような出力を生成することをお勧めします。ただし、各データポイントの残差を取得し、それを1つのプロットにまとめるポイントが何であるかは理解できません。 yの各予測値に通常の残差があるかどうかを適切に評価するのに十分なデータポイントがありそうにないことを理解しています。 ただし、通常の残差が全体として別個のものであるかどうか、およびyの各予測値での通常の残差のモデル仮定に明確に関連しない問題ではないですか?yの予測値ごとに通常の残差があり、全体として残差が非常に非正規であるのではないでしょうか。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.