線形回帰モデルまたは非線形回帰モデルの間の決定


10

線形回帰モデルと非線形回帰モデルのどちらを使用するかをどのように決定すべきですか?

私の目標はYを予測することです。

単純なおよびyデータセットの場合、散布図をプロットすることで、どの回帰モデルを使用するかを簡単に決定できました。xy

ような多変量の場合x nおよびy。どの回帰モデルを使用する必要があるかをどのように決定できますか?つまり、単純な線形モデル、または2次、3次などの非線形モデルの使用をどのように決定しますか?x1,x2,...xny

どの回帰モデルを使用する必要があるかを推論して決定するための手法、統計的アプローチ、またはグラフィカルプロットはありますか?


「非線形モデル」はかなり広いカテゴリーです。あなたはそれを念頭に置いていましたか?分析の目標は何ですか?
シャドウトーカー、2015

これはあなたの目標に依存します。予測/予測モデルを構築していますか?
Aksakal

予測が私の目標です。
shakthydoss 2015

1
「データのプロット」アプローチのようなものの後で複数の予測子を使用している場合は、いくつかの値になる可能性のある変数プロットが追加されます。しかし、目標が予測である場合、問題はデータの表示に基づいてgitするものを選択することです。そのため、他のデータよりも自分のデータの方がはるかによく見えます(そして、そのようなモデル選択へのアプローチ)-サンプルから予測能力を適切に評価するには、ホールドアウトサンプルの事柄を評価する必要があります/相互検証などを検討します。
Glen_b-2015

1
私が少し前に始めた関連するディスカッションが役に立つかもしれません。
Aleksandr Blekh 2015

回答:


10

これは、モデル選択と呼ばれる統計の領域です。この分野では多くの研究が行われており、明確で簡単な答えはありません。

X1,X2X3X32X1,X2X3X1,X2,X3X32(複雑なモデル)。モデル構築では、(少なくとも)次の2つの主な目標の1つがあります。

  1. X1YX2,...Xp
  2. YY

目標が1の場合は、尤度比検定(LRT)をお勧めします。LRTは、ネストされたモデルがあり、「データは、単純なモデルよりも複雑なモデルから得られる可能性が大幅に高いか」を知りたい場合に使用されます。これにより、どのモデルがデータ間の関係をより適切に説明するかについての洞察が得られます。

k


目標(1)と(2)の違いをより明確に説明できますか?現在、大きな違いはありません。
ttnphns 2015

@ttnphns 2つの目標の簡単な説明を追加しました。
TrynnaDoStat 2015

@TrynnaDoStatここではステートメントで混乱しています最良の予測を行うモデルを選択してください最良のモデルとは、線形(節約)モデルと複雑なモデルのどちらかを選択することです。私が知っていることはk倍であるため、Leave-one-out CVを使用して、目に見えないデータに対するモデルのパフォーマンスをチェックします。モデルの選択には使用されません。私はここで混乱しています。
tushaR 2017

1

「回帰の線形モデルまたは非線形モデル」をググると、この本につながるいくつかのリンクが表示されます。http://www.graphpad.com/manuals/prism4/RegressionBook.pdf この本は面白くなく、私は知り ません(何らかの理由で)100%で信頼しないでください。

私はこの記事も見つけました: タイトル付きのhttp://hunch.net/?p=524ほとんどすべての自然問題は非線形性を必要とします

私もかなり良い説明で同様の質問を見つけました:https : //stackoverflow.com/questions/1148513/difference-between-a-linear-problem-and-a-non-linear-problem-essence-of-dot-pro

私の経験に基づいて、どのモデルを使用するかわからない場合は、両方を使用して、別の機能を試してください。


0

あなたが述べたように、線形モデルは通常、非線形モデルよりも単純です。つまり、モデルの実行が速く(構築と予測)、解釈と説明が簡単で、通常はエラー測定が簡単です。したがって、目標は、線形回帰の仮定がデータに当てはまるかどうかを確認することです(線形のサポートに失敗した場合は、非線形をそのまま使用します)。通常、他のすべての変数を一定に保ちながら、すべての変数を使用して単一変数プロットを個別に繰り返します。

おそらくもっと重要なことですが、データを線形空間に移動するために、なんらかの変換、変数の相互作用、またはダミー変数を適用できるかどうかを知りたいでしょう。仮定を検証できる場合、または十分に動機付けられた、またはインテリジェントな情報に基づく変換または変更を適用するのに十分なデータを知っている場合は、その変換を続行して線形回帰を使用します。残差を取得したら、それらを予測値または独立変数に対してプロットして、非線形法に移行する必要があるかどうかをさらに判断できます。

ここデュークでは、線形回帰の仮定の優れた内訳があります。4つの主要な仮定がリストされ、それぞれがモデルへの影響、データでの診断方法、および仮定を維持するためにデータを「修正」する(つまり、変換または追加する)可能性のある方法に分類されます。ここでは、対処された4つの仮定を要約した上からの小さな抜粋を示しますが、そこに移動して内訳を読む必要があります。

推論または予測の目的で線形回帰モデルの使用を正当化する4つの主要な仮定があります。

(i)従属変数と独立変数間の関係の線形性と加算性:

(a)従属変数の期待値は、他の変数を固定したまま、各独立変数の直線関数です。

(b)その線の傾きは他の変数の値に依存しません。

(c)従属変数の期待値に対するさまざまな独立変数の影響は加算的です。

(ii)エラーの統計的独立性(特に、時系列データの場合、連続するエラー間に相関関係がない)

(iii)エラーの等分散性(一定の分散)

(a)対時間(時系列データの場合)

(b)対予測

(c)対任意の独立変数

(iv)誤差分布の正規性。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.