線形回帰では、線形は何を表していますか?


11

Rでは、私が書いた場合

lm(a ~ b + c + b*c) 

これはまだ線形回帰でしょうか?

Rで他の種類の回帰を行う方法は?教科書やチュートリアルについて何かアドバイスがあれば教えてください。


あなたの質問を少し書き直そうとしました。非常に異なる2つの質問をしているようです。2つ目については、このサイトだけでなくCRANでも多くのリソースを利用できます。
2011年

@chl、うん、ありがとう、はっきりしませんでした。私の質問は本当にこれです:RでLMを書く場合、Rはそれを常に線形として理解するか、必ずしも線形回帰ではなく任意のモデルに適合させようと試みますか?
suprvisr 2011年

いいえ、lm()線形回帰を表します。あなたのモデルはのための3つのパラメータ(マイナス切片)を備えbcおよびそれらの相互作用b:cを表し、b + c + b:cまたはb*c(Rは統計モデルのためのウィルキンソンの表記を以下の)短いために。一般化線形モデルのフィッティング(つまり、上記の線形モデルの場合のように、リンク関数が恒等でない場合)はを通じて要求されglm()ます。
2009年

回答:


24

線形とは、推定するパラメーター(例:)と結果(例:)の関係を指します。したがって、は線形ですが、は線形ではありません。線形モデルとは、パラメーターベクトルの推定値がと記述できることを意味します。ここで、は推定手順によって決定される重みです。線形モデルは閉じた形で代数的に解くことができますが、多くの非線形モデルはコンピューターを使用して数値最大化によって解く必要があります。βyiy=exβ+ϵy=eβx+ϵβ^=iwiyi{wi}


6
+1具体的には、「線形モデル」では、従属変数はパラメータの線形関数ですが、必ずしもデータの線形関数ではありません。y
whuber

最初のものは線形ですか?本当に-xの1乗?
suprvisr 2011年

2
はい、は目的の量(最適化する量)ではなく、代わりにです。したがって、これは線形です。xββ
bayerj 2011

+1、しかしこの答えは質問の公式にコメントすることによって改善することができます。
naught101 2012

1
2回目の読みで、この回答の後半が「線形モデル」と「線形推定量」を混同していることに気づきました。2つの概念は別個であり、異なります。多くの場合、非線形モデルには線形推定器があり、線形モデルには非線形推定器があります(たとえば、GLMを検討してください)。
whuber

5

minitab.comのこの投稿は、非常に明確な説明を提供します。

  • 次の形式で記述できる場合、モデルは線形です。
    • Response = constant + parameter * predictor + ... + parameter * predictor
      • つまり、(モデル内の)各項が定数か、パラメーターと予測子変数のである場合です。
    • したがって、これらは両方とも線形モデルです。
      • Y=B0+B1X1(これは直線です)
      • Y=B0+B1X12 (これは曲線です)
  • 上記の形式を使用してモデル表現できない場合、モデル非線形です。
    • 非線形モデルの例:
      • Y=B0+X1B1
      • Y=B0cos(B1X1)

4

「R線形回帰」の質問ではなく「線形回帰」の質問としてこれを尋ねるときは注意します。Rの数式には、ユーザーが認識しているルールと認識していないルールがあります。例えば:

http://wiener.math.csi.cuny.edu/st/stRmanual/ModelFormula.html

次の方程式が線形かどうかを尋ねていると仮定します。

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * (b*c))

次のような新しい独立変数をアセンブルすると、答えはイエスです。

newv = b * c

上記のnewv方程式を元の方程式に代入すると、おそらく、線形方程式に期待するようになります。

a = coeff0 + (coeff1 * b) + (coeff2 * c) + (coeff3 * newv)

参照に関する限り、Googleの「r回帰」、またはあなたのために機能すると思われるものは何でも。


名前を変更するとどのように線形になりますか?理解できません。同一性newv = b * cが成り立つ場合、それはまったく線形ではありません。私は混乱しています。
bayerj 2011年

@bayer:newvは新しい変数です。新しい方程式は、3つの変数(b、c、newv)の線形関数で、係数は線形関係を提供します。どちらの方程式も、2つの変数の線形結合ではありません。
bill_080 2011年

@bayer @Charlieによる返信を参照してください。この例では、両方のモデルがa4つの係数の線形関数であるため、両方のモデルは線形です(Rがそのようにモデルを表示するかどうかに関係なく)。
whuber

おかげで、理にかなっています...データベース(医療用)のケースごとに新しい変数newwをb * cに追加して、線形回帰として扱うことはできますか?
suprvisr 2011年

2

線形回帰を(線形)行列方程式として書き出すことができます。

[a1a2a3a4a5...an]=[b1c1b1c1b2c2b2c2b3c3b3c3b4c4b4c4b5c5b5c5...bncnbncn]×[αbαcαbc]+[ϵ1ϵ2ϵ3ϵ4ϵ5...ϵn]

またはこれを折りたたむ場合:

a=αbb+αcc+αbcbc+ϵ

この線形回帰は発見に相当する線形ベクトルの組み合わせ、とベクトルに最も近い。bcbca

(これもの投影を見つけるなどの幾何学的解釈を有するベクトルのスパン上の、と。2つの列ベクトルとの問題について3つの測定値を使用しても、これはたとえば次のように図として描画できます:http : //www.math.brown.edu/~banchoff/gc/linalg/linalg.htmlb c b cabcbc


この概念を理解することは、非線形回帰でも重要です。例えば、解決するためにはるかに容易であり よりも最初のパラメータができるため解決と線形回帰の手法を用いて係数を。 y = u e c t v y=aect+bedta by=u(ec(tv)+ed(tv))ab


私はこれが最良の答えだと思います。なぜなら、それは単に何よりもなぜなぜに答えるからです。「何を」と答えても直感は向上しません。
Hexatonic 2018年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.