3次元の多重線形回帰は、最適な平面または最適な直線ですか?


11

私たちの教授は、多重線形回帰の数学や幾何学的表現さえも理解していないため、少し混乱しています。

一方では、より高い次元においてさえ、それはまだ多重線形回帰と呼ばれています。一方、たとえばあり、とに必要な任意の値をプラグインできる場合、これは可能な解決策の平面を与えません。線ではない?X1X2Y^=b0+b1X1+b2X2X1X2

一般に、予測の表面は、独立変数の次元超平面になるのではないですか?kk

回答:


12

そうです、解の表面は一般的に超平面になります。超平面という言葉は一口で、平面は短く、線はさらに短いというだけです。数学を続けると、1次元のケースが議論されることはめったにないので、トレードオフ

Big words for high dimensional, Small words for small dimensional

まあ、後ろ向きに見え始めます。

たとえば、(は行列、はベクトル)のような方程式をこれを線形方程式と呼びます。私の人生の初期の段階では、これを線形方程式のシステムと呼び、1次元の場合の線形方程式を予約しました。しかし、多次元のケースがいたるところにあるのに、1次元のケースがあまり頻繁に現れないという点に達しました。Ax=bAx,b

これは表記でも発生します。誰かが書いたのを見たことがある

fx=2x

左側のその記号は関数の名前なので、形式的で知識を深めるために、

fx(x)=2x

微分が2つの引数を取るとき、それは多次元でさらに悪くなります。1つは微分を取る場所であり、もう1つは微分を評価する方向です。

xf(v)

しかし、人々は非常に早く怠惰になり、コンテキストによって理解されたままにして、1つまたは他の引数を削除し始めます。

専門の数学者、舌をしっかりと頬に当てる人は、これを表記の乱用と呼んでいます。表記法を乱さずに自分を表現することは本質的に不可能である主題があり、私の最愛の微分幾何学がその好例です。偉大なニコラブルバキは非常に雄弁にポイントを表現しました

可能な限り、私たちはテキストの中で言葉の乱用に注意を向けました。それなしでは、数学のテキストは、読みやすさは言うまでもなく、ペダントリーの危険を冒します。

—ブルバキ(1988)

あなたは私が上に落ちた表記法の乱用についてコメントすることすらありません!

技術的にはdf / dxを偏微分として記述したので、他の暗黙の変数は定数として保持されますが、技術的には偏微分はまだ元の関数のすべての変数の関数ではありません(df / dx( x、y、...)?

あなたは完全に正しいです、そしてこれは私がここで得ているものの良い(意図的ではない)イラストを与えます。

真の1変数の意味でデリバティブに遭遇するので、日常の仕事や研究ではめったに発生せず、ここではが正しい表記であることを基本的に忘れていました。上記は1つの変数関数についてのものであるように意図しましたが、使用によって無意識のうちに他の信号が出されました。dfdx

私はそれを、「項の数が無限に近づくときの和の限界」ではなく、「無限和」と言うときのように思います。考え方の違いがはっきりしていればいいと思います。この場合(重回帰)、そもそも何について話しているのか本当にわかりませんでした。

Σ

怠惰な人々として、私たちは一般的なケースで言葉を節約したいです。

(*)歴史的に、これは無限の和がどのように発達したかではありません。部分和の定義の限界は、数学者が非常に正確に推論する必要がある状況に遭遇し始めたときに、事後的に開発されました。


偏微分の例を挙げているのはおかしいです。私はいつもそれについて疑問に思っていたからです(独学の喜び...)。ちなみに、あなたはdf / dxを偏微分として書いたので、他の暗黙の変数は定数として保持されていたとしても、技術的には関係ありません。偏微分は技術的には、df / dx(x、y、...)のように、元の関数のすべての変数の関数のままですか?私の質問は、偏微分はまだすべての変数の関数ではないでしょうか?
ジェレミー・ラドクリフ2016

また、そのすべてを説明してくれてありがとう。「項の数が無限に近づくときの和の限界」ではなく、「無限和」と言ったときのように思います。考え方の違いがはっきりしていればいいと思います。この場合(重回帰)、そもそも何について話しているのか本当にわかりませんでした。3Dで線を想像してみましたが、いくつかの独立変数を自由に変化させても意味がないので、確認したいと思いました。
ジェレミー・ラドクリフ2016

素晴らしい答えを+1。時々人々は怠惰で多くの混乱を引き起こします。それが、この投稿で記法を尋ねようとした理由です。stats.stackexchange.com/questions/216286/...
ハイタオ・ドゥ

@jeremyradcliffいくつかの解説で編集しました。
Matthew Drury、2016

@MatthewDruryさん、私のコメントに時間を割いていただきありがとうございます。私が知っている数学の大部分を自習し、周囲の文化の欠如と数学者へのアクセスの欠如は、stackexchangeのような場所とあなたのような答えが私にとって非常に貴重になるので、それは私にとって非常に役に立ちます。
ジェレミー・ラドクリフ2016

5

「リニア」は、このコンテキストで何をしていると思うかを意味するものではありません-もう少し一般的です

まず、これは実際にはxの線形性への参照ではなく、パラメータ*(「パラメータの線形」)への参照です。

E(Y|X)=Xββ

したがって、最適な平面(またはより一般的には超平面)は依然として「線形回帰」です。

1XβXβ

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.