線形回帰の可能性

単純な線形回帰の可能性を人々がどのように導き出すかを理解しようとしています。1つの特徴xと結果yだけがあるとしましょう。私はないではない通常の密度自体で式を疑う私も疑問1が原因独立にシンプルな要因に製品を因数分解できることをしないでください。人々がこの表現をどのように導き出したのか疑問です。入力およびほぼすべての場所について（部分的に正しくない）仮定の全体の動物園があり、実際に正しい仮定を使用する必要がある重要なステップ（通常の密度の積を導出する方法）は省略されています:-(

私は仮定のが自然だと思うことは以下の通りである。我々は、固定されたトレーニングセット与えられていると仮定します $(x_i, y_i)_{i=1,2,...,n}$

長さ固定トレーニングセット内のペアは、iid分散されたランダム変数からのもの $(x_i, y_i)$ $n$ $(X_i, Y_i)$
$Y_i = \beta_0 X_i + \epsilon_i$
$\epsilon_i$ 各として分散一次元IIDランダム変数で $\mathcal{N}(0, \sigma)$ と $\sigma$ （簡単にするために）知られている（多分1条件濃度約ものと仮定すべきである $f_{\epsilon_i|X_i}$ ここ？人々は実際にここで何を仮定するべきか不確かに思われる...）

レッツとlet。目標は、条件付き密度です。明らかに、 $Y = (Y_1, ..., Y_n)$ $X = (X_1, ..., X_n)$ $f_{Y|X} = \frac{f_{(Y,X)}}{f_X}$

f_{Y | X} = \prod_{i = 1}^{n} f_{Y_{i} | X_{i}}

$f_{Y|X} = \prod_{i=1}^n f_{Y_i|X_i}$

質問：

ここから先に進むには？

仮定がまたはに関する情報をどのように与えるかわかりませんそのため、この量を単純に計算できません。また、一部の人々は、および正規分布している（または正規分布している）とは、も正規分布していると考えているかもしれませんが、... $f_{(Y_i, X_i)}$ $f_{X_i}$ $f_{Y_i|X_i} = \frac{f_{(Y_i, X_i)}}{f_{X_i}}$ $Y_i = \beta_0 X_i + \epsilon_i$ $\epsilon_i$ $\epsilon_i|X_i$ $Y_i|X$

正規分布のランダム変数に関するステートメントがありますが、次のようになりますが正規分布で、が固定行列の場合、は通常再分布されます。上記の場合、はであり、定数行列ではありません。 $X$ $A, B$ $AX+B$ $B$ $\beta_0 X_i$

他の情報源は、は通常すぐに配布されると想定しているようです。これは奇妙な仮定のようです...実際のデータセットでそれをどのようにテストできるでしょうか？ $f_{Y_i|X_i}$

よろしくお願いいたします。

— ファビアン・ヴェルナー
ソース

設定に問題があります。たとえば、「iid分散されているランダム変数」という文は通常正しくありません。少なくともは通常異なる手段を持っているので、これらの理由だけでiidではありません。

(X_{i}, Y_{i})

$(X_i, Y_i)$

X_{i}

$X_i$

— Aksakal

共同配布については何も想定していないと主張していますが、（2）と（3）で明らかにそれについて非常に強力な想定を行っています。

— whuber

@whuber：問題は、線形回帰が適切なモデルであるかどうかではありません... SVMを計算する場合でも、分布に対して暗黙的に非常に強力な仮定を行います...でも式。問題は次のとおりです。線形回帰が優れたモデルである場合、パラメーターを計算するために実際に式を作成するにはどうすればよいですか:-)

— Fabian Werner

@Aksakal：私はあなたが何を話しているのか理解していません、すみません...これはかなり哲学的な議論のようです：は同じ意味を持ち、機械学習のほとんどすべての設定で同じように分布しています。「同じ意味ではない」とはどういう意味ですか？

X_{i}

$X_i$

— Fabian Werner

@Aksakal：例：ランダムに選択された一連の人々において、固定された個人の年齢は他の個人の年齢に依存しますか？同じ家族のメンバーを選択する可能性は低いので、ほとんどありません...

— Fabian Werner

回答:

導出する重要な仮定 $f_{Y_i|X_i}$ ノイズは入力から独立している、つまり $\epsilon_i$ から独立しています $X_i$ 。あなたはの分布について何かを知っている、または仮定する必要はありません $X_i$ 。

あなたは次から始めます：

f_{Y_{私} | {バツ}_{私}} （ バツ 、 y ） = p （ Y_{私} = y | {バツ}_{私} = バツ ） = p （ β_{0} バツ + ε_{私} = y | {バツ}_{私} = バツ ） = p （ ε_{私} = y - β_{0} バツ | {バツ}_{私} = バツ ）

$f_{Y_i|X_i}(x,y)=p(Y_i=y|X_i=x)=p(\beta_0x+\epsilon_i=y|X_i=x)=p(\epsilon_i=y-\beta_0x|X_i=x)$

ここで、独立性の仮定が使用されます。 $\epsilon_i$ から独立しています $X_i$ 、次の値が与えられた場合の密度 $X_i$ 単にその密度です：

p (ϵ_{i} = y - β_{0} x | X_{i} = x) = p (ϵ_{i} = y - β_{0} x) = . . . e^{(y - β_{0} x)^{2} / 2 σ^{2}}

$p(\epsilon_i=y-\beta_0x|X_i=x)=p(\epsilon_i=y-\beta_0x)=...e^{(y-\beta_0x)^2/2\sigma^2}$

あるいは、条件付きでのノイズの分布は、 $X_i$ の値が与えられた場合、一定の分散（および平均0）で正常 $X_i$ 。これは本当に重要なことです。しかし、これは通常の仮定と厳密に同等です。

$\epsilon_i$ 独立しています $X_i$
$\epsilon_i$ 正規分布している（平均0で）

— ブノワ・サンチェス
ソース

非常に良い答え、ありがとう!!! しかし、私はまだ次のことに苦労しています：どのようにそれを結論付けますか

p (ϵ = y - β_{0} X | X = x) = p (ϵ = y - β_{0} x | X = x)

$p(\epsilon = y - \beta_0 X | X=x) = p(\epsilon = y - \beta_0 x | X=x)$ 、つまり、密度の設定での確率変数の条件付け（条件付き期待値などではない）が、具体的な値での置き換えに過ぎないと思いますか？

— Fabian Werner

イベントの単純な条件付き確率を直接処理するので、離散変数を使用すると見やすくなります。

P (Y = f (X) | X = x) = P (Y = f (X) and X = x) / P (X = x)

$P(Y=f(X)|X=x)=P(Y=f(X)\text{ and }X=x)/P(X=x)$ 。最後に、イベント（セット）として、

(Y = f (X) and X = x) = (Y = f (x) and X = x)

$(Y=f(X)\text { and }X=x)=(Y=f(x)\text { and }X=x)$ 。それは単なる論理です。同じ考えが密度にも当てはまります。

— Benoit Sanchez

最後に、はい、それは交換のように機能します。

— Benoit Sanchez

ブノワ・サンチェスの答えのおかげで、私はようやく理解しました（ただし、条件付き密度の置換ルールの間違ったパスに引っ掛かりました）。答えは次のとおりです。

人はそれを仮定する必要があります

ペア $(x_i, y_i)$ 確率変数から来る $(X_i, Y_i)$ そのような変数 $Z_i = (X_i, Y_i)$ 独立している
$Y_i = \beta_0 X_i + \epsilon_i$
の $\epsilon_i$ iidです。 $N(0,\sigma)$ 配布された
$\epsilon_i$ から独立しています $X_i$ （エラーは機能によって上下しませんが、それとは無関係です）
$X = (X_1, ..., X_n)$ そして $Y = (Y_1, ..., Y_n)$ 共通の密度を持っている $f_{X,Y}$ 。特に、すべての $(X_i, Y_i)$ 共通の密度を持っている $f_{X_i, Y_i}$ 。

次の簡単な観察が必要です。 $n$ 実数値確率変数 $Z_1, ..., Z_n$ 共通の密度で $f_{Z_1, ..., Z_n}$ そして全単射 $\Phi : \mathbb{R}^n \to \mathbb{R}^n$ そのような $\Phi$ そして $\Phi^{-1}$ 次に区別可能です

f_{Φ (Z_{1}, . . ., Z_{n})} (z_{1}, . . ., z_{n}) = | det (\partial Φ^{- 1}) | f_{Z_{1}, . . ., Z_{n}} (Φ^{- 1} (z_{1}, . . ., z_{n}))

$f_{\Phi(Z_1, ..., Z_n)}(z_1, ..., z_n) = |\det(\partial \Phi^{-1})| f_{Z_1, ..., Z_n}(\Phi^{-1}(z_1, ..., z_n))$ つまり、変換された確率変数の密度は、変換されたポイントで評価された古い密度です。

重要な観察は、2次元の確率変数 $(Y_i, X_i)$ の単純な変換です $(\epsilon_i, X_i)$ 、すなわち

(Y_{i}, X_{i}) = Φ (ϵ_{i}, X_{i})

$(Y_i, X_i) = \Phi(\epsilon_i, X_i)$ どこ

Φ (e, x) = (e + β_{0} x, x)

$\Phi(e, x) = (e + \beta_0 x, x)$ 。我々は持っています

Φ^{- 1} (y, x) = (y - β_{0} x, x)

$\Phi^{-1}(y, x) = (y - \beta_0 x, x)$ 。その微分行列は

\partial Φ^{- 1} = (\begin{matrix} 1 & β_{0} \\ 0 & 1 \end{matrix})

$\partial \Phi^{-1} = \begin{pmatrix}1 & \beta_0 \\ 0 & 1 \end{pmatrix}$ これは決定的なものです。

この状況に観察を適用して、

f_{Y_{i}, X_{i}} (y, x) = f_{Φ (ϵ_{i}, X_{i})} (y, x) = 1 \cdot f_{ϵ_{i}, X_{i}} (Φ^{- 1} (y, x)) = f_{ϵ_{i}, X_{i}} (y - β_{0} x, x)

$f_{Y_i, X_i}(y,x) = f_{\Phi(\epsilon_i, X_i)}(y, x) = 1 \cdot f_{\epsilon_i, X_i}(\Phi^{-1}(y, x)) = f_{\epsilon_i, X_i}(y - \beta_0 x, x)$

今 $\epsilon_i$ から独立しています $X_i$ 仮定により、したがって

f_{Y_{i}, X_{i}} (y, x) = f_{ϵ_{i}} (y - β_{0} x) f_{X} (x)

$f_{Y_i, X_i}(y,x) = f_{\epsilon_i}(y - \beta_0 x) f_X(x)$ というより

f_{Y_{i} | X_{i}} (y | x) = \frac{f_{ϵ_{i}} (y - β_{0} x) f_{X} (x)}{f_{X} (x)} = f_{ϵ_{i}} (y - β_{0} x)

$f_{Y_i| X_i}(y|x) = \frac{f_{\epsilon_i}(y - \beta_0 x) f_X(x)}{f_X(x)} = f_{\epsilon_i}(y - \beta_0 x)$ そしてこれから（そしてから

f_{Y, X} = \prod_{i} f_{Y_{i}, X_{i}}

$f_{Y, X} = \prod_{i} f_{Y_i, X_i}$ 独立性の仮定により）通常の尤度方程式を得る。

私は今幸せです：-）

— ファビアン・ヴェルナー
ソース