線形回帰、条件付き期待値および期待値


11

わかりましたので、いくつかのことで少しかすんでいます、どんな助けでも大歓迎です。線形回帰モデルが条件付き期待値を介して予測されることは私の理解です

E(Y|X)=b+Xb+e
  1. Yの両方が確率変数の未知の確率変数であると想定しますか?残差と推定ベータ係数のみが確率変数であることが私の理解でした。もしそうなら、例として、Y =肥満でX =年齢の場合、条件付き期待値E Y | X = 35 )の意味をとると、個人がサンプル全体で35である場合、肥満の期待値はどうなるでしょうか。X = 35である観測値について、yの平均(算術平均)を取るだけです。XYY=X=E(Y|X=35)35X=35?しかし、期待値は、これに発生確率を掛ける必要があることを意味しませんか?しかし、その意味で、値変数が年齢のようなものを表す場合に発生する確率をどのように見つけるのでしょうか。X
  2. が為替レートのようなものを表す場合、これはランダムとして分類されますか?確率を知らずに、これの期待値をどのようにして見つけますか?または、期待値がちょうど限界の平均と等しいでしょう。X
  3. 従属変数がそれ自体確率変数であると想定しない場合、確率を無視しないため、それらは何であると想定しますか?固定値だけか何か?しかし、これが事実である場合、非ランダム変数を最初にどのように条件付けできますか?独立変数の分布について何を仮定しますか?

何かが意味をなさないか、誰にでも明らかな場合は申し訳ありません。


1
β

条件付き期待とはどういう意味ですか?E(Y | X)は単にXが指定されたY、つまりXでのYの期待値を意味します。たとえば、y = 5 + xの場合、E(Y | X = 5)は10です。条件付き期待
Zamir Akimbekov 2016年

@ RichardHardy、Bはベータ版のサンプリング分布の平均であるため、正規分布によって特徴付けられる確率変数であることは私の理解でした。人口モデルを参照していますか?
William Carulli

はい、人口モデル。
Richard Hardy

1
@WilliamCarulli Richardは、母集団パラメーターと推定パラメーターの違いについて言及しています。推定パラメーターは確かに確率変数ですが、(不明な)真の母集団パラメーターは固定値です。
Matthew Drury

回答:


7

線形回帰の基礎となる確率モデルでは、XとY 確率変数です。

もしそうなら、例として、Y =肥満でX =年齢の場合、条件付き期待値E(Y | X = 35)の意味を考えると、サンプル全体で個人が35である場合、肥満であると予想される値はどうでしょうか。 X = 35の観測値について、yの平均(算術平均)を取るだけですか?

そのとおり。一般に、Xの特定の値ごとに十分なデータがあることは期待できません。または、Xが連続した値の範囲を取ることができる場合は、そうすることが不可能である可能性があります。しかし、概念的には、これは正しいです。

しかし、期待値は、これに発生確率を掛ける必要があることを意味しませんか?

E[Y]E[YX=x]

E[Y]=xE[YX=x]Pr[X=x]

これは完全な期待の法則です。

しかし、その意味で、X値変数が年齢などを表す場合に発生する確率をどのように見つけるのでしょうか。

E[YX]Pr[X=x]

独立変数自体が確率変数であると想定しない場合、確率を無視しないため、それらは何であると想定しますか?固定値だけか何か?

我々はない Yは確率変数であることを前提としています。線形回帰について考える1つの方法は、確率モデルとしてY

YXβ+N(0,σ)

N(0,σ)


コメントありがとうございます。乾杯。
William Carulli

@WilliamCarulliどういたしまして!フォローアップの質問があれば遠慮なく質問してください。答えられるよう最善を尽くします。私が本当にすべての問題を解決した場合、それを受け入れることもできます。
Matthew Drury 2016年

3
X

@MatthewDrury、明確にするために、私の従属変数が為替レートであり、私の従属変数が国内金利である場合
William Carulli

@ MatthewDrury @ MatthewDrury、明確にするために、従属変数が為替レートであり、従属変数が国内金利の場合、E(E(為替レート|金利))= E(為替レート)=サンプル平均為替レートの?私が混乱しているのは、期待が確率に基づいて計算されると常に想定していることだと思います。行列代数を介してそれを解くときの線形回帰を条件付き期待として表す理由は、全体の期待と大きく異なるように見えます。
William Carulli

3

この質問に対する回答はたくさんありますが、いくつか興味深い点を挙げたので、まだ追加したいと思います。簡単にするために、私は単純な線形モデルのみを考慮します。

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

E(Y|X)=β0+β1X,
YXβ0β1
Y=β0+β1X+ϵ,
ϵE(ϵ)=0
Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random 

XY

{X1,...,Xn}X

β0β1XX

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

φ^(x)E(Y|X=x)β^0β^1

φ^(x)=β^0+β^1x

条件付き平均最小二乗推定量は、モデルが異なる重みを単一因子のレベルとして扱う場合、記述したものと等しい式になります。これらのモデルは一元配置分散分析とも呼ばれ、(単純ではない)線形モデルの特定のケースです。

1
Xβ^0β^1X

1
@whuber「最初に、モデルはパラメータで線形であるため、「線形」と呼ばれます」「線形モデル」の「線形」の意味ではなく、方程式の意味を説明しました。確かに、しかし、それらの確率変数が変更さの分布は、あなたが途中で御馳走X.を依存「推定値は0とβ1は関係なく、Xについて想定されているものの確率変数であるβ」
Mur1lo

1
@whuber私はあなたの最後の点に完全に同意します。回答を編集して、指摘されたすべての問題が明確になるようにします。フィードバックをお寄せいただきありがとうございます。
Mur1lo 2016年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.