従属変数に関する残差のプロットを研究することには意味がありますか？

単変量回帰が得られたときに、従属変数に関する残差のプロットを調べることが理にかなっているかどうかを知りたいのですが。それが理にかなっている場合、（y軸の）残差と（x軸の）従属変数の推定値の間の強い線形の増加する相関は何を意味しますか？

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$---すべての観測で同じです。すべての予測値がほぼ同じである場合、それらはエラーと無相関でなければなりません。

$x$$y$$\hat{\beta}_1$

$x$

Rの小さなデモが必要な場合は、次のようにします。

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

推定モデルが正しく指定されていると仮定します...

$P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$

したがって、予測従属変数に対する残差の散布図は、相関関係を示さないはずです。

だが！

$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$

$\sigma^2(I-P_X)$

私が知る限り、Gretlはデフォルトで元の従属変数（予測されたものではなく）に対する残差のグラフを生成します。

フィッティング/予測値と実際の値を混同している可能性はありますか？

@gungと@biostatが言ったように、フィッティングされた値と残差の間に関係がないことを望みます。一方、従属変数/結果変数の実際の値と残差の間の線形関係を見つけることは予想されることであり、特に有益ではありません。

前の文を明確にするために追加：残差と出力の実際の値の間の単なる線形関係が期待されるだけではありません... Yの測定値が低い場合、有用なモデルからのYの予測値は、実際の測定値、およびその逆

提供された答えは私にここで何が起こっているかについていくつかのアイデアを与えています。偶然に間違いがあったのではないかと思います。次の話が意味をなすかどうかを確認します。まず、データのXとYの間にはおそらく強い関係があると思います（ここにいくつかのコードとプロットがあります）。

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

しかし、誤ってYは単に平均から予測されました。これを複合して、平均値のみのモデルからの残差は、フィッティングされた値に対してプロットすることを意図したものであったとしても（コードとプロット）、Xに対してプロットされます。

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

これを修正するには、適切なモデルをフィッティングし、それから残差をプロットします（コードとプロット）：

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

これは私が始めたときに私が作った一種のグーフアップのようです。

このグラフは、適合したモデルが適切でないことを示しています。@gungがメインの質問の最初のコメントで述べたように、予測された応答と残差の間に関係はないはずです。

"アナリストは、ランダムな方法で応答を予測する際に回帰モデルが誤って予測することを予期する必要があります。モデルは、実際よりも高く、実際よりも低い値を等しい確率で予測する必要があります。これを参照してください"

最初に応答と独立変数をプロットして、それらの間の関係を確認することをお勧めします。モデルに多項式の項を追加するのが妥当かもしれません。

X変数とY変数の間に関係がない場合はどうなりますか？このグラフを見ると、本質的にYを平均で予測しているように見えます。

OPは、残差と元の応答変数（モデルからの近似応答変数ではない）をプロットしたと思います。私はいつもこのようなプロットをほぼ同じパターンで見ています。残差と元のYからどのような意味のある推論を収集できるかわからないので、残差と近似値をプロットするようにしてください。しかし、間違いがあるかもしれません。