R-squaredは本当に非線形モデルの無効なメトリックですか？

SSR + SSE = SSTotalの関係が成立しないため、非線形二乗モデルではR-2乗が無効であることを読みました。これが真実である理由を誰かが説明できますか？

SSRとSSEは、回帰ベクトルと残差ベクトルの二乗ノルムであり、成分はそれぞれとです。これらのベクトルが互いに直交している限り、予測子の値を当てはめられた値にマップするために使用される関数の種類に関係なく、上記の関係が常に成り立つとは限りません。$i^{th}$$(\hat{Y_i}-\bar{Y})$$(Y_i-\hat{Y_i})$

さらに、最小二乗の定義により、任意の最小二乗モデルに関連付けられた回帰ベクトルと残差ベクトルは直交しませんか？残差ベクトルは、ベクトルと回帰ベクトルの差です。残差/差分ベクトルが直交しないような回帰ベクトルの場合、回帰ベクトルに定数を掛けて、残差/差分ベクトルと直交するようにすることができます。これにより、残差/差分ベクトルのノルムも減少します。$(Y_i-\bar{Y_i})$

これをうまく説明できなかった場合は、教えてください。明確にするように努めます。

線形回帰の二乗和は、一般化線形モデルにおけるより一般的な逸脱値の特殊なケースです。より一般的なモデルでは、（切片項を含む）説明変数の線形関数にリンクされた平均の応答分布があります。GLMの3つの逸脱統計は、次のように定義されます。

$$\begin{matrix} \text{Null Deviance} \quad \quad \text{ } \text{ } & & \text{ } D_{TOT} = 2(\hat{\ell}_{S} - \hat{\ell}_0), \\[6pt] \text{Explained Deviance} & & D_{REG} = 2(\hat{\ell}_{p} - \hat{\ell}_0), \\[6pt] \text{Residual Deviance}^\dagger \text{ } & & \text{ } D_{RES} = 2(\hat{\ell}_{S} - \hat{\ell}_{p}). \\[6pt] \end{matrix}$$

これらの式では、値 $\hat{\ell}_S$ 飽和モデルの下で最大化された対数尤度です（データポイントごとに1つのパラメーター）。 $\hat{\ell}_0$ nullモデル（切片のみ）での最大化された対数尤度です。 $\hat{\ell}_{p}$ モデルの下で最大化された対数尤度です（切片項と $p$ 係数）。

これらの逸脱統計は、線形回帰における二乗和のスケーリングされたバージョンに類似した役割を果たします。それらが分解を満たすことは簡単にわかります$D_{TOT} = D_{REG} + D_{RES}$、これは線形回帰における二乗和の分解に類似しています。実際、線形リンク関数を持つ正規応答分布がある場合、線形回帰モデルが得られ、逸脱度統計は次のように減少します。

$$\begin{equation} \begin{aligned} D_{TOT} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{TOT}, \\[6pt] D_{REG} = \frac{1}{\sigma^2} \sum_{i=1}^n (\hat{y}_i - \bar{y})^2 = \frac{1}{\sigma^2} \cdot SS_{REG}, \\[6pt] D_{RES} = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{\sigma^2} \cdot SS_{RES}. \\[6pt] \end{aligned} \end{equation}$$

ここで、線形回帰モデルの変動係数は、説明変数に起因する応答の総変動の割合を測定する適合度統計です。GLMの場合の自然な拡張は、統計を形成することです。

$$R_{GLM}^2 = 1-\frac{D_{RES}}{D_{TOT}} = \frac{D_{REG}}{D_{TOT}}.$$

スケーリング値が相殺されるため、この統計が線形回帰の特別な場合の変動係数に減少することが容易にわかります。GLMのより広いコンテキストでは、統計には、線形回帰の解釈に類似した自然な解釈があります。モデルの説明変数によって説明されるnull逸脱の割合を示します。

線形回帰の二乗和がGLMの偏差にどのように拡張されるかを見てきたので、非線形モデルでは通常の変動係数が不適切であることがわかります。これは、正規分布誤差項をもつ線形モデル。それにもかかわらず、標準変動係数は不適切ですが、逸脱値を使用して、類似の解釈で適切な類似性を形成することが可能であることがわかります。

---

$^\dagger$ 残差の逸脱は、単に逸脱と呼ばれることもあります。

なぜSSE + SSRはSSTと等しくなければならないのですか？たまたま、線形モデルがそうでした。それが続くべきであることを示すための多くの方法があります$y=X\beta+\varepsilon$ガウスマルコフ条件下で。ただし、通常は保持する必要はありません。負担は、それが成り立つことを証明することであり、それが成り立たないことではありません

他の理由により、R-squaredは依然として非線形モデルの欠陥のある測定値である可能性がありますが、SSR + SSE = SSTotalの関係が、特定の非線形関数、特に多項式モデルなどの定数項を可能にします。この結論は、提供されたncbiリンクから読んだ内容を含め、このディスカッションに投稿された内容と互換性があると思いますが、完全なレポートにはアクセスできませんでした。

一連の適合値がある場合 $\hat y_i$ 一連の観察に関して $y_i$、 どこ $\hat y_i$ $= A + f(X) =$ $\bar Y$ $+ (A-\bar Y)$ $+ f(X)$、 $A$ 定数項であり、 $f(X)$ 予測子変数の関数。 $(\hat{Y_i} - \bar{Y})$ に直交していません $(Y_i - \hat{Y_i})$、フィットされた値の新しいセットを作成できます $Z_i$ そのような $Z_i = c*(\hat{Y_i} - \bar{Y}) + \bar{Y}$、ここでc = $\sum{(\hat{Y_i}-\bar{Y})*(Y_i-\hat{Y_i})} / \sum{(\hat{Y_i} - \bar{Y})^2}$。新しいフィット値$Z_i$、ベクトル $(Z_i - \bar{Y})$ 誤差ベクトルとこの新しい誤差ベクトルに直交します $(Y_i - Z_i)$ 元の平方和よりも小さい平方和になります $(Y_i-\hat{Y_i})$。の$Z_i$ 元の推定モデルに定数を掛けて $"c"$そして、複数の観測値の平均を追加します。これは、定数項を持つモデルと互換性があります。したがって、これらの状況では、最小二乗モデルは常に直交回帰と誤差ベクトルを持つ必要があります。つまり、$SSE + SSR = SSTotal$。

作業中の少数のデータセットに多項式モデルを作成しましたが、この関係はそれらすべてと関係しています。私は言っているだけです。

$R^2$非線形回帰では限定的に使用されます。GraphPad Prismで利用できるようにしますが、次の1つの方法でのみ使用することをお勧めします。

見る $R^2$一連の実験を実行し、今日の実験が他の実験と一致していることを確認したい場合。たとえば、常に$R^2$ 0.90から0.95の間ですが、今日は $R^2$= 0.75の場合、疑わしいことに注意し、その特定の実験で使用されたメソッドや試薬に問題があったかどうかを注意深く確認してください。そして、新入社員があなたに結果を示したら$R^2$ 同じシステムを使用して0.99の場合、削除された「外れ値」の数と、一部のデータが構成されているかどうかを注意深く確認する必要があります。

もっと。