Hosmer-Lemeshowテストのの自由度

ロジスティック回帰モデルの適合度（GOF）に対するHosmer-Lemeshow検定（HLT）の検定統計量は、次のように定義されます。

その後、サンプルは単位、に分割され、十分位ごとに次の量が計算されます。$d=10$$D_1, D_2, \dots , D_{d}$

• $O_{1d}=\displaystyle \sum_{i \in D_d} y_i$、すなわち、十分位数での陽性症例の観測数。$D_d$
• $O_{0d}=\displaystyle \sum_{i \in D_d} (1-y_i)$、すなわち、十分位数で観測された負のケースの数。$D_d$
• $E_{1d}=\displaystyle \sum_{i \in D_d} \hat{\pi}_i$、つまり十分位数陽性症例の推定数。$D_d$
• $E_{0d}= \displaystyle \sum_{i \in D_d} (1-\hat{\pi}_i)$、すなわち、十分位数負のケースの推定数。$D_d$

ここで、は番目の観測の観測されたバイナリ結果で、はその観測の推定確率です。$y_i$π$i$$\hat{\pi}_i$

次に、検定統計量は次のように定義されます。

$X^2 = \displaystyle \sum_{h=0}^{1} \sum_{g=1}^d \left( \frac{(O_{hg}-E_{hg})^2}{E_{hg}} \right)= \sum_{g=1}^d \left( \frac{ O_{1g} - n_g \hat{\pi}_g}{\sqrt{n_g (1-\hat{\pi}_g) \hat{\pi}_g}} \right)^2,$

ここで、$\hat{\pi}_g$は十分位数gの平均推定確率で$g$あり、$n_g$位数の企業数とします。

Hosmer-Lemeshow（このリンクを参照）によると、この統計には（特定の仮定の下で）自由度（d-2）の$\chi^2$分布があり$(d-2)$ます。

一方、$d$行（10進に対応）および2列（true / falseバイナリ結果に対応）の分割表を定義する場合、この分割表の$\chi^2$テストのテスト統計上記で定義したX ^ 2と同じ$X^2$ですが、分割表の場合、この検定統計量は$\chi^2$、$(d-1)(2-1)=d-1$自由度です。それで、さらに1自由度！

自由度の数のこの違いをどのように説明できますか？

編集：コメントを読んだ後の追加：

@whuber

彼らは（Hosmer DW、Lemeshow S.（1980）、多重ロジスティック回帰モデルの適合度検定を参照。Communicationsin Statistics、A10、1043-1069）ムーアとスプルイルによって証明された定理があると言う（1）グループ化されていないデータの尤度関数を使用してパラメーターを推定し、（2）2xgテーブルの頻度が推定パラメーターに依存する場合、つまり、セルがランダムであり、固定ではない場合、適切な規則性条件下で（1）および（2）の下の適合度統計は、推定されたパラメーターと加重カイ二乗変数の合計による自由度の通常の減少を伴う中央カイ二乗の統計です。

そして、彼らの論文をよく理解していれば、彼らはこの「補正項」の近似値を見つけようとします。それをよく理解していれば、カイ二乗確率変数のこの加重和であり、シミュレーションを行うことでこれを行いますが、彼らがそこで言っていることを私が完全に理解していないことを認めなければならないので、私の質問です。なぜこれらの細胞はランダムなのですか、それは自由度にどのように影響しますか？セルの境界を修正し、推定スコアに基づいて固定セルの観測値を分類した場合、セルの「内容」はランダムですが、セルはランダムではありませんか？

@フランク・ハレル：以下のコメントで言及しているHosmer-Lemeshowテストの「欠点」は、カイ二乗の加重和の近似の結果にすぎないのではないでしょうか？

Hosmer DW、Lemeshow S.（1980）、多重ロジスティック回帰モデルの適合度テスト。Communications in Statistics、A10、1043-1069 は、次のことを示しています。

モデルがロジスティック回帰モデルであり、パラメーターが最尤法で推定され、グループが推定確率で定義されている場合、は漸近的に （Hosmer、Lemeshow、1980、p.1052、Theorem 2）。G X 2 χ 2（G - P - 1 ）+ Σ P + $p$$G$$X^2$$\chi^2(G-p-1)+\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

（注：必要な条件は、1052ページの定理2には明示されていませんが、注意して論文と証明を読むとポップアップします）

2番目の項は、グループ化が推定-すなわちランダム-量（Hosmer、Lemeshow、1980、p。 1051）$\sum_{i=1}^{p+1} \lambda_i \chi_i^2(1)$

シミュレーションを使用して、2番目の項は（シミュレーションで使用される場合）近似できることを示しました （Hosmer、Lemeshow、1980、p.1060）$\chi^2(p-1)$

これら2つの事実を組み合わせると、2つの変数の合計が得られます。1つは自由度、もう1つは 自由度または G - P - 1 、P - 1 X 2〜χ 2（G - P - 1 + P - 1 = G - 2 $\chi^2$$G-p-1$$p-1$$X^2 \sim \chi^2(G-p-1+p-1=G-2)$

したがって、質問に対する答えは、「重み付きカイ二乗項」の発生、またはグループがそれ自体ランダム変数である推定確率を使用して定義されるという事実にあります。

Hosmer Lemeshow（1980）Paper-Theorem 2も参照してください

あなたが参照する定理（通常の減少部分「推定されたパラメータによる自由度の通常の減少」）は、RA Fisherによって主に提唱されています。「分割表からのカイ二乗の解釈とPの計算」（1922）で規則を使用し、「回帰式の適合度」 1922）彼は、データから期待値を得るために回帰で使用されるパラメーターの数だけ自由度を減らすと主張します。（1900年に導入されてから20年以上、人々が誤った自由度でカイ二乗検定を誤用していることに注意するのは興味深いことです）$(R-1) * (C-1)$

あなたのケースは第2種（回帰）であり、前の種（コンティンジェンシーテーブル）ではありませんが、2つはパラメーターの線形制限であるという点で関連しています。

観測値に基づいて期待値をモデル化し、2つのパラメーターを持つモデルでこれを行うため、自由度の「通常の」減少は2プラス1（O_iは合計は別の線形制限であり、モデル化された期待値の「非効率」のために、3ではなく2の削減に効果的になります）。

カイ2乗検定は、結果が期待されるデータにどれだけ近いかを表す距離尺度としてを使用します。カイ2乗検定の多くのバージョンでは、この「距離」の分布は正規分布変数の偏差の合計に関連しています（これは限界にのみ当てはまり、非正規分布データを扱う場合の近似です） 。$\chi^2$

多変量正規分布のための密度関数に関連するによって$\chi^2$

$f(x_1,...,x_k) = \frac{e^{- \frac{1}{2}\chi^2} }{\sqrt{(2\pi)^k \vert \mathbf{\Sigma}\vert}}$

の共分散行列の行列$\vert \mathbf{\Sigma}\vert$$\mathbf{x}$

およびはマハラノビス場合、ユークリッド距離に減少する距離。 Σ =$\chi^2 = (\mathbf{x}-\mathbf{\mu})^T \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu})$$\mathbf{\Sigma}=\mathbf{I}$

1900年の記事で、ピアソンはレベルは回転楕円体であり、などの値を積分するために球面座標に変換できると主張しました。これは単一の積分になります。 P （χ 2 > A $\chi^2$$P(\chi^2 > a)$

この幾何学的表現、距離としてのおよび密度関数の項は、線形制限が存在する場合の自由度の低下を理解するのに役立ちます。$\chi^2$

まず、2x2分割表の場合。4つの値は4つの独立した正規分布変数ではないことに注意してください。代わりに、それらは互いに関連しており、1つの変数に要約されます。$\frac{O_i-E_i}{E_i}$

テーブルを使用しましょう

$O_{ij} = \begin{array}{cc} o_{11} & o_{12} \\ o_{21} & o_{22} \end{array}$

その後、期待値

$E_{ij} = \begin{array}{cc} e_{11} & e_{12} \\ e_{21} & e_{22} \end{array}$

固定されている場合、は4自由度のカイ2乗分布として分布しますが、はで、バリエーションは4つの独立変数のようではありません。代わりに、と違いはすべて同じであることがわかります eij$\sum \frac{o_{ij}-e_{ij}}{e_{ij}}$$e_{ij}$ o$o_{ij}$$o$$e$

$\begin{array}\\&(o_{11}-e_{11}) &=\\ &(o_{22}-e_{22}) &=\\ -&(o_{21}-e_{21}) &=\\ -&(o_{12}-e_{12}) &= o_{11} - \frac{(o_{11}+o_{12})(o_{11}+o_{21})}{(o_{11}+o_{12}+o_{21}+o_{22})} \end{array}$

そして、それらは事実上4つではなく単一の変数です。幾何学的には、これは4次元の球ではなく、単一の線で統合された値として見ることができます。$\chi^2$

この分割表テストは、Hosmer-Lemeshowテストの分割表の場合ではないことに注意してください（別の帰無仮説を使用します！）。Hosmer and Lemshowの記事のセクション2.1「およびが既知の場合」も参照してください。その場合、（R-1）（C-1）ルールのようにg-1の自由度ではなく、2g-1の自由度が得られます。この（R-1）（C-1）ルールは、行変数と列変数が独立しているという帰無仮説（具体的には、値にR + C-1制約を作成する）の場合です。Hosmer-Lemeshow検定は、基づくロジスティック回帰モデルの確率に従ってセルが満たされるという仮説に関連しています。β _ O I - E I$\beta_0$$\underline\beta$$o_i-e_i$$four$分布仮定A の場合のパラメーターおよび分布仮定Bの場合のパラメーター$p+1$

第二に、回帰の場合。回帰は、分割表として差分似た処理を行い、バリエーションの次元を減らします。値はモデル項と残差（誤差ではない）項の合計として表すことができるため、これには素敵な幾何学的表現があります。これらのモデル項と残差項はそれぞれ、互いに垂直な次元空間を表します。つまり、残差の項は可能な値を取ることができません！つまり、モデルに投影される部分、およびモデル内の各パラメーターのより具体的な1次元によって削減されます。Y I β X $o-e$$y_i$$\beta x_i$$\epsilon_i$$\epsilon_i$

次の画像が少し役立つかもしれません

以下は、二項分布からの400×3（非相関）変数です。これらは、正規分布変数ます。同じ画像にの等値面を描画します。（角度を変更しても密度は変更されないため）単一の積分のみが必要となるように球面座標を使用してこの空間で積分すると、はで、この部分はd次元球体の面積を表します。変数を制限する場合$B(n=60,p={1/6,2/6,3/6})$$N(\mu=n*p,\sigma^2=n*p*(1-p))$$\chi^2={1,2,6}$$\chi$$\int_0^a e^{-\frac{1}{2} \chi^2 }\chi^{d-1} d\chi$$\chi^{d-1}$$\chi$ 何らかの方法で、統合はd次元の球ではなく、より低い次元のものになります。

以下の画像を使用して、残差項の次元削減のアイデアを得ることができます。幾何学用語で最小二乗法を説明します。

青で測定値があります。赤でモデルが許可するものがあります。多くの場合、測定値はモデルと正確に等しくなく、多少の偏差があります。これは、幾何学的に、測定点から赤い表面までの距離と見なすことができます。

赤い矢印および値はおよびあり、x = a + b * z +エラーまたは$mu_1$$mu_2$$(1,1,1)$$(0,1,2)$

$\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix} = a \begin{bmatrix}1\\1\\1\end{bmatrix} + b \begin{bmatrix}0\\1\\2\end{bmatrix} + \begin{bmatrix}\epsilon_1\\\epsilon_2\\\epsilon_3\end{bmatrix}$

したがって、これらの2つのベクトルおよび（赤い面）のスパンは、回帰モデルで可能なの値であり、は、観測値と回帰/モデル化された値。最小二乗法では、このベクトルは赤い表面に垂直です（最小距離は最小の二乗和です）（モデル化された値は観測値の赤い表面への投影です）。$(1,1,1)$$(0,1,2)$$x$$\epsilon$

そのため、観測されたものと（モデル化された）期待されるものとのこの差は、モデルベクトルに垂直なベクトルの合計になります（この空間には、空間の合計からモデルベクトルの数を引いた次元があります）。

単純な例の場合。合計ディメンションは3です。モデルには2つのディメンションがあります。また、エラーの次元は1です（したがって、これらの青い点のどれをとっても、緑の矢印は単一の例を示し、エラー項は常に同じ比率を持ち、単一のベクトルに従います）。

この説明がお役に立てば幸いです。それは決して厳密な証明ではなく、これらの幾何学的表現で解決する必要がある特別な代数的トリックがあります。とにかく、私はこれらの2つの幾何学的な表現が好きです。1つは、球面座標を使用してを統合するピアソンのトリックであり、もう1つは、最小二乗和法を平面（またはより大きなスパン）への投影として表示するものです。$\chi^2$

私はいつもで終わることに驚いています。これは私の観点では、二項式の通常の近似はによるはなく、および分割表の場合は簡単に解決できますが、回帰または他の線形制限の場合はそれほど容易に解決しませんが、文献は「他の線形制限でも同じように解決する」と主張するのが非常に簡単です。（問題の興味深い例。次のテストを複数回実行すると、「コインを2回10回投げ、合計が10であるケースのみを登録する」場合、この「典型的なカイ2乗分布は得られません」単純な」線形制限）$\frac{o-e}{e}$$e$$np(1-p)$