通常のロジスティック回帰におけるAUC

私は2種類のロジスティック回帰を使用しています。1つはバイナリ分類用の単純なタイプで、もう1つは順序ロジスティック回帰です。最初の精度を計算するために、交差検証を使用しました。各検証でAUCを計算し、平均AUCを計算しました。通常のロジスティック回帰の場合はどうすればよいですか？マルチクラス予測子の一般化されたROCについて聞いたことがありますが、それを計算する方法がわかりません。

ありがとう！

— ノームペレド
ソース

AUCではないが関連：stats.stackexchange.com/questions/21551/

— Yevgeny

回答:

ROC曲線の下の面積（ -index）が好きなのは、たまたま一致確率であるからです。は、ランク相関係数のビルディングブロックです。たとえば、Somersのです。序数場合、は予測差別の優れた尺度であり、R パッケージはブートストラップ過適合修正済み推定値を取得する簡単な方法を提供します。一般化されたインデックス（一般化されたAUROC）をバックソルブできます。各レベルの考慮すべきではない理由があります、これはの序性質を利用しないため、別途。 $c$ $c$ $D_{xy} = 2\times (c - \frac{1}{2})$ $Y$ $D_{xy}$ rms $D_{xy}$ $c$ $Y$ $Y$

でrms：順序回帰のための2つの機能が存在するlrmとorm、後者の取り扱い連続比例オッズよりも多く分布ファミリー（リンク機能）を提供するが。 $Y$

— フランク・ハレル
ソース

主な問題は、rms がSommerの使用されるどのように計算するかです。

c - i n d e x

$c-index$

D_{x y}

$D_{xy}$

— Chamberlain Foncha

それは、ソマーのつづりです。一般化されたインデックスは、上に挙げた方程式を逆解することによって簡単に計算されます。内部では、異なる値を持つすべての可能な観測値の組み合わせが調べられ、予測が同じ順序であるそのようなペアの割合は、一致確率の推定値です。私は1つのことを誤解しました：関数はではなくSpearmanの使用します。

c

$c$

Y

$Y$ orm

ρ

$\rho$

D_{x y}

$D_{xy}$

— フランクハレル

スペル修正をありがとう。順序回帰では、言及したorm関数で行われるペアワイズの順序だけでなく、クラスの数に応じて（3項以上の演算子を使用して）一貫した順序を確認する方がはるかに興味深いでしょう。要約すると、私が言っていることは、たとえば、当てはめられた累積ロジスティック回帰では、クラスの順序がモデルで処理されます。また、予測メジャーはペアワイズ比較を実行できず、形式$ P（pred_1 <pred_2 <pred_3 | obs_1 <obs_2 <o

P (p r e d_{1} < p r e d_{2} | o b s_{1} < o b s_{2})

$P(pred_1<pred_2|obs_1<obs_2)$

— Chamberlain

このような対策について知らないのは、私の最初の反応は、彼らがハードルを高く設定しているということです。

— フランクハレル

序数回帰のAUCは注意が必要です。ダミーを作成して、AUCを計算しているクラスの値を1とし、他のクラスの残りを0にするダミーを作成して、各クラスのAUCを計算することができます。4つのクラスがある場合は、4つのAUCを作成し、それらを同じグラフにプロットします。この方法の主な問題は、誤った分類に等しくペナルティを課すという事実です。クラス1をクラス3に誤って分類するのは、クラス1をクラス2に誤って分類するよりもはるかに直感的に最悪です。

— チェンバレンフォンチャ
ソース