多項ロジスティック回帰対1対残りのバイナリロジスティック回帰

いくつかのカテゴリと独立変数のセットを持つ従属変数とします。 $Y$

バイナリロジスティック回帰のセット（すなわち、1対レストスキーム）に対する多項ロジスティック回帰の利点は何ですか？バイナリロジスティック回帰のセットにより、各カテゴリに対して、場合はtarget = 1、それ以外の場合は0の個別のバイナリロジスティック回帰モデルを構築します。 $y_{i} \in Y$ $Y=y_{i}$

logistic categorical-data multinomial

— トメク・タルチンスキ
ソース

数学的には、多項ロジットモデルはバイナリロジットモデルのセットであり、すべてベースの代替と比較されます。しかし、ジェネリックパラメーターを折りたたんで、他のパラメーターを組み合わせることができるため、MNLは常に少なくとも同じくらい効率的です（おそらくそれ以上）。一連の二項モデルを使用する理由はありません。

— グレッグマクファーレン

@gmacfarlane：一連のバイナリロジスティック回帰よりMNLの方が優れているデータをシミュレートしようとしましたが、平均して毎回品質は同じでした。私はリフトチャートを比較し、いくつかのシミュレーションの結果を平均した後、それらはほとんど同じように見えます。たぶん、MNLがバイナリロジスティック回帰に勝つようにデータを生成する方法をお持ちですか？MNLには大きな利点がありましたが、そのスコアは確率として解釈できました。

— トメックタルチンスキ

多項ロジスティック回帰は、バイナリロジット回帰の拡張です。スタディの従属変数が3以上の場合に使用されますが、バイナリロジットはスタディの従属変数が2の場合に使用されます。

読者へ：@juliethの回答から始めて、ttnphns 'を読んでフォローアップすることをお勧めします。前者は元の質問により直接的に答えるが、後者は興味深い文脈を追加すると思う。ttnphnsは、一般的なソフトウェアルーチンの両方で使用可能なさまざまな機能も示しています。これは、それ自体を使用する理由になります（gregmacfarlaneの声明を参照）。

— ベンオゴレク

回答:

場合は二つ以上のカテゴリがあり、他の上の1つの回帰の「利点」についてのご質問は、おそらく無意味であるあなたは、モデルのパラメータを比較することを目指した場合のモデルは根本的に異なるものになりますので、： $Y$

$\bf log \frac{P(i)}{P(not~i)}=logit_i=linear~combination$ 各バイナリロジスティック回帰の、および $i$

$\bf log \frac{P(i)}{P(r)}=logit_i=linear~combination$ 複数のロジスティック回帰の各カテゴリの、は選択された参照カテゴリ（）です。 $i$ $r$ $i \ne r$

あなたの場合は、目的は確率を予測するだけで各カテゴリののいずれかの方法を、彼らは異なる確率推定を与える可能性があるものの、正当化されます。確率を推定する公式は一般的です： $i$

$\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+exp(logit_j)+\dots+exp(logit_r)}$ 、ここではすべてのカテゴリであり、そしてあれば基準1、そのなるように選択された。したがって、バイナリロジスティックの場合、同じ式はます。多項ロジスティックスは、一連のバイナリロジスティック予測がそうではないのに対し、無関係な選択肢の独立性の（常に現実的ではない）仮定に依存しています。 $i,j,\dots,r$ $r$ $\bf exp(logit)=1$ $\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+1}$

別のテーマは、が二分した場合の多項および二項ロジスティック回帰の技術的な違いです。結果に違いはありますか？共変量がない場合、ほとんどの場合、結果は同じになりますが、アルゴリズムと出力オプションには違いがあります。SPSSのその問題に関するSPSSヘルプを引用します。 $Y$

バイナリロジスティック回帰モデルは、ロジスティック回帰手順または多項ロジスティック回帰手順のいずれかを使用して適合できます。各手順には、他にはないオプションがあります。重要な理論上の違いは、ロジスティック回帰手順は、データの入力方法や共変量パターンの数に関係なく、個々のケースレベルのデータを使用して、すべての予測、残差、影響統計、適合度テストを生成することです。は、ケースの総数よりも小さいのに対し、多項ロジスティック回帰手順は、ケースを内部的に集約して、予測子と同じ共変量パターンを持つ部分母集団を形成し、これらの部分母集団に基づいて予測、残差、適合度検定を生成します。

ロジスティック回帰は、次の独自の機能を提供します。

•モデルの適合度のHosmer-Lemeshowテスト

•段階的分析

•モデルのパラメーター化を定義するコントラスト

•分類のための代替カットポイント

•分類プロット

•ケースの1つのセットに固定されたケースのセットに適合したモデル

•予測、残差、および影響統計を保存します

多項ロジスティック回帰は、次の独自の機能を提供します。

•モデルの適合度のピアソンおよび逸脱カイ二乗検定

•適合度テストのデータをグループ化するための部分母集団の指定

•カウント、予測カウント、およびサブポピュレーションごとの残差のリスト

•過剰分散の分散推定値の修正

•パラメーター推定の共分散行列

•パラメーターの線形結合のテスト

•ネストされたモデルの明示的な指定

•差分変数を使用して1-1の一致した条件付きロジスティック回帰モデルを近似

— ttnphns
ソース

これらのモデルが異なることは知っていますが、どの状況でどのモデルが優れているかはわかりません。別の方法で質問します。タスクが与えられた場合：各人について、携帯電話会社がお気に入りの会社である確率を予測します（すべての会社がお気に入りの携帯電話会社を持っていると仮定します）。これらの方法のどれを使用しますか、2番目の方法よりも利点は何ですか？

— トメクタルチンスキ

@Tomek私は答えを少し拡大しました

— -ttnphns

@juliethがOPの元の質問に対する最善の答えだと思いますが、無関係な独立性の仮定を紹介することはあなたに義務があります。私がまだ疑問視しているのは、個別のロジスティクスが本当にそれを回避するかどうかです。言及したプロビットと「ネストされたロジット」にリンクしたウィキペディアの記事は、IIAの違反を許可している

— Ben Ogorek

i

$i$

r

$r$

i

$i$

i \neq r

$i \neq r$

タイトルのため、「多重ロジスティック回帰の利点」は「多項回帰」を意味すると想定しています。モデルを同時に適合させると、多くの利点があります。この特定の状況は、Agresti（Categorical Data Analysis、2002）273ページで説明されています。合計（Agrestiの言い換え）では、ジョイントモデルからの推定値が成層モデルとは異なることが予想されます。個別のロジスティックモデルは標準エラーが大きくなる傾向がありますが、結果の最も頻繁なレベルが参照レベルとして設定されている場合はそれほど悪くないかもしれません。

— ジュリス
ソース

ありがとう！私は、ページ268までのコンテンツを提供生憎google.books、この本を見つけようとします

— Tomek Tarczynski

@TomekTarczynski段落から関連情報を要約したので、この質問に関連する情報を本を見てもそれ以上得られないかもしれません（本は素晴らしいので、他の良い情報が得られます）。

— ジュリス

Agrestiの本からの引用：「個別フィッティングの推定値は、J-1ロジットの同時フィッティングのML推定値とは異なります。効率が悪く、標準誤差が大きくなる傾向があります。しかし、BeggとGray 1984は、最も有病率が高い応答カテゴリがベースラインである場合はマイナーです。」

— フランクデルノンクール