glmアルゴリズムを使用して多項ロジスティック回帰を実行できますか？

14

私は自分のプロジェクトの統計分析にspotfire（S ++）を使用しており、大きなデータセットに対して多項ロジスティック回帰を実行する必要があります。最良のアルゴリズムはmlogitでしたが、残念ながらs ++では使用できません。ただし、この回帰にはglmアルゴリズムを使用するオプションがあります。ここで2つのことを明確にしたいと思います。

1. glmは多項ロジスティック回帰を実行するためにも使用できるという私の理解は正しいですか？

前の質問に対する答えが「はい」の場合、glm algoで使用するパラメーターは何ですか？

おかげで、

generalized-linear-model logistic

— ラグベンドラ
ソース

9

はい、ポアソンGLM（対数線形モデル）を使用すると、多項モデルに適合できます。したがって、多項ロジスティックモデルまたは対数線形ポアソンモデルは同等です。

ランダムカウント $y_{ij}$ を平均ポアソン確率変数として表示し、次の対数線形モデルを指定する必要があります。 $μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

多項ロジットモデルを取得するためのパラメーターは次のとおりです。

パラメーター $p_i$ 個人またはグループなど、各多項観測の。これにより、多項分母の正確な再現が保証され、実際にポアソンと多項モデルの等価性が確立されます。それらは多項尤度では固定されていますが、ポアソン尤度ではランダムです。

各応答カテゴリーのパラメーター。この方法では、各回答カテゴリでカウントが異なり、マージンが不均一になる可能性があります。 $c_j$

本当に興味があるのは、応答対数オッズに対するの影響を表す相互作用項 $x_iβ_j$ です。 $x_i$ $j$

対数オッズは、で簡単に計算できます。観測iが応答カテゴリに対して応答カテゴリjに分類されるのは、です。 $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

次に、多項ロジットモデルのパラメーター（ラテン文字で表記）は、対応する対数線形モデルのパラメーター間の差として取得できます。つまり、およびです。 $a_j = α_j-α_k$ $b_j = β_j-β_k$

— もも
ソース

どうもありがとう。これは本当に役に立ちます。私のソフトウェアでは、GLMアルゴリズムを実行しているときに、ファミリーを「possion」として選択し、Linkを「log」として選択するオプションを提供しています。それがまさにここで必要なことだと思います。

— ラグヴェンドラ

7

はい、できます。実際、これは多項ロジスティック回帰のためにRパッケージGLMNETがまさに行うことです。対数尤度関数を次のように記述します。

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

ここで、は観測値を示し、は多項カテゴリ $i$ $c$ $n_{ic}$ はカテゴリ観測値観測カウントです。観測は、一意の共変量の組み合わせによって定義されます-または、重複を許可し、各設定して、カテゴリ「バイナリ」データ（....バイナリの複数形がわからないようにすることができます。 ...）。ロジスティック回帰の場合、確率は次のように定義されます。 $i$ $c$ $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

これはフルランクのパラメーター化ではなく、ペナルティ付き尤度（GLMNETなど）を使用している場合に役立ちます。原則として、完全なベータ行列でIRLS / newton rhapsonを使用できますが、最終的には非対角の重み行列になります。別の方法として、1つを除くすべてのカテゴリのベータ版を修正し、そのカテゴリ全体で最適化することにより、「ギブススタイル」を最適化することができます。次に、次のカテゴリに進みます。確率には次の形式があるため、 $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

についての二次展開はロジスティック回帰の場合と同じ形式になりますが、IRLSの重みは異なる方法で計算されますベータ版の通常の更新。 $\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— 確率論
ソース

IRLS QR Newtonバリアントを使用して多項ロジスティック回帰を実装しようとしています。このコードは他のGLMモデルでも機能しますが、mlogitを機能させることはできませんでした。う私が唯一の反復ごとに一度ではなく、コレを計算できるようになるソフトマックス関数のヤコビアンなる結果ごとの重みのセットごとに解決するために回？

W

$W$

k

$k$

— ホセバヨアンサンティアゴカルデロン

対角線ではないことを考えると、多数の観測値でうまくスケーリングされないでしょうか？「ギブススタイル」の場合、行列からベースカテゴリパラメータを減算することは、予測の前または後に行われますか？

β

$\beta$

— ホセバヨアンサンティアゴカルデロン

あなたはについて話すとき、「コレk回」対あなたは行列が異なる次元であることに注意しなければならない「コレたら」 -がある場合、列が中その後、「いったんは」行列サイズのためにされてと「k倍」のためでありますサイズの行列

p

$p$

X

$X$

p k

$pk$

p

$p$

— 確率論的