モデルの識別可能性とは何ですか？

識別できないモデルの場合、データはモデルパラメーターへの複数の異なる割り当てによって生成されると言えます。Cassella＆Berger 2nd ed、セクション11.2の例のように、すべてを識別できるようにパラメーターを制限できる場合があることを知っています。

特定のモデルが与えられた場合、それが識別可能かどうかをどのように評価できますか？

identifiability

— ジャック・タナー
ソース

回答:

以下のために識別可能私たちは話しているパラメータパラメータ空間上の範囲、（ベクトルである可能性がある）、およびディストリビューションの家族（簡略化のために、PDFを考える）でインデックス化我々は一般的に書き込み、何かのようなその。たとえば、は、は $\theta$ $\Theta$ $\theta$ $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$ つまり。モデルを識別可能にするために、をマッピングする変換は1対1である必要があります。あなたのラップでモデルを考えると、これを確認する最も簡単な方法は、方程式を開始することである、（この等式が（ほぼ）すべてのために保持する必要がありで支持体）とちょうどそのような式は、実際には、そのことを意味することを示すために使用代数（またはいくつかの他の引数）しようとする。

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

この計画で成功した場合、モデルは識別可能です。あなたのビジネスを続けてください。そうでない場合は、モデルが特定できないか、別の引数を見つける必要があります。直観は同じですが、識別可能モデルでは、2つの異なるパラメーター（ベクトルである可能性があります）が同じ尤度関数を生成することは不可能です。

これは、固定データに対して2つの一意のパラメーターが同じ可能性をもたらした場合、データのみに基づいて2つの候補パラメーターを区別することができないため、理にかなっています。その場合、真のパラメーターを特定することは不可能です。

上記の例では、方程式は（ほぼ）すべての。両側のログを取ると、は、線形関数を意味しますは（ほぼ）同じゼロです。このようなことを行う唯一の行は、勾配0とy切片0を持つ行です。うまくいけば、残りを見ることができます。 $f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

ちなみに、モデルを見て、識別できない（場合によっては）ことがわかると、モデルに追加の制約を導入して識別できるようにするのが一般的です（前述のとおり）。これは、機能することを認識することに似ているのために一対一でないに、それはある我々が制限あれば一対一位置するようにinside。より複雑なモデルでは、方程式はより厳しくなりますが、考え方は同じです。 $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

（+1）素晴らしく、包括的な、現実的な説明。あなたが描く類推は、概念を明確にします。

— 枢機

あなたは確かに私が尋ねた質問に答えましたが、私はあなたの答えを本当に理解するには初心者です。初心者にとってより良い説明を知っているなら、私に知らせてください。

— ジャックタナー

@枢機inal、ありがとう。ジャックには、わかりました。これについてはどうですか：明確でない上記のものがあり、あなたが私にそれを指摘するなら、私はそれをもう少し肉付けしようとすることができます。または、必要に応じて、これらのアイデアの「素人」の説明や例を求める別の質問を書くこともできます。識別可能性は、通常の入門的な学習期間の後に通常発生するトピックであると言うのは公平だと思うので、今これに遭遇している理由のコンテキストを提供したい場合、潜在的な回答者に役立つかもしれません。

+1、いい答え。一つは古典＆識別不能モデルの一例を見やすいANOVAの制約のないバージョンであるからそれを価値ポインティングかもしれない：これを改善するために、基準セルコーディングがあります通常、1つのレベルの平均が基準（インターセプトによって推定される）として設定され、総平均は明示的に推定されません。

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

— グング-モニカの復職

1つの方法は、パラメーター推定の共分散行列を調べることです。2つのパラメーター推定値が互いに完全に（ほぼ）相関している場合、または1つのパラメーター推定値が他のいくつかの（ほぼ）線形結合である場合、モデルは識別されません。他の機能であるパラメーターは不要です。これらの各ケースでは、も（ほぼ）特異になります。したがって、がほぼ特異であれば、これは識別可能性の問題を心配する理由になる可能性があります。（これにより、パラメータの推定値の間に非線形の関係が検出され、識別不能性が生じるとは思わないが）。 $\Sigma$ $\Sigma$ $\Sigma$

実際的な問題は、やや複雑なモデルであってもを計算するのが難しいことが多いということです。 $\Sigma$

最尤法を使用している場合、推定の漸近共分散行列がMLEで評価されたフィッシャー情報の逆数に等しいことがわかります。したがって、漁師情報マトリックスで（近似）特異点を確認することも、識別可能性を評価する合理的な方法です。これは、たとえば、観測された平均外積によるスコア関数の予想外積を推定することにより、フィッシャー情報マトリックスの一貫した推定量を非常に正確に数値的に近似できるため、理論的なフィッシャー情報の計算が難しい場合にも機能します。

ML問題を行っていない場合は、モデルからのデータをシミュレートし、パラメーターを何度も推定し、サンプル共分散行列を計算することにより、ハンドルを取得できる場合があります。 $\Sigma$

— マクロ
ソース

（+1）よくやった。私はその方向からこの質問にアプローチすることすら考えていませんでした。

シミュレートされたデータに基づいて共分散行列を計算する考えが特にきちんとしたものである理由の1つは、とにかくデータをシミュレートしてCook-Gelman-Rubinチェックを行う必要があるためです。

— ジャックタナー