周辺カウントのみが与えられた同時分布の最尤推定量

ましょう $p_{x,y}$ 2つのカテゴリ変数の同時分布である $X,Y$ と、 $x,y\in\{1,\ldots,K\}$ 。セイ $n$ のサンプルは、この分布から引き出されたが、我々は唯一の、すなわちのために、限界カウントを与えられている $j=1,\ldots,K$ ：

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

与えられた場合のの最尤推定量は何ですか？これは知られていますか？計算的に実行可能ですか？ML以外にこの問題に対する他の合理的なアプローチはありますか？ $p_{x,y}$ $S_j,T_j$

— RS
ソース

マージンには、実際には共同分布に関する情報*は含まれていません（実際、これはコピュラのポイントです）。

$\:$ *または少なくともほとんど-内部カウントは発生するマージンを超えることができないため、明らかにマージンには少なくともいくつかの情報が含まれます。特定の共同分布を念頭に置いていますか？なぜmaximum-entropyタグを使用したのですか？最大エントロピー解を求めていますか？

— グレン_b-モニカの復活2014

私はコピュラにあまり詳しくありません。彼らは同様にカテゴリカルケースを保持しますか？それはどういう意味ですか-同じマージンを持つすべての共同分布は同じ可能性を持っているでしょうか？（最大エントロピーに関連性があると考えたため、最大エントロピーにタグを付けました。）

— RS 14年

指定された分布モデルさえまだないので、実際には

を計算する立場にありません。ここには多くの可能性があります。コピュラは、順序付けされたカテゴリカルケース（一意でない場合）に存在しますが、それを提起する私の目的は、マージナルが一般的にあまり有益ではなかった理由の動機付けを与えることでした。カテゴリー数の場合に関して、フィッシャーは、マージンをジョイントに関する情報のないものとして扱い、フィッシャー・アーウィンの正確検定を行いました。最大エントロピーが必要な場合、おそらく最大エントロピーの解を得ることができますが、それが非常に有益であることはわかりません...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reinstate Monica 14年

（ctd）...構造。MEまたはMLのいずれの場合でも、2変量多項、2変量超幾何、またはより多くの構造を持つ何かであるかどうかにかかわらず、最初に何らかの種類のモデルが必要になると思います。この質問を参照してください。著者は回答を参照します。それは助けになるかもしれません。

— グレン_b-モニカを復元14

一般的な二変量多項分布を意味しました。質問は、分布の合計が与えられ、共同分布からのサンプルを見た場合について語っています。ここにサンプルの合計があります。この問題はMLの場合に明確に定義されていると思います（解決策は一意ではないかもしれませんが、わかりません）。

— RS 14年

回答:

この種の問題は、Dobra et al（2006）の論文「固定周辺合計による多元分割表のデータ増大」で研究されました。ましょう、モデルのパラメータを示すものと各々に対するカウントの未観測整数テーブルを示すの対、およびlet 限界カウント等しい整数テーブルの集合である。その後、限界カウント観測する確率である： $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$ 多項サンプリング分布です。これはMLの尤度関数を定義しますが、直接的な評価は小さな問題を除いて実行不可能です。彼らが推奨するアプローチはMCMCで、とを交互に更新します

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$

n

$\mathbf{n}$

θ

$\theta$ 提案分布からサンプリングし、Metropolis-Hastingsの受け入れ比率に従って変更を受け入れます。これは、モンテカルロEMを使用して、

近似最大値を見つけるように適合させることができます。

θ

$\theta$

別のアプローチでは、変分法を使用しての合計を近似します。限界制約は因子グラフとしてエンコードでき、期待伝播を使用して推論を実行できます。 $\mathbf{n}$ $\theta$

この問題は難しく、自明な解を認めない理由を確認するには、ケースを考える。服用行和として列合計として、カウントの二つの可能なテーブルが存在する： $S=(1,2), T=(2,1)$ $S$ $T$ したがって尤度関数はこの問題のMLEはある

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$ これは、左側の表を仮定することに対応します。対照的に、独立性を仮定することで得られる推定値は

います尤度値が小さい。

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$

— トム・ミンカ
ソース

分析ソリューションを入手することはできませんか？

— ベン・クーン

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

分析ソリューションがあるとは思わないでしょう。これを説明するために例を追加しました。

— トムミンカ14

ありがとう。おそらく漸近的に正しいのでしょうか？次に、マージン合計の条件付けは、マージン分布の条件付け（正規化後）と同じであり、各未観測整数テーブルの対数尤度はそのエントロピーに比例します。AEPで何かしら？

— RS

@Glen_bが指摘したように、これは不十分に指定されています。尤度を完全に指定できない限り、最尤法を使用できるとは思わない。

独立を前提とする場合、問題は非常に簡単です（偶然、解決策は提案されている最大エントロピーの解決策だと思います）。問題に追加の構造を課す意思がなく、セルの値に何らかの近似が必要な場合は、Fréchet-Hoeffdingコピュラ境界を使用できます。追加の前提条件がなければ、これ以上先に進むことはできないと思います。

— F・タセル
ソース

これの可能性は多項になります。なぜそれが不十分なのですか？

— RS

私が理解しているように、尤度はデータを与えられたパラメータの関数です。ここでは、各セルの値はなく、周辺のみであるため、最大化はもちろんのこと、計算できるパラメーターの単一の関数もありません。一般に、マージンと互換性のある多くのセル構成があり、それぞれが異なる可能性を与えます。

— F. Tusell

ええ、でも大丈夫です。パラメーターは

p

$p$ 、データは限界です。私はまだ与えられた周辺の確率を計算することができます

p

$p$ -限界を与えるのは、セル構成のすべての確率の合計です。それは私が最大化できる単一の機能です。

— RS

Edit: This answer is based on an incorrect assumption that likelihood of the marginal counts given $p_{x,y}$ is only a function of the marginal probabilities $p_x = \sum_y p_{x,y}$ and $p_y = \sum_x p_{x,y}$ . I'm still thinking about it.

Wrong stuff follows:

As mentioned in a comment, the problem with finding "the" maximum-likelihood estimator for $p_{x, y}$ is that it's not unique. For instance, consider the case with binary $X, Y$ and marginals $S_1 = S_2 = T_1 = T_2 = 10$ . The two estimators

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

have the same marginal probabilities $p_x$ and $p_y$ in all cases, and hence have equal likelihoods (both of which maximize the likelihood function, as you can verify).

Indeed, no matter what the marginals are (as long as two of them are nonzero in each dimension), the maximum likelihood solution is not unique. I'll prove this for the binary case. Let $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ be a maximum-likelihood solution. Without loss of generality suppose $0 < a \le d$ . Then $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$ has the same marginals and is thus also a maximum-likelihood solution.

If you want to additionally apply a maximum-entropy constraint, then you do get a unique solution, which as F. Tussell stated is the solution in which $X, Y$ are independent. You can see this as follows:

The entropy of the distribution is $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ ; maximizing subject to $\sum_x p_{x,y} = p_y$ and $\sum_{y} p_{x,y} = p_x$ (equivalently, $\vec g(p) = 0$ where $g_x(p) = \sum_y p_{x,y} - p_x$ and $g_y(p) = \sum_x p_{x,y} - p_y$ ) using Lagrange multipliers gives the equation:

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

All the gradients of each $g_k$ are 1, so coordinate-wise this works out to

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

plus the original constraints $\sum_x p_{x,y} = p_y$ and $\sum_{y} p_{x,y} = p_x$ . You can verify that this is satisfied when $e^{1/2 - \lambda_x} = p_x$ and $e^{1/2 - \lambda_y} = p_y$ , giving

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— Ben Kuhn
ソース

For the first example: What is given is the marginal counts, not the marginal probabilities. In the case you've described, the probability of

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$ for the left

p

$p$ is the probability of

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$ which is

2^{- 20}

$2^{-20}$ . For the right

p

$p$ , it is

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$ , which is

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$ . Even if there is no unique solution, it doesn't mean we can't point to some solution. Maximum entropy gives a unique solution, but it might not be maximum likelihood.

— R S

You've calculated the probabilities incorrectly; for instance, you forgot to include the binomial coefficients. But you're right in that the two matrices give different joint distributions of marginal counts even though they give the same marginal distribution of marginal counts. (Yikes!) I'll think about this more.

— Ben Kuhn