Оценка максимального правдоподобия совместного распределения с учетом только предельных показателей

Пусть - совместное распределение двух категориальных переменных с . Скажем, из этого распределения было взято выборок, но нам даны только предельные значения, а именно для : X , Y x , y ∈ { 1 , … , K } n j = 1 , … , $p_{x,y}$$X,Y$$x,y\in\{1,\ldots,K\}$$n$$j=1,\ldots,K$

$$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$$

Какова максимальная оценка правдоподобия для , учитывая ? Это известно? Вычислительно выполнимо? Есть ли другие разумные подходы к этой проблеме, кроме ML? S j , T $p_{x,y}$$S_j,T_j$

Эта проблема была исследована в статье «Увеличение данных в многопоточных таблицах непредвиденных обстоятельств с фиксированными предельными значениями» (Dobra et al., 2006). Обозначим через параметры модели, через n обозначим таблицу ненаблюдаемых целых чисел для каждой пары ( x , y ) , и пусть C ( S , T ) будет множество целочисленных таблиц, предельные значения которых равны ( S , T ) , Тогда вероятность соблюдения предельных отсчетов ( S , T ) равна: p $\theta$$\mathbf{n}$$(x,y)$$C(S,T)$$(S,T)$$(S,T)$ где p ( n | θ ) - многочленное распределение выборки. Это определяет функцию правдоподобия для ML, но прямая оценка невозможна, за исключением небольших проблем. Подход, который они рекомендуют, это MCMC, где вы поочередно обновляете n и

$$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$$ $p(\mathbf{n} | \theta)$$\mathbf{n}$$\theta$путем выборки из распределения предложений и принятия изменений в соответствии с коэффициентом приемки Metropolis-Hastings. Это может быть адаптировано для нахождения приблизительного максимума по с использованием метода Монте-Карло EM. $\theta$

Другой подход будет использовать вариационные методы для аппроксимации суммы по . Предельные ограничения могут быть закодированы в виде факторного графа, а логический вывод по θ может быть выполнен с использованием распространения ожиданий.$\mathbf{n}$$\theta$

Чтобы понять, почему эта проблема сложна и не допускает тривиального решения, рассмотрим случай . Принимая S в качестве сумм строк и T в качестве сумм столбцов, существует две возможные таблицы подсчетов: [ 0 1 2 0$S=(1,2), T=(2,1)$$S$$T$ Поэтому функция правдоподобия р(S,Т | & thetas)=3 р 12 р 2 21 +6 р 11 р 21 р 22 Среда MLE этой проблемы является р х , у = [ 0 1 / 3 2 / 3 0

$$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$$ $$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$$ $$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$$ что соответствует предположению о таблице слева. Напротив, оценка , что вы получите, если предположить независимость , которые имеет меньшее значение вероятности. $$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$$

Как было указано @Glen_b, это недостаточно указано. Я не думаю, что вы можете использовать максимальную вероятность, если вы не можете полностью определить вероятность.

Если вы готовы принять независимость, тогда проблема довольно проста (кстати, я думаю, что решение будет максимальным энтропийным решением, которое было предложено). Если вы не хотите и не можете навязать дополнительную структуру в своей задаче и все еще хотите какое-то приближение к значениям ячеек, возможно, вы могли бы использовать границы связок Фреше – Хеффдинга . Без дополнительных предположений, я не думаю, что вы можете пойти дальше.

$p_{x,y}$$p_x = \sum_y p_{x,y}$$p_y = \sum_x p_{x,y}$

Неправильные вещи следует:

$p_{x, y}$$X, Y$$S_1 = S_2 = T_1 = T_2 = 10$

$$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$$

$p_x$$p_y$

---

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$$0 < a \le d$$p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

---

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$$\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$$\vec g(p) = 0$$g_x(p) = \sum_y p_{x,y} - p_x$$g_y(p) = \sum_x p_{x,y} - p_y$

$$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$$

$g_k$

$$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$$

$\sum_x p_{x,y} = p_y$$\sum_{y} p_{x,y} = p_x$$e^{1/2 - \lambda_x} = p_x$$e^{1/2 - \lambda_y} = p_y$

$$p_{x,y} = p_xp_y.$$