Определение оптимальной дискретизации данных из непрерывного распределения

Предположим, у вас есть набор данных из непрерывного распределения с плотностью поддерживаемой на которая неизвестна, но довольно велико, поэтому плотность ядра (например) оценка, , довольно точна. Для конкретного приложения мне нужно преобразовать наблюдаемые данные в конечное число категорий, чтобы получить новый набор данных с подразумеваемой функцией массы . $Y_{1}, ..., Y_{n}$ $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ $g(z)$

Простым примером будет когда и когда . В этом случае индуцированная функция массы будет $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

Двумя «параметрами настройки» здесь являются число групп и вектор длины порогов . Обозначим индуцированную функцию массы через . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Я хотел бы, чтобы процедура отвечала, например, на «Какой лучший выбор чтобы увеличение числа групп до (и выбор там оптимального ) дало бы незначительное улучшение?» , Я чувствую, что, возможно, можно создать тестовую статистику (возможно, с разницей в дивергенции KL или чем-то подобном), распределение которой можно получить. Есть идеи или соответствующая литература? $m, \lambda$ $m+1$ $\lambda$

Редактировать: я равномерно распределил временные измерения непрерывной переменной и использую неоднородную цепь Маркова для моделирования временной зависимости. Честно говоря, с цепями дискретных состояний Маркова работать гораздо проще, и это моя мотивация. Наблюдаемые данные являются процентами. В настоящее время я использую специальную дискретизацию, которая выглядит очень хорошо для меня, но я думаю, что это интересная проблема, где возможно формальное (и общее) решение.

Редактировать 2: Фактически минимизация расхождения KL была бы эквивалентна не дискретизации данных вообще, так что идея полностью отсутствует. Я отредактировал тело соответственно.

continuous-data discrete-data макрос
источник

В большинстве случаев потребности последующего применения будут определять качество любого решения. Возможно, чтобы дать нам некоторое руководство, вы могли бы сказать больше об этом.

whuber

Сначала определите, что вы подразумеваете под пренебрежимо малым . Это, похоже, связано с проблемой искажения скорости . Текст « Обложка и Томас» предоставляет хорошее читаемое введение в такие темы.

кардинал

Я думаю о дискретизации с уровнями, как модель с параметрами (для порогов). В этой ситуации, когда я говорю «незначительный», я имею в виду «не стоит добавлять дополнительный параметр» в статистическом смысле.

k

$k$

k - 1

$k-1$

Макрос

Я не уверен, что дискретизация - это действительно хороший ход. Вы не сможете обобщать границы, которые дискретные значения создают в исходном пространстве ваших наблюдений.

Bayerj

Ответы:

Я собираюсь поделиться решением, которое я придумал для этой проблемы некоторое время назад - это не формальный статистический тест, но может предоставить полезную эвристику.

Рассмотрим общий случай, когда у вас есть непрерывные наблюдения ; Без ограничения общности предположим, что выборочным пространством каждого наблюдения является интервал . Схема категоризации будет зависеть от ряда категорий и пороговых значений местоположений, которые разделяют категории, . $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

Обозначим классифицированную версию через , где . Думая о дискретизации данных как о разделении исходных данных на классы, дисперсию можно рассматривать как комбинацию вариаций внутри и между группами для фиксированного значения : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

Данная категоризация успешна при создании однородных групп, если в групповой дисперсии относительно мало, что определяется количественно . Поэтому мы ищем экономной группировку, предусматривающим большую часть вариации в к . член в В частности, мы хотим выбрать так, чтобы, добавляя дополнительные уровни, мы не добавляли значительно к однородности внутри группы. С учетом этого мы определяем оптимальный для фиксированного значения которое будет $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

Грубая диагностика для определения того, какой выбор адекватен, состоит в том, чтобы посмотреть на выпадение в как функция от - эта траектория монотонно не увеличивается и после ее резкого уменьшения вы можете видеть, что вы получаете относительно меньшую точность за счет включения большего количества категорий. Эта эвристика по духу похожа на то, как иногда используется « График Скри », чтобы увидеть, сколько основных компонентов объясняют «достаточно» вариации. $m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

макрос
источник