Распределение по отсортированным спискам

10

Скажем, у нас есть упорядоченный список товаров

[a, b, c, ... x, y, z, ...]

Я ищу семейство дистрибутивов с поддержкой в списке выше, управляемых некоторым параметром альфа, чтобы:

При альфа = 0 он присваивает вероятность 1 первому элементу, a выше, а 0 остальным. То есть, если мы сделаем выборку из этого списка, с заменой мы всегда получим a.
Поскольку альфа увеличивается, мы назначаем все более и более высокие вероятности остальной части списка, соблюдая порядок списка после экспоненциального затухания.
Когда альфа = 1, мы назначаем равную вероятность для всех элементов в списке, поэтому выборка из списка сродни игнорированию его порядка.

Это очень похоже на геометрическое распределение, но есть некоторые заметные различия:

Распределение геометрического распределения определяется по всем натуральным числам. В моем случае выше, список имеет фиксированный размер.
Геометрическое распределение не определено для альфа = 0.

distributions sampling discrete-data Амелио Васкес-Рейна
источник

1

Похоже, вы описываете семейство усеченных геометрических распределений. Однако существует бесконечно много семей, которые качественно ведут себя так, как вы описали. Более того, можно объяснить, для чего вы хотели бы использовать такую семью.

whuber

Спасибо @whuber Да, я понимаю, что существует бесконечно много дистрибутивов, которые соответствуют этому описанию. Какие-нибудь конкретные, которые приходят на ум? У меня есть система, которая в настоящее время выбирает первый элемент этого списка (представляет баллы), но я хочу рандомизировать этот выбор (и параметризовать эту рандомизацию). Я не ищу определенный тип "распада" на основе альфа. Пока альфа = 0 не представляет никакой рандомизации, то есть выбрать первый элемент, 1 представляет «выбрать любой элемент», а альфа между 0 и 1 представляют «что-то среднее» между этими двумя альфами, это было бы достаточно хорошо.

Амелио Васкес-Рейна

11

Предположим, что , ранг элемента списка , имеет значение в для списка из элементов (связи могут быть разорваны случайным образом). Тогда мы могли бы определить вероятность выбора : $r_i$ $i$ $\{0, 1, \ldots, n-1\}$ $n$ $i$

п_{я} знак равно \frac{α^{р_{я}}}{Σ_{К знак равно 1}^{N} α^{р_{К}}}

$p_i = \frac{\alpha^{r_i}}{\sum_{k=1}^n \alpha^{r_k}}$

Это в основном только надлежащим образом нормализована усечен геометрическое распределение, и это также относится к в функции SoftMax . В частном случае используйте соглашение . Обратите внимание, что знаменатель всегда можно записать в простом выражении в замкнутой форме. Для он принимает значение $\alpha=0$ $0^0 = 1$ $\alpha < 1$ , а дляпринимает значение. $\frac{1-\alpha^n}{1-\alpha}$ $\alpha=1$ $n$

С ясно, что это просто назначает равную вероятность каждому элементу. При это приближается, давая всю массу вероятности первому элементу. $\alpha=1$ $\alpha\rightarrow 0$

В списке из 10 элементов запрошенное примерно экспоненциальное уменьшение очевидно при : $\alpha=0.5$

п_{0} \approx 0,5005 п_{1} \approx 0,2502 п_{2} \approx 0,1251 п_{3} \approx 0,0626 п_{4} \approx 0,0313 п_{5} \approx 0,0156 п_{6} \approx 0,0078 п_{7} \approx 0,0039 п_{8} \approx 0,0020 п_{9} \approx 0,0010

$p_0 \approx 0.5005 \\ p_1 \approx 0.2502 \\ p_2 \approx 0.1251 \\ p_3 \approx 0.0626 \\ p_4 \approx 0.0313 \\ p_5 \approx 0.0156 \\ p_6 \approx 0.0078 \\ p_7 \approx 0.0039 \\ p_8 \approx 0.0020 \\ p_9 \approx 0.0010$

На следующем графике показано, как изменяется вероятность выбора первого элемента на основе с использованием списка длиной 10. $\alpha$

josliber
источник

Ницца. Это намного умнее, чем я когда-либо мог надеяться.

Мэтью Друри

@Matthew Это усеченные геометрические распределения, на которые я ссылался ранее.

whuber

4

Я постараюсь построить пример из первых принципов.

Давайте возьмем три распределения в качестве наших строительных блоков:

P - это распределение, присваивающее вероятность один первому элементу списка, ноль всем остальным.
$\frac{1}{2}$ $\frac{1}{4}$ $1$
U - равномерное распределение по списку.

Теперь мы хотим взять однопараметрическое семейство положительных выпуклых комбинаций этих распределений.

α (T) п + β (T) Е + γ (T) U

$\alpha(t) P + \beta(t) E + \gamma(t) U$

$\alpha(t) + \beta(t) + \gamma(t) = 1$ $t \in [0, 1]$ $\alpha(0) = 1$ $\gamma(1) = 1$

$(\alpha(t), \beta(t), \gamma(t))$ $(1, 0, 0), (0, 1, 0), (0, 0, 1)$ $t \in (0, 1)$

Вот вариант для кривой:

(1 - T (1 - T)) (1 - T, 0, T) + T (1 - T) (\frac{1}{3}, \frac{1}{3}, \frac{1}{3})

$(1 - t(1-t)) \left(1 - t, 0, t \right) + t(1 - t) \left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3} \right)$

$(1-t, 0, t)$ $\left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3} \right)$ $t \in (0, 1)$

Мэтью Друри
источник

Распределение по отсортированным спискам

Ответы: