Может кто-нибудь объяснить, как мне 5 лет, об этой проблеме из Книги ESL Хасти?

Я работаю над книгой Хэсти по ESL, и мне тяжело с вопросом 2.3. Вопрос в следующем:

Мы рассматриваем оценку ближайшего соседа в начале координат, и среднее расстояние от начала координат до ближайшей точки данных задается этим уравнением. Я понятия не имею, с чего начать, пытаясь вывести это.

Я знаю, что большинство точек данных находятся ближе к границе выборочного пространства, чем к любой другой точке данных (проклятие размерности), но у меня возникают проблемы с переводом этого в смысл линейной алгебры / вероятности.

Спасибо!

machine-learning computational-statistics Gary
источник

Что означает «ELI5» в названии? Если вы хотите вывести это уравнение, вам нужно начать с вероятностной модели для точек на шаре: что это за модель? (Пожалуйста, не требуйте, чтобы ваши читатели обращались к книге или другому сайту, чтобы понять ваш вопрос.)

whuber

@whuber Я согласен - Сокращения - ужасная схема хеширования.

Sycorax говорит восстановить Монику

Тебе пять лет. Благодарю вас за желание понять ESL, но вам придется подождать, пока вам не исполнится шесть лет. Это книга для больших мальчиков и девочек.

Ник Кокс

Пятилетний ребенок может начать с рассмотрения одномерного случая (p = 1). И как только это в руке, возьмите это оттуда.

Марк Л. Стоун

Если мы собираемся изложить ELI5, как насчет ESL?

mdewey

Пусть - расстояние от начала координат, и пусть - объем единичной гиперсферы в измерениях. Тогда объем, содержащийся в гиперсфере радиуса равен $r$ $V_0[p]$ $p$ $r$

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

Если мы примем обозначим долю объема, содержащегося в этой гиперсфере, и определим , то $P=V[r]/V_0[p]$ $R=r^p$

P [R] = R

$P[R]=R$

Если точки данных равномерно распределены в пределах единичного шара, то для приведенная выше формула представляет собой интегральную функцию распределения (CDF) для . Это эквивалентно равномерной плотности вероятности для на единичном интервале, т.е. . Итак, как намекнул Марк Стоун в комментариях, мы можем свести мерный случай к эквивалентной одномерной задаче. $0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

Теперь, если мы имеем единственную точку , то по определению CDF имеем и , Если является наименьшим значением из точек, и все точки независимы, то CDF для определяется как (это стандартный результат одномерной теории экстремальных значений ). $R$ $\Pr[R\leq \rho]=P[\rho]$ $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

По определению медианы имеем который мы можем переписать как что эквивалентно желаемому результату.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

РЕДАКТИРОВАТЬ: Попытка ответа в стиле " ELI5 ", в трех частях.

Для одномерного случая с одной точкой расстояние равномерно распределено по , поэтому медиана будет . $[0,1]$ $\frac{1}{2}$
В 1D распределение для минимума по точкам является первым случаем степени. $n$ $n$
В измерениях расстояние не распределено равномерно, а . $p$ $r$ $r^p$

GeoMatt22
источник

Ха-ха, я дал комментарий, что 5-летний может начать с рассмотрения случая p = 1. Я подумал добавить комментарий, что 4-летний может не только начать с случая p = 1, но и n = 1. Но я решил, что 5-летний ребенок это поймет.

Марк Л. Стоун

Обратите внимание, что когда я ответил на вопрос, это было после того, как @fcop уточнить его следующим образом: «Рассмотрим N точек данных, равномерно распределенных в единичном p-мерном шаре с центром в начале координат. Покажите, что среднее расстояние от начала координат до ближайшая точка данных задается ... ". Таким образом, единичный шар относительно нормы в мерном пространстве. После этого вопрос был возвращен к оригиналу, который отличается и не очень понятен. (См.

L_{2}

$L_2$

p

$p$

Цепочку

Может кто-нибудь объяснить, как мне 5 лет, об этой проблеме из Книги ESL Хасти?

Ответы: