Как видно из названия, всегда ли уменьшение размеров теряет некоторую информацию? Рассмотрим для примера PCA. Если у меня очень мало данных, я бы предположил, что может быть найдена «лучшая кодировка» (это как-то связано с рангом данных?), И ничего не будет...
В своем исследовании я столкнулся со следующей общей проблемой: у меня есть два распределения и в одной и той же области и большое (но конечное) число выборок из этих распределений. Выборки независимо и идентично распределяются из одного из этих двух распределений (хотя распределения могут быть...
У меня проблемы с построением некоторой интуиции о совместной энтропии. = неопределенность в совместном распределении ; = неопределенность в ; = неопределенность в .p ( x , y ) H ( X ) p x ( x ) H ( Y ) p y ( y )ЧАС( Х, Y)ЧАС(Икс,Y)H(X,Y)р ( х , у)п(Икс,Y)p(x,y)ЧАС( Х)ЧАС(Икс)H(X)пИкс( х...
Мой вопрос касается взаимосвязи между гипотезой эффективного кодирования, изложенной на странице Википедии об эффективных алгоритмах кодирования и обучения нейронной сети. Какова связь между гипотезой эффективного кодирования и нейронными сетями? Существуют ли какие-либо модели нейронных сетей,...
Сегодня я наткнулся на книгу Джеймса Стоуна «Теория информации: введение в учебное пособие» и несколько минут думал о степени использования теории информации в прикладной науке о данных (если вас не устраивает этот еще несколько нечеткий термин, вспомним анализ данных , который ИМХО в науке о...
Я пытаюсь понять нормализованную форму точечной взаимной информации. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Почему логарифмическая вероятность нормализует точечную взаимную информацию между [-1, 1]? Точечная взаимная информация:...
Предположим, у меня есть одна выборка частот из 4 возможных событий: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 и у меня есть ожидаемые вероятности того, что мои события произойдут: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 С суммой наблюдаемых частот моих четырех событий (18) я могу рассчитать ожидаемые частоты...