Использование теории информации в прикладной науке о данных

9

Сегодня я наткнулся на книгу Джеймса Стоуна «Теория информации: введение в учебное пособие» и несколько минут думал о степени использования теории информации в прикладной науке о данных (если вас не устраивает этот еще несколько нечеткий термин, вспомним анализ данных , который ИМХО в науке о данных является прославленной версией). Я хорошо осведомлен о значительном использовании основанных на теории информации подходов , методов и мер , особенно энтропии , под капотом различных статистических методов и методов анализа данных.

Однако мне любопытно, какой уровень знаний и знаний необходим прикладному социологу для успешного выбора и применения этих концепций, мер и инструментов, не вдаваясь слишком глубоко в математические истоки теории. Я с нетерпением жду ваших ответов, которые могут решить мою проблему в контексте вышеупомянутой книги (или других подобных книг - не стесняйтесь рекомендовать) или в целом.

Я также был бы признателен за некоторые рекомендации для печатных или онлайн-источников, в которых обсуждается теория информации и ее концепции, подходы, методы и меры в контексте (в сравнении с) других (более) традиционных статистических подходов ( частые и байесовские ).

information-theory Александр Блех
источник
2
Возможно, один из самых известных и «прикладных» случаев использования энтропии имеет место при построении дерева. Одна из возможностей, когда алгоритм разбивается, - это взять показатель выигрыша информации, который является разницей между энтропией между верхним уровнем и нижним уровнем. У вас есть больше информации здесь en.wikipedia.org/wiki/Information_gain_in_decision_trees
D.Castro
@ D.Castro: Спасибо за ваш комментарий - я знаю об этом случае (и даже опубликовал ответ на эту конкретную тему либо здесь, на Cross Validated, либо на сайте Data Science SE). Я надеюсь на более всестороннее освещение / обсуждение предмета.
Александр Блех
1
Для меня и в значительной степени это вопрос дисциплины или области, в которой человек обучается, а также географического континента. На мой взгляд, физики, математики и практики чистого машинного обучения гораздо чаще получают более глубокое представление о теории информации, чем, скажем, статистики, экономисты или количественные финансовые аналитики. Кроме того, я бы удвоил эту тему для людей, обученных в Европе, т. Е. Европейцы гораздо чаще знакомы с ИТ. Тем не менее, появление моделей для статистического обучения меняется, что для ученых данных в Штатах.
Майк Хантер
@DJohnson Минутка минутных точек, но в Великобритании и, возможно, в других местах ИТ == информационные технологии. В остальном ваши впечатления напоминают мои.
Ник Кокс
@NickCox Спасибо, ваша точка зрения относится и к Штатам. Это был длинный комментарий, и, если позволите, я бы произнес эти слова или, что еще лучше, ввел значение аббревиатуры на более раннем этапе.
Майк Хантер

Ответы:

4

Итак, первая часть вопроса: нужно ли ученым, занимающимся данными, знать теорию информации ? Я думал, что ответ "нет" до недавнего времени. Причина, по которой я передумал, - это один из важнейших компонентов: шум.

Многие модели машинного обучения (как стохастические, так и нет) используют шум как часть своего процесса кодирования и преобразования, и во многих из этих моделей вам необходимо определить вероятность воздействия шума после декодирования преобразованного выходного сигнала модели. Я думаю, что это основная часть теории информации. Мало того, что в глубоком обучении дивергенция KL является очень важной мерой, используемой в теории информации.

Вторая часть вопроса: я думаю, что лучший источник - это теория информации Дэвида Маккея, алгоритмы вывода и обучения . Он начинает с теории информации и переносит эти идеи в логические и даже нейронные сети. Pdf бесплатно на сайте Дейва, и лекции онлайн, которые являются отличными

Ambodi
источник
3
Это отличная книга. Всем, кто заинтересован, следует также взглянуть на en.wikipedia.org/wiki/David_J._C._MacKay
Ник Кокс
Спасибо за ваш ответ (+1 и потенциальный ответ, если более полные ответы не появятся достаточно скоро). Особая благодарность за ссылки. Я удивлен, что вы столкнулись с этим почти забытым, но важным моим вопросом. :-)
Александр Блех
Да, это интересно. Вы никогда не должны отказываться от вопроса. Пришел ко мне после посещения NIPS2016 и увидел все эти разговоры о расхождении KL и влиянии шума на энкодеры.
Амбоди