Я изо всех сил пытаюсь сделать математическую связь между нейронной сетью и графической моделью.
В графических моделях идея проста: распределение вероятностей разлагается в соответствии с кликами на графике, причем потенциалы обычно имеют экспоненциальное семейство.
Есть ли аналогичная аргументация для нейронной сети? Можно ли выразить распределение вероятности по единицам (переменным) в ограниченной машине Больцмана или CNN как функцию их энергии или произведение энергий между единицами?
Кроме того, моделируется ли распределение вероятностей с помощью RBM или сети глубокого убеждения (например, с CNN) экспоненциального семейства?
Я надеюсь найти текст, который формализует связь между этими современными типами нейронных сетей и статистикой так же, как это сделали Джордан и Уэйнрайт для графических моделей с их графическими моделями, экспоненциальными семействами и вариационным выводом . Любые указатели были бы великолепны.
источник
"using deep nets as factors in an MRF"), сколько в том, как смотреть на глубокую сеть как вероятностный граф факторов. Когда Ян Ян ЛеКуна говорит"of course deep Boltzmann Machines are a form of probabilistic factor graph themselves", мне интересно увидеть эту связь математически.https://distill.pub/2017/feature-visualization/( Как нейронные сети формируют понимание изображений ), в том, что сложное изображение имеет компоненты компонентов, представленные узлами скрытого слоя. Веса могут «изменять» топологию недискретным образом. Хотя я этого не видел, некоторые методы могут включать факторы усадки для удаления краев и, следовательно, для изменения исходной топологииОтветы:
Еще одним хорошим введением по этому вопросу является курс CSC321 в Университете Торонто и курс neuralnets-2012-001 по Coursera, который преподаёт Джеффри Хинтон.
Из видео на Сети Веры:
Графические модели
Ранние графические модели использовали экспертов для определения структуры графа и условных вероятностей. Графики были слабо связаны, и основное внимание уделялось правильному выводу, а не обучению (знания пришли от экспертов).
Нейронные сети
Для нейронных сетей обучение было центральным. Знание о жесткой проводке было не круто (хорошо, может быть, немного). Обучение пришло от изучения данных обучения, а не от экспертов. Нейронные сети не ставили целью интерпретируемость разреженных соединений, чтобы сделать вывод легким. Тем не менее, существуют нейронные сети версий сетей убеждений.
Насколько я понимаю, сети убеждений обычно слишком плотно связаны, а их клики слишком велики, чтобы их можно было интерпретировать. Сети убеждений используют сигмоидную функцию для интеграции входных данных, в то время как в непрерывных графических моделях обычно используется функция Гаусса. Сигмовидная оболочка облегчает обучение сети, но ее труднее интерпретировать с точки зрения вероятности. Я считаю, что оба в экспоненциальной семье.
Я далеко не эксперт в этом вопросе, но конспект лекций и видео - отличный ресурс.
источник
Рэдфорд Нил проделал большую работу в этой области, которая может вас заинтересовать, включая некоторую прямую работу по приравниванию байесовских графических моделей с нейронными сетями. (Его диссертация была явно на эту конкретную тему.)
Я не достаточно знаком с этой работой, чтобы дать разумное резюме, но я хотел дать вам указатель на случай, если вы найдете это полезным.
источник
Это может быть старая тема, но все еще актуальный вопрос.
Наиболее ярким примером связи между нейронными сетями (NN) и вероятностными графическими моделями (PGM) является пример между машинами Больцмана (и его вариациями, такими как Restricted BM, Deep BM и т. Д.) И неориентированными PGM Марковского случайного поля.
Точно так же Сети веры (и их разновидности, такие как Deep BN и т. Д.) Являются типом направленных PGM байесовских графов.
Для получения дополнительной информации см .:
источник