Являются ли модели глубокого обучения параметрическими? Или непараметрический?

12

Я не думаю, что может быть один ответ на все модели глубокого обучения. Какие из моделей глубокого обучения являются параметрическими, а какие непараметрическими и почему?

Часы Раб
источник
2
Задайте себе вопрос: увеличивается ли количество параметров при обработке новых примеров тренировок во время обучения? Если это так, метод является непараметрическим.
Владислав Довгальец
3
Учитывая ваше первое предложение, не будет ли ваше второе предложение лучшим заголовком?
Glen_b
Не могли бы вы определить, что вы подразумеваете под параметрическим и непараметрическим? Это не так ясно, как некоторые могли бы предположить, см. Эту вики: en.wikipedia.org/wiki/Nonparametric_statistics для примера двусмысленности
Repmat

Ответы:

10

Модели глубокого обучения, как правило, параметрические - на самом деле они имеют огромное количество параметров, по одному на каждый вес, который настраивается во время тренировки.

Поскольку количество весов обычно остается постоянным, они технически имеют фиксированные степени свободы. Однако, как правило, существует так много параметров, что они могут эмулировать непараметрические параметры.

Гауссовские процессы (например) используют каждое наблюдение в качестве нового веса и по мере того, как количество точек уходит в бесконечность, так же как и количество весов (не путать с гиперпараметрами).

Я говорю вообще, потому что есть так много разных вкусов каждой модели. Например, семейные врачи низкого ранга имеют ограниченное количество параметров, которые определяются данными, и я уверен, что кто-то делал какой-то непараметрический dnn в какой-то исследовательской группе!

j__
источник
большинство людей смущены тем, что, как правило, NN являются непараметрическими моделями, потому что они делают какой-то выбор объектов по мере увеличения точек данных, весело !, тогда линейная регрессия с L1-регуляризацией также непараметрическая, что за беда ...!. Спасибо, @j__ за четкий ответ. Я нигде не нашел четкого и краткого ответа. Если вы видите какие-либо веб-ссылки / исследовательские работы по этой теме, пожалуйста, разместите их здесь, было бы здорово прочитать больше.
Ану
3

Технически говоря, стандартная глубокая нейронная сеть (DNN) является параметрической, поскольку она имеет фиксированное число параметров. Однако большинство DNN имеют так много параметров, что их можно интерпретировать как непараметрические ; было доказано, что в пределе бесконечной ширины глубокая нейронная сеть может рассматриваться как гауссовский процесс (ГП), который является непараметрической моделью [Lee et al., 2018].

Тем не менее, давайте строго интерпретировать DNN как параметрические для остальной части этого ответа.

Некоторые примеры параметрических моделей глубокого обучения:

  • Глубокая авторегрессионная сеть (DARN)
  • Сигмоидная вера сети (SBN)
  • Рекуррентная нейронная сеть (RNN), пиксель CNN / RNN
  • Вариационный автоэнкодер (VAE), другие модели с глубоким скрытым гауссовым, например, DRAW

Некоторые примеры непараметрических моделей глубокого обучения:

  • Глубокий гауссовский процесс (ВОП)
  • Рекуррентный ГП
  • Государственное пространство ГП
  • Иерархический процесс Дирихле
  • Процесс каскадного индийского буфета

спектр скрытых переменных моделей

Изображение из учебника Шакира Мохамеда по глубоким генеративным моделям .

Ссылки:

Кристабелла Ирванто
источник
1

Дойч и Журнал (1997, с. 16-17) высказали мнение о вводящей в заблуждение природе термина «непараметрический». Они предложили, чтобы «… модель,« богатая параметрами », была сохранена для моделей, основанных на показателях, вместо традиционного, но вводящего в заблуждение квалификатора« непараметрический ».

«Параметр богатый» может быть точным описанием, но «богатый» имеет эмоциональную нагрузку, которая дает положительный взгляд, который не всегда может быть оправдан (!).

Некоторые профессора могут все еще сохраняться, которые все вместе ссылаются на нейронные сети, случайные леса и тому подобное, поскольку все они являются «непараметрическими». Повышенная непрозрачность и кусочная природа нейронных сетей (особенно с распространением функций активации ReLU) делает их непараметрическими .

Андрей Сильвер
источник
0

Модели глубокого обучения не следует считать параметрическими. Параметрические модели определяются как модели, основанные на априорном предположении о распределениях, которые генерируют данные. Глубокие сети не делают предположений о процессе генерации данных, а используют большие объемы данных для изучения функции, которая отображает входные данные в выходные. Глубокое обучение непараметрическое по любому разумному определению.

кибернетический
источник