Я сталкивался с некоторыми основными способами измерения сложности нейронных сетей:
- Наивный и неформальный: подсчитайте количество нейронов, скрытых нейронов, слоев или скрытых слоев
- VC-измерение (Эдуардо Д. Сонтаг [1998] "VC-измерение нейронных сетей" [ pdf ].)
- Конечно-гранулированная и асимптотическая вычислительная сложность измеряется эквивалентностью .
Есть ли другие альтернативы?
Это предпочтительно:
- Если показатель сложности можно использовать для измерения нейронных сетей из разных парадигм (для измерения backprop, динамики нейронных сетей, каскадной корреляции и т. Д.) В одном и том же масштабе. Например, VC-размерность может использоваться для различных типов в сетях (или даже для вещей, отличных от нейронных сетей), в то время как число нейронов полезно только между очень конкретными моделями, где функция активации, сигналы (базовые суммы против спайков) и другие свойства сети одинаковы.
- Если оно имеет хорошее соответствие стандартным показателям сложности функций, которые могут быть изучены сетью
- Если легко вычислить метрику в определенных сетях (хотя эта последняя не обязательна).
Примечания
Этот вопрос основан на более общем вопросе о CogSci.SE.
neural-networks
theory
vc-dimension
pac-learning
Артем Казнатчеев
источник
источник
Ответы:
Возможно, вы захотите взглянуть на статью «(Не), ограничивающую истинную ошибку» Джона Лэнгфорда и Рича Каруана (NIPS, 2001)
Аннотация гласит:
Они показывают, что вы можете применять границы стиля PAC-байесовского к стохастическим нейронным сетям. Однако анализ применим только к двухслойным нейронным сетям с прямой связью с сигмоидальной передаточной функцией. В этом случае термин сложности зависит только от количества узлов и дисперсии весов. Они показывают, что для этого параметра граница эффективно предсказывает, когда произойдет перетренировка. К сожалению, это действительно не влияет ни на одно из ваших «предпочтительных» свойств!
источник
Кроме того, вы также можете быть заинтересованы в потрясающей работе, выполненной профессором Питером Бартлеттом. Вот введение в анализ сложности нейронных сетей в документе IEEE 1998 года: Пример сложности классификации шаблонов с нейронными сетями: размер весов важнее размера сети (Bartlett 1998) [ http: //ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=661502]
источник