Доказано, что нейронные сети с рациональными весами обладают вычислительной мощностью универсальной машины Тьюринга, вычислимой по Тьюрингу с нейронными сетями . Из того, что я получаю, кажется, что использование вещественных весов дает еще большую вычислительную мощность, хотя я не уверен в этом.
Однако существует ли какая-либо корреляция между вычислительной мощностью нейронной сети и ее функцией активации? Например, если функция активации сравнивает входные данные с пределом последовательности Specker (что-то, что вы не можете сделать с обычной машиной Тьюринга, верно?), Это делает нейронную сеть вычислительно «более сильной»? Может ли кто-нибудь указать мне на ссылку в этом направлении?
computability
neural-networks
K.Steff
источник
источник
Ответы:
Просто примечание:
рационально-взвешенные рекуррентные имеющие булевы функции активации (простые пороги), эквивалентны автоматам конечного состояния (Минский, «Вычисления: конечные и бесконечные машины», 1967);NN
рационально-взвешенные рекуррентные имеющие линейные функции активации сигмоида, эквивалентны машинам Тьюринга (Siegelmann and Sontag, " О вычислительной мощности нейронных сетей ", 1995);NN
рекурсивные рекуррентные имеющие линейные функции активации сигмоида, более мощные, чем машины Тьюринга (Siegelmann and Sontag, " Аналоговые вычисления через нейронные сети ", 1993);NN
но ...
источник
Я собираюсь принять простое решение и сказать «Да». Рассмотрим функцию активации, которая принимает любые входные данные и просто возвращает постоянное значение (то есть игнорирует входные данные). Эта сеть всегда дает постоянный выходной сигнал, и, следовательно, вычислительная мощность (вероятно, по любому определению) этой сети равна нулю. Он не способен ничего подсчитать.
Этого достаточно, чтобы показать корреляцию между функцией активации по мощности сети. Это, конечно, не показывает и не опровергает, что сеть может иметь больше мощности, чем универсальная машина Тьюринга.
источник