Выгодно ли представлять нейронную сеть в виде матрицы?

9

Нейронная сеть - это ориентированный взвешенный граф. Они могут быть представлены (разреженной) матрицей. Это может раскрыть некоторые элегантные свойства сети.

Является ли этот метод полезным для изучения нейронных сетей?

чокнутый урод
источник
Это для перекрестной проверки SE.
Франк Дернонкурт
Привет. Был ли полезен какой-либо из приведенных ниже ответов? Если да, пожалуйста, подумайте о том, чтобы принять его :)
Dawny33

Ответы:

4

Для больших ANN на практике используется нечто, эквивалентное «формату разреженной матрицы».

В отличие от того, что сказано в другом ответе, рассмотрение ANN в качестве графика на самом деле не очень выгодно по двум причинам:

  1. Алгоритм обратного распространения может быть с пользой определен в терминах матричных операций. Эта страница дает понятное и полное описание.

  2. Все вещественные матрицы могут быть представлены в виде графиков, но обратное явно не так. Таким образом, хотя верно и то, что ANN можно рассматривать как частный случай структуры данных графа, сделать эту специализацию явной в матричной форме более эффективной.

NietzscheanAI
источник
4

Это зависит от типа нейронных сетей, с которыми вы имеете дело.

Для нейронных сетей среднего размера матричный подход является очень хорошим способом для быстрых вычислений и даже обратного распространения ошибок. Можно даже использовать разреженные матрицы для понимания разреженной архитектуры некоторых нейронных сетей.

Но для очень больших нейронных сетей использование матричных вычислений будет очень интенсивным в вычислительном отношении. Поэтому для них используются соответствующие методы, такие как хранилища на основе графов и т. Д., В зависимости от цели и архитектуры.

Dawny33
источник
1

Матричное представление выгодно для реализации нейронных сетей в кремнии.

Но для эмпирического исследования нейронных сетей иногда полезно визуализировать значения веса синапса в виде изображений или видео: исследование Джейсона Йосински о свертывании нейронной сети. Сеть, кажется, имеет «фильтр», который просто обнаруживает плечи. Немного похоже на замок, который открывается только тогда, когда он распознает рисунок плеч.введите описание изображения здесь

Конор Коснетт
источник