Я знаю, что архитектура нейронной сети в основном основана на самой проблеме и типах ввода / вывода, но все же - всегда есть «квадратная», когда начинается ее создание. Итак, мой вопрос - учитывая входной набор данных MxN (M - количество записей, N - количество объектов) и C возможных классов вывода - существует ли правило большого пальца, с какого количества слоев / единиц мы должны начать?
neural-network
shakedzy
источник
источник
Ответы:
На этот вопрос подробно ответили на CrossValidated: Как выбрать количество скрытых слоев и узлов в нейронной сети с прямой связью?
Однако позвольте мне добавить свои два цента:
Не существует волшебного правила выбора лучшей архитектуры нейронной сети, но если вы можете найти архитектуру, которую кто-то использовал для решения аналогичной проблемы, это часто является отличной отправной точкой.
Лучшее место для поиска - официальные или неофициальные примеры использования популярных библиотек нейронных сетей, таких как Keras, PyTorch или Tensorflow, и архитектуры, описанные в научной литературе. keras / examples на github - отличный ресурс.
Эти архитектуры, вероятно, были выбраны после большого количества проб и ошибок, поэтому большая часть работы будет выполнена для вас.
источник
Я прочитал статью, в которой исследуется идея использования нейронных сетей для проектирования других нейронных сетей, исследуя, какая конфигурация узлов и слоев была наиболее эффективной. Вот страница, где вы можете скачать PDF https://arxiv.org/abs/1611.02120
источник
После ответа @ Imran я нашел эту статью в одном из комментариев к сообщению CrossValidated, на которое он ссылался. Помимо попытки найти правильную архитектуру с использованием генетических моделей (вместо использования эмпирического правила), в разделе 2.1 даются некоторые теоретические границы того, сколько скрытых единиц должно быть в системе с одним / двумя скрытыми слоями.
РЕДАКТИРОВАТЬ: Я проверил эту теорему и обнаружил, что использование генетических моделей так же хорошо, как выбор случайной архитектуры.
источник