1 скрытый слой с 1000 нейронов против 10 скрытых слоев с 100 нейронами

Эти типы вопросов могут зависеть от проблемы, но я попытался найти исследование, которое решает вопрос, имеет ли значение количество скрытых слоев и их размер (количество нейронов в каждом слое) или нет.

Итак, мой вопрос: действительно ли имеет значение, если, например, у нас есть 1 большой скрытый слой из 1000 нейронов против 10 скрытых слоев по 100 нейронов в каждом?

По сути, наличие нескольких слоев (или глубокая сеть) делает вашу сеть более склонной распознавать определенные аспекты входных данных. Например, если у вас есть данные о доме (размер, размер газона, местоположение и т. Д.) В качестве входных данных и вы хотите предсказать цену. Первый слой может предсказать:

• Большая площадь, более высокая цена
• Небольшое количество спален, более низкая цена

Второй слой может заключить:

• Большая площадь + небольшое количество спален = большие спальни = + - эффект

Да, один слой также может «определять» статистику, однако для этого потребуется больше нейронов, поскольку он не может полагаться на другие нейроны для выполнения «частей» общего расчета, необходимого для обнаружения этой статистики.

Проверьте этот ответ

Есть так много аспектов.

1. Тренировка: тренировка глубоких сетей - тяжелая работа из-за исчезающей (взрывающейся сзади) проблемы градиента. Поэтому создание нейронной сети 10x100 не рекомендуется.

2. Обученная производительность сети:

• Потеря информации: Классическое использование нейронных сетей является проблемой классификации . Это означает, что мы хотим получить определенную информацию из данных. (Например, есть ли лицо на картинке или нет.) Так что обычно проблема классификации имеет много входных данных и мало выходных данных, причем размер скрытых слоев уменьшается от входа к выходу. Однако мы теряем информацию, используя меньше нейронов слой за слоем. (Т.е. мы не можем воспроизвести исходное изображение, основываясь на том факте, есть ли на нем лицо или нет.) Поэтому вы должны знать, что вы теряете информацию, используя 100 нейронов, если размер входного сигнала (скажем, 1000).
• Сложность информации: Однако более глубокие сети (как упоминал Томас У) могут извлекать более сложную информацию из входных данных. Несмотря на это, не рекомендуется использовать 10 полностью связанных слоев. Рекомендуется использовать сверточные / relu / maxpooling или другие типы слоев. Огненные слои могут сжать некоторую существенную часть входов. (Например, есть ли какая-либо линия в определенной части изображения) Вторые слои могут сказать: в этом месте на рисунке есть определенная форма. И т. Д.

Поэтому более глубокие сети более «умны», но структура сети 10х100 - хороший выбор.

Если решаемая задача линейно разделима, один слой из 1000 нейронов может работать лучше, чем 10 слоев с каждым из 100 нейронов. Если задача нелинейная и не выпуклая, вам нужны глубокие нейронные сети.

Я думаю, у вас есть путаница в основах нейронных сетей. Каждый слой имеет отдельную функцию активации и весы подключения ввода / вывода.

Вывод первого скрытого слоя будет умножен на вес, обработан функцией активации в следующем слое и так далее. Однослойные нейронные сети очень ограничены для простых задач, более глубокие NN могут работать намного лучше, чем один уровень.

Однако не используйте больше, чем слой, если ваше приложение не достаточно сложное. В заключение, слой из 100 нейронов не означает лучшую нейронную сеть, чем 10 слоев по 10 нейронов, но 10 слоев - это нечто воображаемое, если вы не занимаетесь глубоким обучением. начните с 10 нейронов в скрытом слое и попробуйте добавить слои или добавить больше нейронов в тот же слой, чтобы увидеть разницу. обучение с большим количеством слоев будет проще, но потребуется больше времени для обучения.