Существуют ли нейронные сети с очень небольшим количеством узлов, которые достойно решают нетривиальные задачи?

11

Мне интересно знать, существует ли какая-нибудь нейронная сеть, которая решает (с точностью> 80%) любую нетривиальную задачу, которая использует очень мало узлов (где 20 узлов не является жестким ограничением). Я хочу развить интуицию о размерах нейронных сетей.

Гильермо Мосс
источник
Теорема универсального приближения: нейронная сеть с одним скрытым слоем может аппроксимировать любую «разумную» функцию, учитывая достаточное количество узлов в скрытом слое.
nbro
2
Я думаю, что будет нелегко ответить на ваш вопрос. Что вы подразумеваете под «нетривиальной проблемой»?
nbro
Я хочу несколько узлов даже в скрытых слоях.
Гильермо Мосс
@ nbro мое чувство «нетривиальности» в этом контексте неразрешимо или неразрешимо.
DukeZhou

Ответы:

13

Даже если невозможно ответить на этот вопрос должным образом, так как нетривиальный вопрос не очень хорошо определен (возможно, автор отредактирует этот вопрос позже, чтобы уточнить его), я пользуюсь возможностью, чтобы указать на этот документ, который мне интересен

Наименьшая нейронная сеть, чтобы узнать изогнутость Критики

Предполагая, что у вас есть общее представление о модели Изинга, я думаю, что проблему определения критической температуры с точки зрения управляемых данными можно считать нетривиальной, и в статье показано, как авторы улучшили производительность, связанную с решением этой задачи, с передачей NN из 100 скрытых нейронов, как описано в этой статье. Фазы машинного обучения материи с 2017 года, всего 2 скрытых нейрона.

Просто мои центы:

  • сокращение нейронов, сохраняя при этом хорошую производительность, должно помочь с точки зрения интерпретации нейронной обработки, которая общеизвестно неясна, и ее сложность возрастает (экспоненциально) с числом нейронов
Никола Бернини
источник
3
Я просто хотел примеры, которые само сообщество находило интересными. Я думаю, что на самом деле нетривиально определить нетривиальность. Правильно?
Гильермо Мосс
1
@GuillermoMosse Нет, довольно просто определить нетривиальное. Определение более или менее произвольно в зависимости от того, что лучше всего соответствует ситуации. Я уверен, что очень простой NN мог бы узнать, является ли данное число нетривиальным квадратным корнем ...
лес