Динамически настраиваемая архитектура NN: изобретать ненужное?

9

Я начинаю свое путешествие в аспирантуру, и конечная цель, которую я поставил перед собой, - это разработка ANN, которые бы контролировали среду, в которой они работают, и динамически адаптировали свою архитектуру к имеющейся проблеме. Очевидным следствием является временность данных: если набор данных не является непрерывным и не изменяется со временем, зачем вообще его корректировать?

Большой вопрос: с недавним ростом глубокого обучения, это все еще актуальная тема? Есть ли у FFNN шанс найти себе нишу в проблемах дрейфа концепций?

Я боюсь перегружать тему слишком большим количеством вопросов, но этот не совсем не по теме: я знаю о RNN, но у меня ограниченный (ну, нет, или чисто теоретический) опыт работы с ними; Я считаю, что динамическая адаптация архитектуры должна быть актуальной темой в контексте RNN. Вопрос в том, получен ли уже ответ, и буду ли я изобретать велосипед?

PS Перекрестная публикация в MetaOptimize

machine-learning neural-networks анна-earwen
источник
Когда вы говорите «настроить свою архитектуру», вы имеете в виду параметры (веса, смещения) или обновление фактической структуры сети (скрытые узлы, функция активации, подключение и т. Д.)? Кроме того, во многих приложениях глубокого обучения конечным результатом является нейронная сеть с прямой связью, только одна с весами, инициализированными каким-то неконтролируемым процессом.
альт
@alto, я имею в виду фактическую структуру NN - количество скрытых единиц и (возможно) слоев - я уверен, что это может быть реализовано на разных уровнях сложности. Я чувствую, что должен начать читать по глубокому обучению, если я вообще чего-то хочу.
Анна-Earwen
@ anna-earwen интересная тема PhD, как идут дела, какие-нибудь публикации еще?
Дикран Сумчатый
1
@Dikran Marsupial, я скоро отправлюсь на IJCNN 2014, чтобы рассказать о том, как и почему PSO не может обучать многомерные NN. Таким образом, ответ - да, и я знаю: я сделал большой обход первоначального вектора исследований, и мне интересно, вернусь ли я еще к настраиваемым архитектурам. Только время и эмпирические результаты скажут!
Анна-Эрвен
Я буду следить за этим в процессе - понимание того, почему вещи не работают, - это то, что науке нужно больше (и глубокие эмпирические исследования).
Дикран Marsupial

Ответы:

6

Нейронные сети с каскадной корреляцией корректируют свою структуру, добавляя скрытые узлы во время процесса обучения, так что это может послужить началом. Большинство других работ, которые я видел, которые автоматически регулируют количество слоев, количество скрытых узлов и т. Д. Нейронной сети, используют эволюционные алгоритмы.

К сожалению, эта работа находится за пределами моей области, поэтому я не могу рекомендовать какие-либо конкретные документы или ссылки, которые помогут вам начать. Я могу сказать вам, что я не видел ни одной работы, которая пыталась бы совместно оптимизировать структуру и параметры сети одновременно в сообществе глубокого обучения. Фактически, большинство архитектур глубокого обучения основано на жадном обучении одного слоя за раз, что делает даже онлайн-обучение глубоким нейронным сетям довольно нетронутой областью (работа Мартенса и др. По Hessian Free Optimization является заметным исключением).

альт
источник
Большое спасибо, вы уже дали мне достаточно информации, чтобы начать искать золото. :)
Анна-Earwen
2

Еще одна причина для рассмотрения разработки новых подходов к конструктивным нейронным сетям (таких как упомянутый алгоритм CC @alto) лежит в приложениях вне статистики . В частности, в теоретической нейробиологии и когнитивной науке конструктивные нейронные сети часто используются из-за метафорического сходства с развитием и нейрогенезом. Для примера интенсивного использования каскадной корреляции для этого взгляните на публикации Томаса Р. Шульца . К сожалению, подход каскадной корреляции является биологически нереалистичным, и если у вас есть нейробиологический изгиб, стоит подумать о том, как новые NN с регулируемой архитектурой можно использовать в качестве лучших моделей развития и / или нейрогенеза.

Артем Казнатчеев
источник
1
Спасибо, Артем! На самом деле, я более чистый ученый, чем кто-либо другой, поэтому мои знания по нейро- и конгнитивной науке менее чем скудны. Хотя это звучит захватывающе, и, поскольку все дороги все еще открыты, я мог бы вникнуть в это тоже - по крайней мере, до некоторой степени. В настоящее время меня особенно интересуют приложения для решения реальных задач проектирования и анализа данных, которые могут работать для сравнительного анализа.
Анна-Эрвен