5 лет спустя, сети maxout мертвы и почему?

8

Сети Maxout были простой, но блестящей идеей Goodfellow et al. с 2013 года до макс. карт возможностей, чтобы получить универсальный аппроксиматор выпуклых активаций. Конструкция была адаптирована для использования в сочетании с выпадением (тогда он был недавно представлен) и, конечно же, привела к самым современным результатам в таких тестах, как CIFAR-10 и SVHN.

Пять лет спустя, отсев определенно все еще в игре, но как насчет maxout? Эта статья по-прежнему широко цитируется в последних статьях, согласно Google Scholar, но, похоже, практически никто не использует эту технику.

Так что, уходит в прошлое maxout, и если да, то почему - что сделало его самым успешным в 2013 году, но не в 2018 году?

user209974
источник
2
Тогда исследуйте это дальше, и вы можете стать следующим Гудфеллоу.
FauChristian

Ответы:

2

По сути, если вы прочитаете полный текст статьи (особенно реферат и раздел 7), вы обнаружите, что основным достижением остается незначительный вклад в дополнение к отсеву.

Если вы видите эмпирические результаты в Таблице 5 (на странице 5) оригинальной статьи о maxout , вы обнаружите, что уровень ошибочной классификации очень и очень немного ниже, чем уровень отсева. (2,47% вместо 2,78%)

Это может объяснить относительно низкий интерес к работе.

Амриндер Арора
источник
Спасибо за Ваш ответ. Сокращение ошибки с 2,78% до 2,47% на самом деле означает снижение частоты ошибок на 11%. Не изменит правила игры, но все же интересно и определенно не крошечный.
user209974
Честная оценка. Если это представляет интерес для вашего конкретного приложения, оно, безусловно, стоит изучить.
Амриндер Арора