Сети Maxout были простой, но блестящей идеей Goodfellow et al. с 2013 года до макс. карт возможностей, чтобы получить универсальный аппроксиматор выпуклых активаций. Конструкция была адаптирована для использования в сочетании с выпадением (тогда он был недавно представлен) и, конечно же, привела к самым современным результатам в таких тестах, как CIFAR-10 и SVHN.
Пять лет спустя, отсев определенно все еще в игре, но как насчет maxout? Эта статья по-прежнему широко цитируется в последних статьях, согласно Google Scholar, но, похоже, практически никто не использует эту технику.
Так что, уходит в прошлое maxout, и если да, то почему - что сделало его самым успешным в 2013 году, но не в 2018 году?
deep-learning
dropout
user209974
источник
источник
Ответы:
По сути, если вы прочитаете полный текст статьи (особенно реферат и раздел 7), вы обнаружите, что основным достижением остается незначительный вклад в дополнение к отсеву.
Если вы видите эмпирические результаты в Таблице 5 (на странице 5) оригинальной статьи о maxout , вы обнаружите, что уровень ошибочной классификации очень и очень немного ниже, чем уровень отсева. (2,47% вместо 2,78%)
Это может объяснить относительно низкий интерес к работе.
источник