Используют ли нейронные сети эффективное кодирование?

Мой вопрос касается взаимосвязи между гипотезой эффективного кодирования, изложенной на странице Википедии об эффективных алгоритмах кодирования и обучения нейронной сети.

Какова связь между гипотезой эффективного кодирования и нейронными сетями?

Существуют ли какие-либо модели нейронных сетей, явно вдохновленные гипотезой эффективного кодирования?

Или было бы справедливее сказать, что все алгоритмы обучения нейронной сети по крайней мере неявно основаны на эффективном кодировании?

neural-networks information-theory Майк Н.З.
источник

Возможно , вам нужны редкие автоэнкодеры ? (Если ваш интерес менее технический и более широкий / философский, предложение пользователя kenorb может быть уместным.)

GeoMatt22

Интересный вопрос Я предполагаю, что NN совсем не похожи на то, что мы можем считать «эффективным». Я думаю, что обычно используемые методы, такие как Dropout, на самом деле стремятся снизить эффективность кодирования.

kbrose

Еще одно упоминание: «Гипотеза о лотерейных билетах», arxiv.org/abs/1803.03635, в статье говорится о поиске трудолюбивых

подсетей,

Я не эксперт по теории информации, но я не верю, что есть какая-то связь между эффективным кодированием, которое делают NN, и я не знаю каких-либо исторических или нынешних попыток включить эффективное кодирование. Тем не менее, это может быть правдой, что NN действительно кодируют сигналы эффективно: arxiv.org/abs/1503.02406

shadowtalker

У меня недостаточно (пока), чтобы сделать это ответом, но мне кажется, что это связано с вопросом о том, действительно ли НН просто запоминают, а не учатся.

Билл Кларк

Ответы:

Я считаю, что можно утверждать, что связь была установлена. Я извиняюсь за то, что не опубликовал свой источник, так как не смог его найти, но это было из старого слайда, который представил Хинтон. В нем он утверждал, что один из основных способов мышления для тех, кто занимается машинным обучением (поскольку представление предшествовало общему использованию слова «глубокое обучение»), заключается в том, что существует оптимальное преобразование данных таким образом, что данные могут быть легко научился. Я считаю, что для нейронных сетей «оптимальное преобразование» данных, хотя и обратно, является гипотезой эффективного кодирования в действии. Таким же образом, как и при наличии надлежащего ядра, многие пространства можно легко классифицировать с помощью линейных моделей, изучая правильный способ преобразования и хранения данных, аналогичный тому, как и как должны быть расположены нейроны для представления данных.

Аноним Эму
источник