Может ли машина Больцмана хранить больше образцов, чем сеть Хопфилда?

17

Это из закрытого бета-тестирования для ИИ, с этим вопросом, отправленным пользователем номер 47. Все кредиты им.


Согласно Википедии ,

Машины Больцмана можно рассматривать как стохастический генеративный аналог сетей Хопфилда.

Оба являются рекуррентными нейронными сетями, которые можно обучить изучению битовых комбинаций. Затем при представлении с частичным шаблоном сеть извлечет полный полный шаблон.

Доказано, что сети Хопфилда имеют пропускную способность 0,138 (например, приблизительно 138 битных векторов могут быть вызваны из хранилища на каждые 1000 узлов, Hertz 1991).

Поскольку машина Больцмана является стохастической, я понимаю, что она не всегда будет показывать один и тот же шаблон, когда разность энергий между одним сохраненным шаблоном и другим подобна. Но из-за этой стохастичности, возможно, она обеспечивает более плотное хранение шаблонов, но без гарантии того, что вы всегда получите «самый близкий» шаблон с точки зрения разницы в энергии. Это было бы правдой? Или сеть Хопфилда сможет хранить больше паттернов?

Mithical
источник

Ответы:

3

В действительности, вы интуитивны правильно, машина Больцмана способна удерживать в своей памяти больше, чем сеть Хопфилда, благодаря своей стохастической природе, как описано в этой статье. В документе они отмечают, что емкость составляет около 0,6. После этого отношения оно начинает разрушаться и добавляет гораздо больше шума к вызванным образцам.

Яден Травник
источник