Считаете ли вы, что HBM против EB - это две альтернативы, в которых гиперпараметры «в игре» отбираются / оцениваются / и т.д.? Существует очевидная связь между этими двумя.
Считаете ли вы HBM более "полностью байесовским", чем EB? Есть ли место, где я могу увидеть разницу между тем, чтобы быть «полностью байесовским» и другими альтернативами?
Благодарю.
bayesian
empirical-bayes
singelton
источник
источник
Ответы:
Я бы сказал, что HBM, безусловно, «более байесовский», чем EB, поскольку маргинализация - это скорее байесовский подход, чем оптимизация. По сути, мне кажется, что EB игнорирует неопределенность в гиперпараметрах, тогда как HBM пытается включить ее в анализ. Я подозреваю, что HMB - это хорошая идея, когда имеется мало данных и, следовательно, значительная неопределенность в гиперпараметрах, которые необходимо учитывать. С другой стороны, для больших наборов данных EB становится более привлекательным, поскольку, как правило, он менее затратен в вычислительном отношении, а объем данных часто означает, что результаты гораздо менее чувствительны к настройкам гиперпараметров.
Я работал над классификаторами гауссовских процессов и довольно часто оптимизировал гиперпараметры, чтобы максимизировать предельную вероятность, что приводит к переоснащению ML и, следовательно, к значительному снижению производительности обобщений. Я подозреваю, что в этих случаях полное лечение НВМ будет более надежным, но и гораздо более дорогим.
источник