Две общие функции активации, используемые в глубоком обучении, - это функция гиперболического тангенса и функция активации сигмовидной кишки. Я понимаю, что гиперболический тангенс - это просто изменение масштаба и перевод сигмоидальной функции:
,
Есть ли существенная разница между этими двумя функциями активации и, в частности, когда одна из них предпочтительнее другой ?
Я понимаю, что в некоторых случаях (например, при оценке вероятностей) выходы в диапазоне более удобны, чем выходы, которые варьируются от , Я хочу знать, есть ли различия, кроме удобства, которые различают две функции активации.