Термин «активированный» в основном используется, когда речь идет о функциях активации, которые выводят значение (кроме 0), только когда входной сигнал для функции активации превышает определенный порог.
Особенно при обсуждении ReLU может использоваться термин «активированный». ReLU будет «активирован», когда его выход больше 0, а также когда он больше 0.
Другие функции активации, такие как sigmoid, всегда возвращают значение больше 0 и не имеют никакого специального порога. Поэтому термин «активированный» здесь имеет меньшее значение.
Несмотря на то, что мы мало знаем о них, нейроны в мозге, похоже, также имеют нечто, напоминающее функцию активации с неким «порогом активации».