Что является производной функции активации ReLU?

Что является производной функции активации ReLU, определенной как:

$$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$$

А как насчет частного случая, когда в функции при есть разрыв ?$x=0$

Производная это:

$$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$$

И не определено в .$x=0$

Причина, по которой он не определен при состоит в том, что его левая и правая производные не равны.$x=0$