В частности, я предполагаю, что мне интересно это утверждение:
Будущие основные версии TensorFlow позволят градиентам перетекать в метки, введенные на backprop по умолчанию.
Который показан, когда я использую tf.nn.softmax_cross_entropy_with_logits
. В том же сообщении он призывает меня взглянуть tf.nn.softmax_cross_entropy_with_logits_v2
. Я просмотрел документацию, но она только утверждает, что для tf.nn.softmax_cross_entropy_with_logits_v2
:
Обратное распространение будет происходить как в логах, так и в метках. Чтобы запретить обратное распространение на метки, передайте тензоры меток через stop_gradients перед передачей его этой функции.
в отличие от tf.nn.softmax_cross_entropy_with_logits
:
Обратное распространение будет происходить только в логах.
Будучи очень новым для предмета (я пытаюсь пройтись по некоторым основным учебникам), эти утверждения не очень ясны. У меня поверхностное понимание обратного распространения, но что на самом деле означает предыдущее утверждение? Как связаны обратное распространение и метки? И как это меняет то, как я работаю, tf.nn.softmax_cross_entropy_with_logits_v2
в отличие от оригинала?
источник
softmax_..._with_logits_v2
будут работать какsoftmax_with_logits
? (Или я мог бы использовать tf.stop_gradient в переменной метки.)