Как применить градиентную обрезку в TensorFlow?

Учитывая пример кода .

Я хотел бы знать, как применить градиентное отсечение в этой сети в RNN, где есть возможность взрывных градиентов.

tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)

Это пример, который можно использовать, но где мне его представить? В деф РНН

    lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0)
    # Split data because rnn cell needs a list of inputs for the RNN inner loop
    _X = tf.split(0, n_steps, _X) # n_steps
tf.clip_by_value(_X, -1, 1, name=None)

Но это не имеет смысла, поскольку тензор _X является входом, а не градиентом, который нужно обрезать?

Нужно ли мне определять для этого свой собственный оптимизатор или есть более простой вариант?

Отсечение градиента должно происходить после вычисления градиентов, но перед их применением для обновления параметров модели. В вашем примере обе эти вещи обрабатываются AdamOptimizer.minimize()методом.

Чтобы вырезать градиенты, вам необходимо явно вычислить, вырезать и применить их, как описано в этом разделе документации API TensorFlow . В частности, вам нужно заменить вызов minimize()метода на что-то вроде следующего:

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(cost)
capped_gvs = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gvs]
train_op = optimizer.apply_gradients(capped_gvs)

Несмотря на то, что кажется популярным, вы, вероятно, захотите обрезать весь градиент по его глобальной норме:

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimize = optimizer.apply_gradients(zip(gradients, variables))

Отсечение каждой градиентной матрицы индивидуально изменяет их относительный масштаб, но также возможно:

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients = [
    None if gradient is None else tf.clip_by_norm(gradient, 5.0)
    for gradient in gradients]
optimize = optimizer.apply_gradients(zip(gradients, variables))

В TensorFlow 2 лента вычисляет градиенты, оптимизаторы поступают из Keras, и нам не нужно хранить операцию обновления, потому что она запускается автоматически, не передавая ее сеансу:

optimizer = tf.keras.optimizers.Adam(1e-3)
# ...
with tf.GradientTape() as tape:
  loss = ...
variables = ...
gradients = tape.gradient(loss, variables)
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimizer.apply_gradients(zip(gradients, variables))

На самом деле это правильно объяснено в документации. :

Вызов метода minim () заботится как о вычислении градиентов, так и о применении их к переменным. Если вы хотите обработать градиенты перед их применением, вы можете вместо этого использовать оптимизатор в три этапа:

• Вычислите градиенты с compute_gradients ().
• Обрабатывайте градиенты по своему желанию.
• Примените обработанные градиенты с помощью apply_gradients ().

И в приведенном ими примере они используют эти 3 шага:

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

Вот MyCapperлюбая функция, которая ограничивает ваш градиент. Список полезных функций (кроме tf.clip_by_value()) находится здесь .

Для тех, кто хотел бы понять идею градиентного отсечения (по норме):

Каждый раз, когда норма градиента превышает определенный порог, мы обрезаем норму градиента, чтобы она оставалась в пределах порога. Иногда этот порог устанавливается равным 5.

Пусть градиент равен g, а max_norm_threshold равен j .

Теперь, если || г || > j , делаем:

g = ( j * g ) / || г ||

Это реализация, сделанная в tf.clip_by_norm

IMO лучшее решение - обернуть ваш оптимизатор декоратором оценки TF tf.contrib.estimator.clip_gradients_by_norm:

original_optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
optimizer = tf.contrib.estimator.clip_gradients_by_norm(original_optimizer, clip_norm=5.0)
train_op = optimizer.minimize(loss)

Таким образом, вам нужно определить это только один раз, а не запускать его после каждого вычисления градиентов.

Документация: https://www.tensorflow.org/api_docs/python/tf/contrib/estimator/clip_gradients_by_norm

Градиентное отсечение в основном помогает в случае взрывающихся или исчезающих градиентов. Скажите, что ваши потери слишком велики, что приведет к экспоненциальным градиентам, которые будут течь по сети, что может привести к значениям Nan. Чтобы преодолеть это, мы обрезаем градиенты в пределах определенного диапазона (от -1 до 1 или любого диапазона в соответствии с условием).

clipped_value=tf.clip_by_value(grad, -range, +range), var) for grad, var in grads_and_vars

где grads _and_vars - это пары градиентов (которые вы вычисляете с помощью tf.compute_gradients) и их переменные, к которым они будут применяться.

После отсечения мы просто применяем его значение с помощью оптимизатора. optimizer.apply_gradients(clipped_value)