Что означает «Количество единиц в ячейке LSTM»?

Из кода Tensorflow : Tensorflow. RnnCell.

num_units: int, The number of units in the LSTM cell.

Не могу понять, что это значит. Каковы единицы измерения ячейки LSTM. Вход, выход и забыть ворота? Означает ли это «количество единиц в текущем проекционном слое для Deep LSTM». Тогда почему это называется «количество единиц в ячейке LSTM»? Что такое ячейка LSTM и чем отличается блок от блока LSTM, какова минимальная единица LSTM, если не ячейка?

Как говорят полезные комментарии в этой функции,

Определение ячейки в этом пакете отличается от определения, используемого в литературе. В литературе под ячейкой понимается объект с единственным скалярным выходом. Определение в этом пакете относится к горизонтальному массиву таких единиц.

По сути, слой будет содержать несколько параллельных модулей LSTM, структурно идентичных, но каждый в конечном итоге «учится запоминать» что-то свое.

Большинство диаграмм LSTM / RNN показывают только скрытые ячейки, но не единицы этих ячеек. Отсюда и путаница. Каждый скрытый слой имеет скрытые ячейки, столько же, сколько и количество временных шагов. Кроме того, каждая скрытая ячейка состоит из нескольких скрытых элементов, как показано на схеме ниже. Следовательно, размерность матрицы скрытого слоя в RNN равна (количество временных шагов, количество скрытых единиц).

В Keras, который находится поверх TensorFlow или Theano, при вызове model.add(LSTM(num_units))num_units - это размерность выходного пространства ( отсюда , строка 863). Для меня это означает num_unitsколичество скрытых юнитов, чьи активации отправляются на следующий шаг времени.

Количество блоков в RNN - это количество блоков памяти RNN к каждому входу последовательности в вертикальном порядке, прикрепленных друг к другу, и каждый из них передает отфильтрованную информацию в следующие блоки памяти.

Помните, что эта концепция была вдохновлена ​​концепцией компьютерной науки о распределении памяти между различными единицами измерения размера бит.