Скажем, у меня есть модель архитектуры глубокого обучения, а также выбранный размер мини-пакета. Как я могу извлечь из этих ожидаемых требований к памяти для обучения этой модели?
В качестве примера рассмотрим (неповторяющуюся) модель с входом измерения 1000, 4 полностью подключенными скрытыми слоями измерения 100 и дополнительным выходным слоем измерения 10. Размер мини-пакета составляет 256 примеров. Как определить приблизительный объем памяти (ОЗУ), занимаемый тренировочным процессом на ЦП и ГП? Если это имеет какое-то значение, давайте предположим, что модель обучена на GPU с TensorFlow (таким образом, используя cuDNN).
источник