Какие большие искусственные нейронные сети мы можем запустить сейчас (либо с полным циклом train-backprop, либо просто оценивая выходные данные сети), если наш общий энергетический бюджет для вычислений эквивалентен энергетическому бюджету человеческого мозга ( 12,6 Вт )?
Давайте предположим, что один цикл в секунду, что, похоже, примерно соответствует скорости запуска биологических нейронов .
Ответы:
126 миллионов искусственных нейронов мощностью 12,6 Ватт с Истинным Севером IBM
Еще в 2014 году чип IBM True North выдвигал 1 миллион нейронов при мощности менее 100 мВт.
Это примерно 126 миллионов искусственных нейронов при 12,6 Вт.
У мыши 70 миллионов нейронов.
IBM полагает, что они могут построить мэйнфрейм True North в масштабе человеческого мозга всего за 4 кВт.
Как только 3D-транзисторы появятся на рынке, я думаю, мы довольно быстро догоним эффективность мозга животных.
источник
Если бы вы ограничили себя до 12,6 Вт, вы бы ничего не сделали. Просто посмотрите на энергопотребление современного графического процессора, посмотрите размеры сетей, на которых люди учатся, и затем уменьшите их. Для справки: современные графические процессоры потребляют от 52 до 309 Вт при интенсивном использовании .
Очевидно, что энергоэффективность является одной из областей, где человеческий мозг все еще далеко от головы ANN.
источник