Как получить текущие доступные графические процессоры в tenorflow?

У меня есть план использовать распределенный TensorFlow, и я увидел, что TensorFlow может использовать графические процессоры для обучения и тестирования. В кластерной среде каждая машина может иметь 0 или 1 или более графических процессоров, и я хочу запустить свой график TensorFlow в графических процессорах на максимально возможном количестве машин.

Я обнаружил, что при запуске tf.Session()TensorFlow выдает информацию о графическом процессоре в сообщениях журнала, как показано ниже:

I tensorflow/core/common_runtime/gpu/gpu_init.cc:126] DMA: 0 
I tensorflow/core/common_runtime/gpu/gpu_init.cc:136] 0:   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:838] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 1080, pci bus id: 0000:01:00.0)

У меня вопрос, как мне получить информацию о текущем доступном графическом процессоре от TensorFlow? Я могу получить загруженную информацию GPU из журнала, но я хочу сделать это более изощренным, программным способом. Я также мог бы намеренно ограничить использование графических процессоров, используя переменную среды CUDA_VISIBLE_DEVICES, поэтому я не хочу знать способ получения информации о графических процессорах из ядра ОС.

Короче говоря, я хочу, чтобы такая функция tf.get_available_gpus()возвращалась, ['/gpu:0', '/gpu:1']если в машине есть два GPU. Как я могу это реализовать?

Существует недокументированный метод, device_lib.list_local_devices()который позволяет вам перечислить устройства, доступные в локальном процессе. ( Примечание: как недокументированный метод, он подвержен несовместимым изменениям.) Функция возвращает список DeviceAttributesбуферов протокола. объектов . Вы можете извлечь список имен строковых устройств для устройств с графическим процессором следующим образом:

from tensorflow.python.client import device_lib

def get_available_gpus():
    local_device_protos = device_lib.list_local_devices()
    return [x.name for x in local_device_protos if x.device_type == 'GPU']

Обратите внимание, что (по крайней мере, до TensorFlow 1.4) при вызове device_lib.list_local_devices()будет запускаться некоторый код инициализации, который по умолчанию будет распределять всю память графического процессора на всех устройствах ( проблема GitHub ). Чтобы избежать этого, сначала создайте сеанс с явно небольшим per_process_gpu_fractionили allow_growth=True, чтобы предотвратить выделение всей памяти. Смотрите этот вопрос для более подробной информации.

Вы можете проверить весь список устройств, используя следующий код:

from tensorflow.python.client import device_lib

device_lib.list_local_devices()

В утилите test также есть метод . Так что все, что нужно сделать, это:

tf.test.is_gpu_available()

и / или

tf.test.gpu_device_name()

Посмотрите документы Tensorflow для аргументов.

В TensorFlow 2.0 вы можете использовать tf.config.experimental.list_physical_devices('GPU'):

import tensorflow as tf
gpus = tf.config.experimental.list_physical_devices('GPU')
for gpu in gpus:
    print("Name:", gpu.name, "  Type:", gpu.device_type)

Если у вас установлено два графических процессора, он выводит это:

Name: /physical_device:GPU:0   Type: GPU
Name: /physical_device:GPU:1   Type: GPU

С версии 2.1 вы можете удалить experimental:

gpus = tf.config.list_physical_devices('GPU')

Видеть:

• Страницы гида
• Текущий API

Общепринятый ответ дает количество графических процессоров , но он также выделяет всю память на этих чипах. Вы можете избежать этого, создав сеанс с фиксированной нижней памятью перед вызовом device_lib.list_local_devices (), что может быть нежелательным для некоторых приложений.

В итоге я использовал nvidia-smi, чтобы получить количество графических процессоров без выделения памяти на них.

import subprocess

n = str(subprocess.check_output(["nvidia-smi", "-L"])).count('UUID')

Помимо превосходного объяснения, которое Мрри предложил, где он предложил использовать, device_lib.list_local_devices()я могу показать вам, как вы можете проверять информацию, связанную с GPU, из командной строки.

Поскольку в настоящее время только Gvus от Nvidia работают на платформах NN, ответ охватывает только их. У Nvidia есть страница, где они документируют, как вы можете использовать интерфейс файловой системы / proc для получения во время выполнения информации о драйвере, любых установленных графических картах NVIDIA и статусе AGP.

/proc/driver/nvidia/gpus/0..N/information

Предоставьте информацию о каждом из установленных графических адаптеров NVIDIA (название модели, IRQ, версия BIOS, тип шины). Обратите внимание, что версия BIOS доступна только во время работы X.

Таким образом, вы можете запустить это из командной строки cat /proc/driver/nvidia/gpus/0/informationи посмотреть информацию о вашем первом графическом процессоре. Это легко запустить из Python а также вы можете проверить второй, третий, четвертый GPU, пока он не выйдет из строя.

Определенно, ответ Mrry более надежный, и я не уверен, будет ли мой ответ работать на машине, отличной от Linux, но на странице Nvidia есть другая интересная информация, о которой мало кто знает.

В тензор потока 2 работает:

import tensorflow as tf
gpus = tf.config.experimental.list_physical_devices('GPU')
for gpu in gpus:
    print("Name:", gpu.name, "  Type:", gpu.device_type)

С версии 2.1 вы можете удалить experimental:

    gpus = tf.config.list_physical_devices('GPU')

https://www.tensorflow.org/api_docs/python/tf/config/list_physical_devices

Я получил графический процессор под названием NVIDIA GTX GeForce 1650 Ti в моей машине сtensorflow-gpu==2.2.0

Запустите следующие две строки кода:

import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))

Вывод:

Num GPUs Available:  1

Используйте этот способ и проверьте все детали:

from __future__ import absolute_import, division, print_function, unicode_literals

import numpy as np
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds


version = tf.__version__
executing_eagerly = tf.executing_eagerly()
hub_version = hub.__version__
available = tf.config.experimental.list_physical_devices("GPU")

print("Version: ", version)
print("Eager mode: ", executing_eagerly)
print("Hub Version: ", h_version)
print("GPU is", "available" if avai else "NOT AVAILABLE")

Убедитесь, что на вашем компьютере, поддерживающем GPU, установлена последняя версия TensorFlow 2.x GPU. Выполните следующий код на python:

from __future__ import absolute_import, division, print_function, unicode_literals

import tensorflow as tf 

print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))

Будет ли вывод выглядеть как,

2020-02-07 10: 45: 37.587838: I tenorflow / stream_executor / cuda / cuda_gpu_executor.cc: 1006] успешное чтение узла NUMA из SysFS имело отрицательное значение (-1), но должен быть хотя бы один узел NUMA, поэтому возвращается NUMA node zero 2020-02-07 10: 45: 37.588896: I tenorflow / core / common_runtime / gpu / gpu_device.cc: 1746] Добавление видимых устройств GPU: 0, 1, 2, 3, 4, 5, 6, 7 Num Доступные графические процессоры: 8