Использование GPU, контролирующее (CUDA)

для nvidia на linux я использую следующий сценарий python, который использует необязательную задержку и повторяется, как iostat и vmstat

https://gist.github.com/matpalm/9c0c7c6a6f3681a0d39d

$ gpu_stat.py 1 2
{"util":{"PCIe":"0", "memory":"10", "video":"0", "graphics":"11"}, "used_mem":"161", "time": 1424839016}
{"util":{"PCIe":"0", "memory":"10", "video":"0", "graphics":"9"}, "used_mem":"161", "time":1424839018}

Недавно я написал простую утилиту командной строки под названием gpustat (которая является оболочкой для nvidia-smi ): посетите https://github.com/wookayin/gpustat .

Для Linux я использую этот инструмент, похожий на HTOP, который я написал сам. Он отслеживает и дает обзор температуры графического процессора, а также использования ядра / видеопамяти / PCI-E и шины памяти. Однако он не отслеживает, что работает на графическом процессоре.

gmonitor

У меня видеокарта GeForce 1060 GTX, и я обнаружил, что следующая команда дает мне информацию об использовании карты, температуре, скорости вращения вентилятора и энергопотреблении:

$ nvidia-smi --format=csv --query-gpu=power.draw,utilization.gpu,fan.speed,temperature.gpu

Вы можете увидеть список всех параметров запроса с помощью:

$ nvidia-smi --help-query-gpu

У меня были процессы, которые завершались (вероятно, были убиты или аварийно завершены )и продолжали использовать ресурсы, но не были перечислены в nvidia-smi. Обычно эти процессы просто занимали память GPU.

Если вы считаете, что у вас есть процесс, использующий ресурсы графического процессора, и он не показан в nvidia-smi, вы можете попробовать запустить эту команду для двойной проверки. Он покажет вам, какие процессы используют ваши графические процессоры.

sudo fuser -v /dev/nvidia*

Это работает на EL7, Ubuntu или других дистрибутивах, устройства nvidia могут быть указаны под другим именем/расположением.

Этот скрипт более читабелен и предназначен для простых модов и расширений.

Вы можете заменить терминал gnome -своей любимой оконной программой терминала.

#! /bin/bash

if [ "$1" = "--guts" ]; then
    echo; echo "    ctrl-c to gracefully close"
    f "$a"
    f "$b"
    exit 0; fi

# easy to customize here using "nvidia-smi --help-query-gpu" as a guide
a='--query-gpu=pstate,memory.used,utilization.memory,utilization.gpu,encoder.stats.sessionCount'
b='--query-gpu=encoder.stats.averageFps,encoder.stats.averageLatency,temperature.gpu,power.draw'
p=0.5    # refresh period in seconds
s=110x9  # view port as width_in_chars x line_count

c="s/^/    /; s/, +/\t/g"
t="`echo '' |tr '\n' '\t'`"
function f() { echo; nvidia-smi --format=csv "$1" |sed -r "$c" |column -t "-s$t" "-o   "; }
export c t a b; export -f f
gnome-terminal --hide-menubar --geometry=$s -- watch -t -n$p "`readlink -f \"$0\"`" --guts

#

Лицензия :GNU GPLv2, TranSeed Research

Вы можете использовать

nvidia-smi pmon -i 0

для мониторинга каждого процесса в GPU 0. включая вычислительный/графический режим, использование sm, использование памяти, использование кодировщика, использование декодера.

Я не видел этого в доступных ответах (, за исключением, может быть, комментария ), поэтому я решил добавить, что вы можете получить более приятное обновление nvidia-smiс помощьюwatch. Это обновляет экран при каждом обновлении, а не постоянно прокручивает.

watch -n 1 nvidia-smi

для обновлений с интервалом в одну секунду. Замените 1на все, что хотите, включая доли секунды :

watch -n 5 nvidia-smi
watch -n 0.1 nvidia-smi

Вы можете использовать nvtop, это похоже на htop, но для графических процессоров NVIDIA. Ссылка:https://github.com/Syllo/nvtop

Недавно я написал средство мониторинга под названием nvitop, интерактивное средство просмотра процессов NVIDIA -GPU.

Он написан на чистом Python и прост в установке.

Установить из PyPI:

pip3 install --upgrade nvitop

Установите последнюю версию с GitHub(рекомендуется):

pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop

Запуск в качестве монитора ресурсов:

nvitop -m

nvitopпокажет статус графического процессора, как и nvidia-smi, но с дополнительными причудливыми полосами и графиками истории.

Для процессов он будет использовать psutilдля сбора информации о процессе и отображения полей USER, %CPU, %MEM, TIMEи COMMAND, что гораздо более подробно, чем nvidia-smi.. Кроме того, он реагирует на действия пользователя в режиме монитора. Вы можете прервать или завершить ваши процессы на GPU.

nvitopпоставляется с экраном просмотра дерева -и экраном окружения:

Кроме того, nvitopможно интегрировать в другие приложения. Например, интегрируйте в обучающий код PyTorch:

import os
from nvitop.core import host, Device, HostProcess, GpuProcess
from torch.utils.tensorboard import SummaryWriter

device = Device(0)
this_process = GpuProcess(os.getpid(), device)
writer = SummaryWriter()
for epoch in range(n_epochs):

    # some training code here
    #...

    this_process.update_gpu_status()
    writer.add_scalars(
        'monitoring',
        {
            'device/memory_used': float(device.memory_used()) / (1 << 20),  # convert bytes to MiBs
            'device/memory_utilization': device.memory_utilization(),
            'device/gpu_utilization': device.gpu_utilization(),

            'host/cpu_percent': host.cpu_percent(),
            'host/memory_percent': host.memory_percent(),

            'process/cpu_percent': this_process.cpu_percent(),
            'process/memory_percent': this_process.memory_percent(),
            'process/used_gpu_memory': float(this_process.gpu_memory()) / (1 << 20),  # convert bytes to MiBs
        },
        global_step
    )

Подробнее см. https://github.com/XuehaiPan/nvitop.

Примечание:nvitopвыпущено под лицензией GPLv3 . Пожалуйста, не стесняйтесь использовать его как пакет или зависимость для ваших собственных проектов. Однако, если вы хотите добавить или изменить некоторые функции nvitopили скопировать некоторый исходный код nvitopв свой собственный код, исходный код также должен быть выпущен под лицензией GPLv3.