Приложение kazam записывает экран черного ящика, когда я открываю видео с другого устройства

В AIX дескриптор файла stdout доступен по адресу /proc/$$/fd/1, поэтому вы можете проверить, является ли он обычным файлом или нет:

if [ -f /proc/$$/fd/1 ]
then
  echo stdout has already been redirected
else
  echo redirecting stdout
  exec 1>file
  echo some output
fi

/bin/sh жестко связан с /bin/ksh, поэтому вы получите одинаковое поведение в любой оболочке.

Вы можете отдельно проверить перенаправление stdout на /dev/null, если хотите:

if [ /proc/$$/fd/1 -ef /dev/null ]; then :...; fi