Да, просто отключите переменную DISPLAY:
unset DISPLAY; mplayer -vo caca path_to_videofile
или
DISPLAY= mplayer -vo caca path_to_videofile
Но я обнаружил, что она работает медленнее.
Обновление : я обнаружил, что терминал rxvt-unicode достаточно быстрый.
Также может оказаться полезной ссылка http://helpful.knobs-dials.com/index.php/Aalib,_caca .