Файл не кажется обычным, но указан как таковой

Используйте dirs -l +1 для вывода полного пути к каталогу без сокращения ~ . Расширение тильды происходит только тогда, когда она набирается явно, а не в выводе команды.

cd $(dirs -l +1)

В качестве альтернативы используйте zsh, где вы можете просто написать

cd +1

Но даже в bash вы можете просто написать

pushd +1

, что даст почти такой же эффект (он покидает стек в другом порядке).