Почему LESSOPEN приводит к зависанию моей команды?

Проблема не в круговой ссылке, а в символической ссылке, указывающей на несуществующий файл. То же самое будет происходить каждый раз, когда вы указываете символическую ссылку на любой файл, который не существует.

Из справочной страницы test :

Если файл является символьной ссылкой, test полностью разыменует его, а затем оценит выражение относительно указанного файла, за исключением -h и -L основные цвета.

Это единственный пограничный случай для теста , упомянутый на его странице руководства.