Хороший способ (не связанный с логами веб-сервера) - использовать флаг --debug
и grep для ^Referer:
В командной строке:
wget -r -nv --spider http://www.domain.com/ 2>&1 | egrep -A 1 '(^---response end---$|^--[0-9]{4}-[0-9]{2}-[0-9]{2}|^[0-9]{4}-[0-9]{2}-[0-9]{2} ERROR|^Referer:|^Remote file does not)'
Вы можете сделать аналогичный grepping в вашем логе. Предупреждение: некоторые wget не компилируются с поддержкой --debug