Сценарий поиска игнорирует robots.txt

Наконец, выполнение

alsamixer

и использование F6 , чтобы выбрать правильную SoundCard, выполнила работу!

0
03.08.2015, 04:08
1 ответ

tools.pl содержит:

if( $response->headers_as_string =~ m/^Content-Type:\s*(.+)$/im ) {
  my $content_type = $1;
  $content_type =~ s/^(.*?);.*$/$1/;          # ignore possible charset value
  if( ! grep(/^$content_type$/i, @HTTP_CONTENT_TYPES) ) {
    debug("Ignoring '$url': content-type '$content_type'\n");
    return;
  }
}

Ваш @HTTP_CONTENT_TYPES - пустой массив. ! grep (/ ^ $ content_type $ / i, @HTTP_CONTENT_TYPES) ​​ всегда возвращает true .

Удалите # из # @ HTTP_CONTENT_TYPES = ('text / html', 'text / plain'); в вашем conf.pl и попробуйте очередной раз.

Все эти сообщения приходят из http -indexer. Если вы хотите проиндексировать файлы в файловой системе, оставьте пустым $ HTTP_START_URL в вашем конф.pl : $ HTTP_START_URL = '';

0
28.01.2020, 04:56

Теги

Похожие вопросы