Загрузите все файлы .gz с веб-сайта с помощью http

Я пробовал следующее:

 wget -nd -r -l1 -A gz http://www.example.com/products

Это сохранило только файл .txt , где написано:

 Пользовательский агент: *
Запретить: /

С другой стороны,

 wget -r http://www.example.com/products/*.gz

просто не работает.

Какие еще команды мне следует попробовать?

0
02.01.2017, 19:49
1 ответ

Ваша первая команда выглядит неплохо, но, как и другие уже хотели сказать: владелец веб-сайта разместил файл robots.txt, который хочет, чтобы любая поисковая система - или аналогичные программы-пауки, в том числе wget, - держалась подальше от ее сайта (быть это для предотвращения ненужного трафика или по любой другой причине). wget соблюдает это по умолчанию, см. руководство по wget (например, info wget ) раздел 9.1 (в главе 9: Приложения) для поиска настраиваемых функций, связанных с роботом, для вашего .wgetrc (также настраивается через - e… параметр командной строки).

1
28.01.2020, 02:47

Теги

Похожие вопросы