Я пробовал следующее:
wget -nd -r -l1 -A gz http://www.example.com/products
Это сохранило только файл .txt
, где написано:
Пользовательский агент: * Запретить: /
С другой стороны,
wget -r http://www.example.com/products/*.gz
просто не работает.
Какие еще команды мне следует попробовать?
Ваша первая команда выглядит неплохо, но, как и другие уже хотели сказать: владелец веб-сайта разместил файл robots.txt, который хочет, чтобы любая поисковая система - или аналогичные программы-пауки, в том числе wget, - держалась подальше от ее сайта (быть это для предотвращения ненужного трафика или по любой другой причине). wget соблюдает это по умолчанию, см. руководство по wget (например, info wget
) раздел 9.1 (в главе 9: Приложения) для поиска настраиваемых функций, связанных с роботом, для вашего .wgetrc (также настраивается через - e…
параметр командной строки).