Вопросы Теги

рекурсивная загрузка с веб-сайта с учетной записью и паролем

Можно ли загрузить zip-файлы с веб-сайта с логином учетная запись и пароль?

Я пытался

wget --recursive --no-parent -nd https://*edu/pages/access/search.jsp

Однако не смог загрузить все zip-файлы. получил сообщение об авторских правах ниже.

!DOCTYPE html, COPYRIGHT NOTICE
Copyright (c) 2016  Scott C. Neu and Arthur W. Toga

Что делать дальше? Файлы действительно огромны для загрузки на мой локальный компьютер.

0
21.06.2020, 01:03
1 ответ

Вы должны попытаться визуализировать как человеческий браузер:

wget --user-agent='Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0' --recursive --no-parent -nd https://*edu/pages/access/search.jsp
0
18.03.2021, 23:26

Теги

Похожие вопросы

  • 8
    Wget не может проверить https://ftp.gnu.org? 15.10.2017
    Я работаю над Solaris и пытаюсь обновить Git, собирая Git и все его зависимости из исходников. Wget не может загрузить зависимость, расположенную по адресу https://ftp.gnu.org/gnu/...
  • 5
    Как отслеживать прогресс загрузки WGET после закрытия сеанса SSH 30.12.2015
    Я начал загружать свои ISO и т. Д. Непосредственно на свой файловый сервер с помощью wget. Как я могу проверить процесс загрузки после закрытия сеанса ssh? Сценарий: я начинаю загрузку, а затем закрываю ...
  • 7
    Загрузить несколько файлов с помощью wget параллельно 31.07.2017
    У меня есть следующий сценарий bash: для i в {0800..9999}; сделать для j в {001..032}; сделать wget http://example.com/"$i-$j".jpg готово done Все фотографии существуют, и фактически каждая итерация делает ...
  • 1
    Как регистрировать успешно завершенные загрузки с помощью wget 21.02.2020
    Я параллельно загружаю огромный список файлов, используя xargs. У меня проблема в том, что некоторые загрузки завершаются с ошибкой через некоторое время, поэтому, как только я пробежался по своему списку, не все загрузки были завершены...
  • 1
    Введите URL и покажите состояние HTTP 14.12.2013
    Я хочу сделать сценарий оболочки, где я ввожу URL, и он возвращает меня код состояния. До сих пор я протестировал wget, там любая другая причина, которую он имеет тенденцию сохранить независимо от того, что Вы работаете. Затем я попробовал некоторым...
  • 15
    Загрузка файлов с помощью wget 06.11.2018
    Я пытаюсь загрузить файлы с этого веб-сайта. URL: http://www.ncbi.nlm.nih.gov/geo/download/?acc=GSE48191&format=file, Когда я использую эту команду: wget http://www.ncbi.nlm.nih.gov/geo/...
  • 1
    wget - поврежденные каталоги 14.04.2014
    Я использую wget для создания зеркала HTML шаблонного сайта php на localhost. Я встречаюсь с проблемой с некоторыми каталогами, зеркально отражаемыми как документы без расширения. Что могло вызывать это...