WGET Загрузить определенные файлы
Простой способ - поместить код в файл запуска оболочки для чтения дополнительного файла истории и убедиться, что вы сохранили в памяти достаточно много строк истории, чтобы не забыть «липкие» строки.
bash
В ~ / .bashrc :
history -r ~/.bash_history.sticky
Также убедитесь, что HISTSIZE не меньше HISTFILESIZE плюс количество строк в ~ / .bash_history.sticky плюс количество команд, которые вы выполняете за длительный сеанс, например
HISTFILESIZE=1000
HISTSIZE=10000
Если вы хотите, чтобы прикрепленные записи истории оставались в памяти, не имея очень большого HISTSIZE , вы можете сделать это, вручную обрезав историю в PROMPT_COMMAND с помощью history -d , но это трудно понять, если у вас есть erasedups в HISTCONTROL .
zsh
В ~ / .zshrc :
fc -RI ~/.zsh_history.sticky
Также убедитесь, что HISTSIZE не меньше SAVEHIST плюс количество строк в ~ / .zsh_history.sticky плюс количество команд, которые вы выполняете за длительный сеанс, например
SAVEHIST=1000
HISTSIZE=10000
Если вы хотите, чтобы прикрепленные записи истории оставались в памяти, не имея очень большого HISTSIZE , вы можете сделать это, вручную обрезав историю в Precmd , но это громоздко (zsh на самом деле не поддерживает перезапись истории, вам нужно fc -W во временный файл и прочитать отредактированную версию), и это трудно исправить, если у вас есть hist_ignore_dups или hist_ignore_all_dups набор параметров.
Чтобы wgetмог захватить целую кучу файлов, он должен иметь возможность найти их в указанном вами каталоге. Другими словами, когда вы переходите к https://www.ictsd.org/sites/default/files/review/в веб-браузере, вы должны увидеть там ссылку на pdf. Если ссылку можно увидеть в вашем браузере, то ее также можно увидеть по wget.
Когда я перемещаюсь по https://www.ictsd.org/sites/default/files/review/в Firefox, происходит тайм-аут и появляется сообщение об ошибке:
The page isn’t redirecting properly
Поскольку при переходе к каталогу не отображается индекс доступных файлов, wgetне может увидеть то, что вы ожидаете увидеть.
Принимая во внимание, что когда я помещаю полный путь к конкретному PDF-файлу в адрес, Firefox находит его, что согласуется с поведением wget.
Можно предположить, что владелец веб-сайта сделал это намеренно, чтобы предотвратить автоматическое извлечение всех файлов одновременно. Если, с другой стороны, вы считаете, что это просто ошибка веб-службы, и они сказали, что файлы, которые вам нужны, должны быть видны из содержащего каталога, вы можете связаться с ними и сообщить им о проблеме..
Или, если есть какой-то другой индекс, ссылающийся на все pdf-файлы, вы могли бы возможно использовать его.
Если вы заранее знаете имена конкретных PDF-файлов, которые вам нужны, вы можете поместить все ссылки в файл и wgetпрочитать из него вот так:
wget -i links.txt