Вопросы Теги

загрузить весь веб-сайт с помощью wget

перламутровый -вкладыш 

perl -MList::Util=uniq -F: -lane '
        push @keys, $F[0];
        push @{ $comment{$F[0]} }, $F[2];
    } END { 
        for $key (uniq @keys) {
            print $key;
            print "    $_" for @{$comment{$key}};
        }
' file
0
22.08.2019, 11:39
1 ответ

robots.txtВикипедии исключаетwget:

#
# Sorry, wget in its recursive mode is a frequent problem.
# Please read the man page and use it properly; there is a
# --wait option you can use to set the delay between hits,
# for instance.
#
User-agent: wget
Disallow: /

Пожалуйста, последуйте их совету. В частности, вам, вероятно, не следует загружать Википедию с помощью такого инструмента, как wget, а вместо этого использовать автономную загрузку базы данных .

4
28.01.2020, 02:17

Теги

Похожие вопросы