robots.txt
Википедии исключаетwget
:
#
# Sorry, wget in its recursive mode is a frequent problem.
# Please read the man page and use it properly; there is a
# --wait option you can use to set the delay between hits,
# for instance.
#
User-agent: wget
Disallow: /
Пожалуйста, последуйте их совету. В частности, вам, вероятно, не следует загружать Википедию с помощью такого инструмента, как wget
, а вместо этого использовать автономную загрузку базы данных .