Вопросы Теги

Регулировка поисковых роботов

172.31.100.0 IP-адрес одного из хостов, которые Вы просканировали. Если Ваша сеть на самом деле 172.31.96.0/21 (или больше), то 100.0 совершенно допустимый IP-адрес.

172.31.100.0 часть пространства IP Класса B перед CIDR, таким образом, Вы, возможно, получили стандартную сеть 173.31.0.0/16, если Вы не настраивали иначе (и 100,0 абсолютно допустимых в той сети).

Если Вы не хотите сканировать.0, можно вызвать nmap с диапазоном: nmap -sS 172.31.100.1-254.

8
13.05.2016, 05:50
1 ответ

Попробуйте mod_qos модуль Apache. Текущая версия имеет следующие механизмы управления.

  • Максимальное количество параллельных запросов к местоположению/ресурсу (URL) или виртуальный хост.
  • Ограничение пропускной способности, такой как максимальное позволенное количество запросов в секунду к URL или максимуму/минимуму загруженных кбайт в секунду.
  • Ограничивает количество событий запроса в секунду (специальные условия запроса). Это может также "обнаружить" высокопоставленных лиц (VIP), которые могут получить доступ к веб-серверу без или с меньшим количеством ограничений.
  • Универсальная строка запроса и заголовок фильтруют для отклонения несанкционированных операций.
  • Ограничение данных тела запроса и фильтрующий (требует mod_parp).
  • Ограничения на уровне соединения TCP, например, максимальное количество позволенных соединений от единственного адреса источника IP или динамического активного управления.
  • Предпочитает известные IP-адреса, когда сервер исчерпывает бесплатные соединения TCP.

Это демонстрационное условное правило из документации должно получить Вас идущий в правильном направлении.

# set the conditional variable to spider if detecting a
# "slurp" or "googlebot" search engine:
BrowserMatch             "slurp"                  QS_Cond=spider
BrowserMatch             "googlebot"              QS_Cond=spider

# limits the number of concurrent requests to two applications
# (/app/b and /app/c) to 300 but does not allow access by a "spider"
# if the number of concurrent requests exceeds the limit of 10:
QS_LocRequestLimitMatch       "^(/app/b/|/app/c/).*$"  300
QS_CondLocRequestLimitMatch   "^(/app/b/|/app/c/).*$"  10   spider
5
27.01.2020, 20:13
  • 1
    Выглядит немного более сложным, чем я надеялся, на в пятницу вечером наслаждаясь бельгийским пивом... Должны посмотреть на него завтра. Взгляды, обещающие с browsermatch и вещами. Задумывание о нем... было бы хорошо, если это автоматически любой хост / useragent, который запрашивает robot.txt: o) Спасибо Uther –  jippie 27.04.2012, 22:58
  • 2
    Выглядит немного более сложным, чем я надеялся, на в пятницу вечером наслаждаясь бельгийским пивом... Должны посмотреть на него завтра. Взгляды, обещающие с browsermatch и вещами. Задумывание о нем... было бы хорошо, если это автоматически любой хост / useragent, который запрашивает robot.txt: o) Спасибо Uther –  jippie 27.04.2012, 22:58
  • 3
    Обладают тем пивом! –  George M 27.04.2012, 23:00
  • 4
    OK, это выглядит довольно простым. Реализованный это, чтобы видеть, если мой веб-сервер wil мочь поддержать на высоком уровне теперь. –  jippie 29.04.2012, 15:57

Теги

Похожие вопросы