Ограничения curl и wget
Один и тот же тест с разными инструментами не выполняется. hping3выполняет "ping" с использованием протокола TCP на порту 80; pingвыполняет эхо-запрос ICMP, который является совершенно другим тестом.
ICMP — это IP-протокол 1 (см. RFC792); TCP — это IP-протокол 6 (, описанный в RFC793 ). TCP (, как и UDP ), имеет порты, ICMP не имеет портов, а имеет типы и коды.
Как правило, эхо-запрос ICMP будет «более легким», потому что это «более легкий» протокол (e. грамм. адресации, не требующей указания портов источника или конечной точки ), что означает, что при прочих равных время отклика, скорее всего, будет короче из-за меньшего количества требований к обработке, чем у сопоставимого TCP-пакета.
Размер только заголовка пакета для ICMP-пакета составляет 52 байта (24, 20 и 8 байтов для Ethernet, IP и ICMP соответственно ), в то время как размер только заголовка пакета для Пакет TCP составляет 64 байта (24, 20 и 20 байт каждый для Ethernet, IP,и TCP соответственно ).
Их веб-сервер вполне может просмотреть заголовок User-Agent:в запросе и отклонить запросы к серверу, поступающие от curlили wgetи подобных инструментов. Они могут сделать это, потому что им не нужен скриптовый доступ к их веб-контенту. Фактически, часть их условий обслуживания (, с которыми вы соглашаетесь, просто заходя на их сайт ), гласит
Use of the Services. To use our Services you must:
[...]
Not use any automated process to access or use the Service or any process, whether automated or manual, to capture data or content from the Service or circumvent any mechanisms for preventing the unauthorized reproduction or distribution of the Service for any reason;
Изменение заголовка User-Agent:, используемого в запросе, — это вопрос поиска правильных параметров в руководстве по вашему инструменту, принятия решения о том, будет ли использование этого параметра законным или нет в вашем случае использования, и принятия мер в соответствии с этим соображением.