wget и curl сохраняют веб-страницу как тарабарщину (зашифрованную?)

Целевой диск должен быть на несколько кБ меньше исходного. "500 ГБ" как размер диска означает "не менее 500 000 000 000 000 байт"; нельзя рассчитывать на то, что все 500 ГБ диски будут иметь одинаковое количество байт. Поскольку все разделы имеют одинаковый размер и положение, часть в конце, которая не помещается, все равно не используется, так что это не проблема.

45 МБ/с - довольно хороший показатель для жесткого диска USB. Но вы, вероятно, получите немного лучшую скорость, если будете использовать более подходящий инструмент: dd заставляет использовать фиксированный размер буфера, который редко бывает оптимальным, а 4096 - это очень мало. Я провел сравнительные тесты (они, конечно, могут не соответствовать вашей системе) и обнаружил, что cat быстрее, чем dd, хотя dd может приблизиться к cat по производительности, если вы правильно определите размер блока (обычно около нескольких МБ). Но поскольку использование dd является сложным и может привести к потере данных, лучше использовать простой cat.

cat /dev/sda >/dev/sdc

Любой "размер сектора" здесь не имеет значения, это важно для производительности доступа к данным, но не для копирования всего диска.

3
08.06.2017, 16:30
1 ответ

Резюме:

Похоже, загруженный файл сжат, и его следует распаковать.

Развернутый ответ

Работает:

wget https://www.wired.com/category/security/

Результат с загруженным index.htmlфайлом

Выполнение команды fileв файле загрузки показывает:

$ file index.html 
index.html: gzip compressed data, from Unix

Переименование файла и его распаковка превращают его в HTML-документ

$ mv index.html index.html.gz
$ gunzip index.html.gz 
$ file index.html 

index.html: HTML document, UTF-8 Unicode text, with very long lines, with overstriking

Дополнительная информация -почему wget скачал сжатый файл?

Как объяснено в Как оптимизировать сайт с помощью сжатия GZIP:

Вместо загрузки большого текстового файла современные HTTP-серверы/клиенты используют сжатый HTTP-ответ , который уменьшает размер передаваемых файлов.

5
27.01.2020, 21:15

Теги

Похожие вопросы