wget не преобразовывает URL правильно, когда - преобразовывать-ссылки указаны
Вы можете смонтировать файловую систему сжатия на верхняя часть файла tmpfs.
Если бы он все еще поддерживался, fusecompress хорошо подошел бы для этой цели.
К сожалению, он кажется устаревшим, поэтому нам нужна другая реализация (в любом случае может быть лучше не использовать файловую систему на основе FUSE по соображениям производительности):
Похоже, что и Btrfs , и ZFS должен работать - но я не могу дать подробный совет по их использованию.
Конечно, есть и другие файловые системы, которые могут работать, но нетривиально посмотреть, какие решения имеют подходящие функции. e2compr сжимает, например, файлы, но не каталоги. В зависимости от вашего использования вам могут потребоваться сжатые каталоги. Многие сжатые файловые системы исключены, потому что они доступны только для чтения (например, squashfs ), нацелены на такие приложения, как загрузка встроенного устройства или сеанс рабочего стола из статического образа.
Критическим моментом является производительность. Будет ли это достаточно быстрым, зависит от ваших потребностей и реализации - вам нужно будет протестировать.
Ваш единственный вопрос:
в этом случае, если я никогда не получу мои ссылки, преобразованные над?
Я думаю, нет. Вы можете попробовать это с разделом, ограниченным по размеру и посмотрите, что делает WGET, когда он работает вне пространства (или использовать опцию - квота , предположительно, это все равно будет конвертировать с этим).
Я могу понять, почему это стратегия. Если бы это было сделано на лету, то нам придется пройти каждый документ для каждого загруженного элемента. Рассмотрим:
- A.HTML загружен.
- B.HTML загружается, теперь проверяйте A.HTML для ссылок.
- C.HTML загружается, теперь проверяйте A.HTML и B.HTML для ссылок.
- ... и так далее.
Вместо этого, по-видимому, проявляется, а затем в конце концов все документы отсканированы один раз . Конечно, мой метод на лету может быть улучшен, сохраняя индекс всех ссылок, но я все еще думаю, что это будет закалки по величине медленнее - и требуют порядков более частых писать на диск. Вместо того, чтобы сохранить файл, затем изменение его один раз в конце, вы обычно переписываете его десятки или сотни раз.