Извлечь уникальные поддомены из входного файла
wget имеет опцию -Q--quota, которая ограничивает максимальный объем загрузки, когда задано несколько рекурсивных URL-адресов (или списка ввода ).
https://www.gnu.org/software/wget/manual/html_node/Download-Options.html
0
SS4
22.10.2021, 17:27
Ссылка
1 ответ
cut -d/ -f3 all-urls.txt | sort -u
и тогда у меня даже не было бесполезного использования cat.
2
Henrik supports the community
14.11.2021, 10:22
Ссылка