Подойдет ли вам что-то подобное?
wget --spider -r --no-parent http://your.url.com/
Это то, что вы пытаетесь сделать?
awk '
BEGIN { FS=OFS="\t" }
FNR == 1 {
close(out)
out = FILENAME "_1.txt"
}
{
split($1,a,/_/)
split(a[3],b,"/")
$0 = a[1] OFS a[2] OFS b[1] OFS b[2] OFS $0
split($18,a,/;/)
split(a[2],b,/=/)
print b[2], $0 > out
}
' *.txt
Не требуется никаких циклов оболочки или конвейеров для нескольких команд, точно так же, как я показал вам в вашем последнем вопросе, опубликованном под вашим другим именем:https://unix.stackexchange.com/a/605896/133219. Опять же, вероятно, есть лучший способ сделать то, что вы пытаетесь сделать, но без примера ввода/вывода все, что я могу сделать, это скопировать ваш сценарий.