Исходя из ожидаемого результата, может быть что-то вроде:
awk 'NF <= 1 || !seen[substr($0, 11, 11)]++'
Или
awk 'NF <= 1 || !seen[substr($2, 1, 11)]++'
Или сохранить последнюю запись:
awk '!second_pass {if (NF > 1) count[substr($2, 1, 11)]++; next}
NF <= 1 || --count[substr($2, 1, 11)] == 0' file second_pass=1 file
Вы можете использовать screen
/ tmux
или запустить wget в фоновом режиме(-b
с параметром)
Использование wget -bc
должно работать. Кстати, если вы хотите, чтобы ваша работа продолжала работать после отключения от удаленного сервера, nohup COMMAND >log 2>err &
может быть хорошей идеей.