wget not остановка
Написал небольшую статью на эту тему, посмотрите. https://kerpanic.wordpress.com/2017/03/30/loading-tmux-on-boot-in-linux/
Ваш цикл for в порядке (за исключением того, что его можно было бы более эффективно записать, используя break when $ j -ge 10 , чтобы он не продолжить итерацию по оставшимся элементам.
Проблема в том, что вы ожидаете, что wget ... -r будет извлекать только один файл за итерацию. Это не так, как это работает; цикл только считает число вызовов wget ... -r , и каждый такой вызов может загружать неограниченное количество файлов.
-e robots = off не имеет отношения, за исключением использования ] robots.txt может привести к остановке рекурсии намного раньше, если многие файлы действительно заблокированы для поисковых роботов.
На самом деле вы не должны использовать -e robots = off . В зависимости от вашей юрисдикции это может иметь правовые последствия (я согласен, что это отстой, очистка должна быть законной, но такова ситуация в настоящее время).