Как оптимизировать Aria2 при загрузке тысяч небольших файлов?

Я не вижу простого способа сделать то, что вы пытаетесь сделать. Получение случайного «файла» из большой файловой системы означает, что вы должны сначала получить список всех файлов в этой системе. Это требует много времени или ресурсов. Тем не менее, если вы хотите придерживаться такого рода решений, вот что я могу вам порекомендовать:

• Запускать несколько процессов. Пример: если у вас есть папка / data / с 10 подпапками, вместо find / data / ..... вы можете сделать что-то вроде:

  для i в «ls data»; действительно найдите $ i ....; done

  Вы получите 10 результатов в 10 раз быстрее (или что-то в этом роде). Тем не менее, это потребует много ресурсов процессора.

• Вам не нужно искать по всей файловой системе, где тысячи файлов остаются неизменными в течение многих лет, а только по частям дерева файловой системы, где вы ожидаете изменения, и исключать части из трех, где хранятся кеши, как обычно они не предназначены для резервного копирования. Таким образом вы сократите время для создания списка.

• Определите maxdepth и mindepth (они могут быть случайным файлом ..) - вы все равно получите случайный файл, но вы ограничите количество подкаталогов для чтения и сэкономите время и ресурсы.

Такие вещи можно было бы сделать, чтобы немного настроить вещь, но чем больше становилась файловая система, тем труднее было получить то, что вам нужно. Так что, может быть, лучше подумать о решении для резервного копирования на основе моментальных снимков или о лучшем способе убедиться, что ваша резервная копия в порядке.