Проблема с продуктивной миграцией

Причина отсутствия «стандартного инструмента» в том, что логика, как вы обнаружили, довольно проста.Ограничивающим фактором является то, что вы должны выполнять глубокий обход каталога, а это всегда дорогостоящий процесс.

На самом деле не имеет значения, какой подход вы выберете в отношении инструментов создания сценариев - «стоимость» - это дисковый ввод-вывод.

Итак, оптимизация, которую я предлагаю, была бы такой:

• Не проходите всю FS. Избавьтесь от своего обхода, когда вы найдете достаточно. ( find | shuf и find | head этого не сделают).
• Вероятно, вы можете приблизительно определить размер каталога, обратившись к последним обходам, и «пропустить вперед» с некоторым запасом.
• файлы статистики по мере продвижения и запись mtime помогут вам построить оба списка. Если вы генерируете случайное число и выбираете «последний» файл и последний последний файл перед этим номером.

Что-то вроде этого (В perl , но я уверен, что вы могли бы сделать это на Python)

#!/usr/bin/env perl
use strict;
use warnings;

use File::Find;

my $random_file;
my $recent_random_file;

my $limit = rand ( 7_000_000 ); #ideally set to file count on fs. 

sub search {
    if ( $count++ > $limit ) { 
        $File::Find::prune = 1; #stop traversing
        return; 
    }
    return unless -f; 
    if ( -M $File::Find::name < 1 ) { $recent_random_file = $File::Find::name }; 
    $random_file = $File::Find::name; 
}

find ( \&search, "/path/to/search");
print "$recent_random_file $random_file\n";