Если вам нужно просмотреть ВСЕ файлы несколько раз (, как вы сказали, запустив скрипт )Я бы посоветовал заглянуть в оперативные диски, скопировать туда все файлы, а затем выполнить поиск файлов несколько раз, это ускорит увеличьте свой поиск как минимум в 100 раз.
Вам просто нужно достаточно оперативной памяти. В противном случае вам следует изучить индексацию файлов, например. в lucene или базу данных nosql, а затем запускать запросы к ней.