каков наилучший способ исправить повреждение файловой системы на огромных данных

В bash встроенная функция readarray может хранить значения в массивах:

readarray arr < <(grep "pattern" abc.txt)

Это создаст массив с именем arr со значениями, заданными командой grep "шаблон "abc.txt (если они входят в несколько строк, readarray добавляет их в массив):

echo ${arr[0]}
33
$ echo ${arr[10]}
12
$ echo ${arr[*]}
33 23 51 11 16 43 5 50 4 2 12 29 32 28 47 41 7 20 38 45 49 26 22 10 44 9 19 27 46

BTW: cat file | grep ... можно сократить до grep ... file , grep также может читать файлы.