Извлечение столбцов из огромного текстового файла с разделителями.

Попробуйте использовать grep.

(
  export LC_ALL=C
  grep -E '^(BL|FR|[GMTW]F|GP|M[CQ]|NC|PM|RE|YT)([^|]*\|){19}TRUE(\||$)' |
    cut -d'|' -f1-3,6,10,11,13,19,20
)

Как предложил @don_crissti, и предполагая, что все строки содержат не менее 20 полей, вы также можете попробовать сначала вырезать, что в зависимости от количества и длины полей в каждой строке и доли совпадающих строк может дать лучшую производительность:

(
  export LC_ALL=C
  cut -d'|' -f1-3,6,10,11,13,19,20 |
    grep -xE '(BL|FR|[GMTW]F|GP|M[CQ]|NC|PM|RE|YT).*\|TRUE'
)

Использование подхода python per line-

Приведенный ниже сценарий возвращает произвольный набор столбцов в вашей строке, если первый столбец равен определенной строке. И требуемое соответствие, и возвращаемые столбцы являются аргументами для запуска скрипта. Пример:

python3 /path/to/script.py /path/to/file.txt monkey 3 12 > output.txt

возвращает столбцы 0, 2 и 11 (первый столбец - 0) строки в файле file.txt, если первый столбец равен "monkey"

Время выполнения

На файле размером 30.000.000 строк и объемом несколько гигабайт скрипт выполнил работу менее чем за минуту на моем более чем 10-летнем компьютере. Поскольку скрипт читает и обрабатывает по строке, мы можем предположить, что потребляемое время более или менее линейно, и скрипт выполнит работу значительно быстрее, чем ваша команда.

Скрипт

#!/usr/bin/env python3
import sys

s = sys.argv[2]; cols = [int(n) for n in sys.argv[3:]]

with open(sys.argv[1]) as src:
    for l in src:
        l = l.split("|"); match = l[0].strip()
        if match == s:
            print(match, " ".join(list(l[i].strip() for i in cols)))

Как использовать

1. Скопируйте скрипт в пустой файл, сохраните его как get_cols.py

2. Запустите его со следующими аргументами:

   • исходный файл
   • требуемое совпадение первого столбца (строка)
   • столбцы для вывода
     
     

   Например:

   python3 /path/to/get_cols.py Germany 2 12 > output.txt
   

Вот и все

Вы могли бы хотя бы избавиться от сокращения :

awk -F '|' 'BEGIN { OFS=FS } $20 == "TRUE" && /^(BL|FR|GF|GP|MC|MF|MQ|NC|PF|PM|RE|TF|WF|YT)/ { print $1,$2,$3,$6,$10,$11,$13,$19,$20 }' indata >outdata

Я не знаю, работает ли это быстрее, но это позволяет избежать разделения каждой строки на поля как минимум дважды.

Вы также можете попробовать сначала вырезать правильные столбцы (чтобы сократить работу awk до простой фильтрации):

cut -d '|' -f 'columnspec' indata | awk -F '|' 'BEGIN { OFS=FS } $20 == "TRUE" && /^(BL|FR|GF|GP|MC|MF|MQ|NC|PF|PM|RE|TF|WF|YT)/ { print }' >outdata

Другой подход - разделить файл на управляемые части, фильтровать их параллельно , а затем объедините результат. См. Руководство для split в вашей системе Unix. Возможно, вам придется использовать флаг -a с разделением, если вы генерируете много сотен файлов, но я бы рекомендовал подсчитать количество строк в файле данных и разделить примерно на 10 файлов. .

Попробовать мок? Используйте версию 1.34 или выше. Возможное ускорение задачи, обрабатывающей большой файл, может быть 8-кратным в примере некоторых людей:

big-data-munging-language/

Чтобы провести абсолютное сравнение с вашей текущей производительностью, эта задача заняла 1 минуту (с mawk) для обработки 1 ГБ. Попытка использовать код Java (JIT) была не быстрее.

Кроме того, производительность многих утилит снизилась после добавления поддержки UTF-8. поиск в Google предполагает, что это может очень сильно повлиять по крайней мере на некоторые версии awk: попробуйте запустить с переменной окружения LC_ALL=C (например, LC_ALL=C awk... ).