Есть ли более быстрый способ удаления строки (с заданным номером строки) из файла?

Использование sed - хороший подход: Он понятен, он передает файл (нет проблем с длинными файлами), и его можно легко обобщить, чтобы сделать больше. Но если вам нужен простой способ редактировать файл на месте, проще всего использовать ed или ex:

(echo 10,31d; echo wq) | ed input.txt

Лучший подход, гарантированно работающий с файлами неограниченного размера (и для строк такой длины, какую позволяет ваша оперативная память) - это следующая perl однострочная программа, которая редактирует файл на месте:

perl -n -i -e 'print if $. < 10 || $. > 31' input.txt

Объяснение:

-n: Применить скрипт к каждой строке. Никакого другого вывода.
-i: Редактировать файл на месте (используйте -i.bck для создания резервной копии).
-e ... : Выведите каждую строку, кроме строк с 10 по 31.

Если вам нужно прочитать и записать 50 ГБ, это займет много времени, независимо от того, что вы делаете. И если строки не имеют фиксированной длины или у вас нет другого способа узнать, где находятся строки, которые нужно удалить, нет способа прочитать файл до последней удаляемой строки. Возможно, специальная программа, которая просто считает символы новой строки и позже копирует полные блоки, немного быстрее, чем sed (1) , но я считаю, что это не ваше узкое место. Попробуйте использовать время (1) , чтобы узнать, как распределяется время.

Это поможет?

perl -e '
           $num1 = 5;
           $num2= 10000;
           open IN,"<","input_file.txt";
           open OUT,">","output_file.txt";
           print OUT <IN> for (1 .. $num1-1)
           <IN> for ($num1 .. $num2);
           undef $/ and print OUT <IN>;
           close IN;
           close OUT;
          '

Это удалит все строки от 5 до 10000 включительно. Измените числа по своему усмотрению. Однако не вижу эффективного способа сделать это на месте (т.е. при таком подходе придется печатать в другой выходной файл).

Если вы хотите отредактировать файл на месте, большинство инструментов оболочки вам не помогут, потому что, когда вы открываете файл для записи, у вас есть выбор только обрезать его (> ) или добавление к нему ( >> ), не перезаписывая существующее содержимое. dd - заметное исключение. См. Есть ли способ изменить файл на месте?

export LC_ALL=C
lines_to_keep=$((linenum1 - 1))
lines_to_skip=$((linenum2 - linenum1 + 1))
deleted_bytes=$({ { head -n "$lines_to_keep"
                    head -n "$lines_to_skip" >&3;
                    cat
                  } <big_file | dd of=big_file conv=notrunc;
                } 3>&1 | wc -c)
dd if=/dev/null of=big_file bs=1 seek="$(($(wc -c <big_file) - $deleted_bytes))"

(Предупреждение: не проверено!)

вы можете добавить инструкцию * q * uit к вашей команде sed, когда будет достигнута nnennum2, чтобы sed прекратил обработку файла.

sed 'linenum1,linenum2d;linenum2q' file

Обратите внимание, что это ответ на другой вопрос, отмеченный как повторяющийся.

Возник вопрос об удалении строки 4125889 из in.csv.

Вы можете делать что-то небезопасное - тогда вы можете действовать быстро, но можете потерять весь файл, или вы будете зависеть от скорости редактора, который вы используете.

Рекомендую:

echo '\ 0013 \ 0003y' | VED_FTMPFIR =. ved +4125878 in.csv

, где вам нужно в 3 раза больше размера файла и заканчиваются на in.csv и in.csv.bak

или:

echo '\ 0013 \ 0003! ' | VED_FTMPFIR =. ved +4125878 in.csv

, где вам нужно вдвое больше размера файла, и получившийся файл будет записан на место.

Обратите внимание, что вам нужна POSIX-совместимая реализация оболочки (echo) для правильного расширения escape-последовательностей. Редактор ved является частью инструментов schily и доступен по адресу:

http://sourceforge.net/projects/schilytools/files/

в schily - *. Tar.bz2

Он использует самый быстрый из известных мне файлов подкачки.

VED_FTMPFIR =. Среда устанавливает каталог для файла подкачки в текущий каталог. выберите любой каталог, в котором достаточно места.

Это хорошо и просто:

perl -i -n -e 'print unless $.==13' /path/to/your/file

чтобы удалить, например, строку 13 из /path/to/your/file

Вы можете использовать Vim в режиме Ex:

ex -sc '1d2|x' input.txt

1. 1 перейти к первой строке

2. 2 выбрать 2 строки

3. d удалить

4. x сохранить и закрыть

В особом случае, когда содержимое строк, которые следует удалить, уникально в файле, другой вариант может использовать grep -v и содержимое строки а не номера строк.Например, если должна быть удалена только одна уникальная строка (удаление одной строки, например, было запрошено в этом дублированном потоке ), или несколько строк, которые все имеют одинаковое уникальное содержание.

Вот пример

grep -v "content of lines to delete" input.txt > input.tmp

Я провел несколько тестов с файлом, который содержит 340 000 строк. В этом случае метод grep кажется примерно в 15 раз быстрее, чем метод sed .

Вот команды и тайминги:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Я пробовал как с параметром LC_ALL = C, так и без него, он не меняет тайминги. Строка поиска (CDGA_00004.pdbqt.gz.tar) находится где-то в середине файла.