11
ответов

Существует ли способ изменить оперативный файл?

У меня есть довольно большой файл (35Gb), и я хотел бы отфильтровать этот файл на месте (т.е. у Меня нет достаточного дискового пространства для другого файла), конкретно я хочу к grep и игнорирую некоторые шаблоны — там...
12.04.2011
7
ответов

grep с шаблоном из одного файла (3.2Gb )соответствие в другом файле (4.8Gb)

У меня есть два текстовых файла. Один из них представляет собой текстовый файл с именем, адресом электронной почты и другими полями. Несколько строк из файла1 :John :myemail@gmail.com :johnson123 :22hey Эрик :thatwhatsup@gmail.com :johnson133 :22hey Робер
02.08.2016
5
ответов

Пропустить 99 строк из каждых 100

У меня есть конвейер команд bash, который выводит тонны логирования текста. Но в основном повторяет предыдущую строку за исключением метки времени и некоторых второстепенных флагов, меняются только основные выходные данные...
22.05.2021
4
ответа

grep: Какие * шаблоны * совпадают, а не какой текст?

Поддерживая наши локальные правила проверки журнала, было бы неплохо знать, какие из них больше не используются . Я пытаюсь найти достаточно эффективный способ сделать это. Другими словами, учитывая довольно большой ...
11.08.2017
4
ответа

Grepping по огромной производительности файла

У меня есть FILE_A, который имеет по 300K строкам и FILE_B, который имеет по 30M строки. Я создал сценарий удара, который захватывает каждую строку в FILE_A в FILE_B и пишет результат grep в новый файл...
30.05.2012
3
ответа

Удалить повторяющиеся строки, содержащие определенный текст

У меня есть большой текстовый файл, содержащий миллион строк. Я хотел бы найти идентичные строки, которые соответствуют моему конкретному тексту, и оставить первое вхождение нетронутым. Любые идеи? Так что алгоритм примерно должен быть...
13.01.2021
3
ответа

Передача больших файлов (на 8 ГБ) по ssh

Я попробовал его SCP, но это говорит "Отрицательный размер файла".> scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Отрицательный размер файла Также пытался использовать SFTP, хорошо работал, пока 2 ГБ файла не передали...
26.08.2018
3
ответа

Emacs: Откройте буфер со всеми строками между строками X к Y из огромного файла

В том же духе как этот другой вопрос: строка кошки X к строке Y на огромном файле: Есть ли способ открыть из Emacs (и шоу на буфере) данный набор строк (например, все строки между строкой X..
13.04.2017
3
ответа

Как повторно сжать 2 миллиона gzip файлов, не храня их дважды?

У меня есть приблизительно 2 миллиона (60 ГиБ) gzipped маленьких файлов, и я хотел бы создать сжатый архив, содержащий всех их в несжатой версии. К сожалению, я не могу просто распаковать их...
06.11.2014
3
ответа

Как я могу получить первый столбец 300 ГБ txt файл?

позвольте мне сначала объяснить свою проблему подробно. Это на самом деле довольно просто. У меня есть огромный .txt файл, 300 ГБ, чтобы быть большим количеством preciese, и я хотел бы поместить все отличные строки из первого столбца, этого...
29.05.2014
3
ответа

Удивительно большая файловая система

Я запускаю двойной загруженный Windows 7 с Linux Mint прямо сейчас, и я просто проверил свой размер файловой системы, и он спрыгнул довольно маленький (приблизительно 30 ГБ) к 200 ГБ недавно (никакая подсказка, что инициировало это, я просто...
20.02.2014
3
ответа

Из памяти при использовании sed с многострочными выражениями на гигантском файле

Я в настоящее время пытаюсь удалить все новые строки, которым не предшествует закрывающая скобка, таким образом, я придумал это выражение: sed-r-i-e ": a; N; $! ba; s / ([^\\)]) \n/\1/g; d" reallyBigFile.log Это делает...
01.02.2013
2
ответа

Не удалось распаковать

Я имею дело с переносом больших файлов с одной машины на другую (600 ГБ+) и архивирую их с помощью tar -cpvzf file.tar.gz -C PATH_TO_DIR DIR После завершения процесса архивирования ...
19.08.2019
2
ответа

Как ускорить работу сценария sed?

Я получил этот сценарий, связанный с моим вопросом: как вставить имя файла и заголовок в начало CSV-файла find . -name '*.csv' -printf "%f\n" | sed 's/.csv$//' | xargs -I{} sed -i '1s/^/...
03.08.2019
2
ответа

Awk - Сравните значение из столбца с переменной, посчитайте, сколько раз оно проходит для каждого идентификатора

Я пытался найти решение, но теперь мне нужна помощь. Во-первых, в качестве входных данных у меня есть большой файл (5.5G) с такой структурой: scaffold4691_size302 2 T 1 scaffold4691_size302 3 ...
14.03.2017
2
ответа

быстрые способы удаления начальных строк из большого текстового файла

У меня есть большой текстовый файл (> 500 ГБ), все способы, которыми я могу find (sed / tail и другие) все требуют записи содержимого 500 ГБ на диск. Есть ли способ быстро удалить первые несколько строк без ...
17.02.2017
2
ответа

Как определить размер tar-архива, не создавая его?

Я архивирую несколько каталогов каждую ночь на ленту LTO-7, содержащую около 100 файлов (2 ГБ) в каждом из них. В качестве проверки правильности записи данных я проверяю, что количество ...
07.09.2016
2
ответа

Печатайте каждую строку несколько раз, но разное количество раз

У меня есть огромный файл, ~ 4000000 строк, которые выглядят так: file: 1 1 2 3 2 4 ... в основном, каждая строка содержит номер. Рассматривая этот пример, я хотел бы создать файл, который будет выглядеть ...
25.08.2016
2
ответа

Создайте маленькие рекордные файлы из большой группы рекордного файла

У меня есть файл как это: Mainfile: текст Record|1111|ABC, промежуточный для рекордного 1 текста, промежуточного для рекордного 1 текста Record|2222|XYZ, промежуточного для рекордных 2 Record|3333|XYZ...
05.12.2014
2
ответа

Основные sed управляют на большом коротком файле: не мог перераспределить память

У меня есть текстовый файл на 250 МБ, все в одной строке. В этом файле я хочу заменить символы b символами: sed-e "s/a/b/g" <one-line-250-mb.txt Это перестало работать с: sed: не мог перераспределить память...
20.12.2013
2
ответа

awk читают, ошибка плохо обращаются

У меня есть файл, который составляет примерно 30 ГБ. Я использую, awk '1$ <=' myfile.txt 2000 года>> myfile_new.txt, Но, я получаю эту ошибку через некоторое время - awk: считайте ошибку (Плохой адрес), я предполагаю, что это...
19.10.2013
2
ответа

функция largefile при создании файловой системы

Полезно для использования-T largefile флаг при создании файловой системы для раздела с большими файлами как видео и аудио в flac формате? Я протестировал тот же раздел с тем флагом и без него и использованием...
16.07.2012
2
ответа

Diffing два больших текстовых файла

У меня есть два больших файла (6 ГБ каждый). Они не отсортированы с переводами строки (\n) как разделители. Как может я разность их? Это должно взять под 24-м.
16.09.2010
1
ответ

Разбить большой файл на части и удалить исходный?

У меня проблемы с большим текстовым файлом (30 ГБ )Я хотел бы создать из него файлы меньшего размера (5 ГБ, скажем )Но, к сожалению, у меня больше нет места для хранения (доступно только ~10G ). Эта строка :сплит -b 5g &...
12.01.2021
1
ответ

Как сделать, чтобы unison не синхронизировал большие файлы?

Я использую программное обеспечение для синхронизации файлов unison и знаю о конфигурации, которая игнорирует синхронизацию файлов с определенным регулярным выражением или именем. Но есть ли способ заблокировать синхронизацию больших файлов, например. бол
22.09.2020
1
ответ

Замена текста в большом файле с помощью sed

У меня есть большой файл, содержащий текст, который будет заменен на основе переданного регулярного выражения. Регулярное выражение проверено и может найти соответствующий шаблон, но когда я использую его с sed без текста...
13.09.2019
1
ответ
1
ответ

Разделить большой файл журнала на основе критериев даты, пока работает средство ведения журнала

файл журнала /var/log/dovecot.info,> 4 ГБ, с форматом даты: 2019-07-01 01:07:40 Моя цель: иметь /var/log/dovecot.info, который начинается с 2019-01-01 00:00:00 и содержит до сих пор log ...
18.07.2019
1
ответ

Утечка памяти в Word frequency gawk

У меня есть следующий сценарий bash: #!/usr/bin/env bash grep -e '^[a-zA-Z]\{4,8\}$' data/words3.txt | tr '[:upper:]' '[:lower:]'' | sort -u > data/passphrase-words.txt function wordfrequency() { ...
26.01.2019
1
ответ

Как на самом деле работает copytruncate? [закрыто]

мы хотели бы понять copytruncate перед поворотом файла с помощью logrotate с приведенной ниже конфигурацией: /app/syslog-ng/custom/output/all_devices.log { размер 200M copytruncate dateext ...
15.10.2018

Еще нет никакого руководства использования этим тегом …!

Руководство использования, также известное как тег выборка Wiki, является короткой аннотацией, которая описывает, когда и почему тег должен использоваться на этом сайте конкретно.

Еще нет никакого тега Wiki для этого тега …!

Справка wikis тега представляет вновь прибывших тегу. Они содержат обзор темы, определенной тегом, наряду с инструкциями по его использованию.

Все зарегистрированные пользователи могут предложить новый тег wikis.

(Обратите внимание, что, если у Вас есть меньше чем 20 000 репутаций, Ваш тег, Wiki будет одноранговым узлом, рассмотренным, прежде чем это будет опубликовано.)