8
ответов

Существует ли способ изменить оперативный файл?

У меня есть довольно большой файл (35Gb), и я хотел бы отфильтровать этот файл на месте (т.е. у Меня нет достаточного дискового пространства для другого файла), конкретно я хочу к grep и игнорирую некоторые шаблоны — там...
12.04.2011
4
ответа

Быстрый способ добавления / добавления большой файл [закрыто]

У меня есть сценарий bash, который построчно читает довольно большой файл и для каждой строки выполняет некоторую обработку и записывает результаты в другой файл. В настоящее время я использую эхо для добавления в конец ...
17.10.2015
4
ответа

Извлеките несколько строк из большого текстового файла [дубликат]

У меня есть большой текстовый файл. Мне нужно быстро вытащить кучу строк, скажем, с # 14600 по # 14700, из этого файла в отдельный файл. Как это можно сделать?
16.10.2015
4
ответа

Grepping по огромной производительности файла

У меня есть FILE_A, который имеет по 300K строкам и FILE_B, который имеет по 30M строки. Я создал сценарий удара, который захватывает каждую строку в FILE_A в FILE_B и пишет результат grep в новый файл...
30.05.2012
3
ответа

Передача больших файлов (на 8 ГБ) по ssh

Я попробовал его SCP, но это говорит "Отрицательный размер файла".> scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Отрицательный размер файла Также пытался использовать SFTP, хорошо работал, пока 2 ГБ файла не передали...
26.08.2018
3
ответа

Emacs: Откройте буфер со всеми строками между строками X к Y из огромного файла

В том же духе как этот другой вопрос: строка кошки X к строке Y на огромном файле: Есть ли способ открыть из Emacs (и шоу на буфере) данный набор строк (например, все строки между строкой X..
13.04.2017
3
ответа

Как повторно сжать 2 миллиона gzip файлов, не храня их дважды?

У меня есть приблизительно 2 миллиона (60 ГиБ) gzipped маленьких файлов, и я хотел бы создать сжатый архив, содержащий всех их в несжатой версии. К сожалению, я не могу просто распаковать их...
06.11.2014
3
ответа

Как я могу получить первый столбец 300 ГБ txt файл?

позвольте мне сначала объяснить свою проблему подробно. Это на самом деле довольно просто. У меня есть огромный .txt файл, 300 ГБ, чтобы быть большим количеством preciese, и я хотел бы поместить все отличные строки из первого столбца, этого...
29.05.2014
3
ответа

Удивительно большая файловая система

Я запускаю двойной загруженный Windows 7 с Linux Mint прямо сейчас, и я просто проверил свой размер файловой системы, и он спрыгнул довольно маленький (приблизительно 30 ГБ) к 200 ГБ недавно (никакая подсказка, что инициировало это, я просто...
20.02.2014

FileA.txt: ATGCATGC GGGGGGTT TTTTT Файл AAAAB.txt: asdfasdf blah2 ATGCATGC blah3 blah4 delte-me-too GGGGGGTT blah

У меня сейчас есть что удалить строки, но я спотыкаюсь о цикле через FileA для создания нового шаблона для этого выражения awk:
06.02.2016
2
ответа

Создайте маленькие рекордные файлы из большой группы рекордного файла

У меня есть файл как это: Mainfile: текст Record|1111|ABC, промежуточный для рекордного 1 текста, промежуточного для рекордного 1 текста Record|2222|XYZ, промежуточного для рекордных 2 Record|3333|XYZ...
05.12.2014
2
ответа

Основные sed управляют на большом коротком файле: не мог перераспределить память

У меня есть текстовый файл на 250 МБ, все в одной строке. В этом файле я хочу заменить символы b символами: sed-e "s/a/b/g" <one-line-250-mb.txt Это перестало работать с: sed: не мог перераспределить память...
20.12.2013
2
ответа

awk читают, ошибка плохо обращаются

У меня есть файл, который составляет примерно 30 ГБ. Я использую, awk '1$ <=' myfile.txt 2000 года>> myfile_new.txt, Но, я получаю эту ошибку через некоторое время - awk: считайте ошибку (Плохой адрес), я предполагаю, что это...
19.10.2013
2
ответа

Из памяти при использовании sed с многострочными выражениями на гигантском файле

Я в настоящее время пытаюсь удалить все новые строки, которым не предшествует закрывающая скобка, таким образом, я придумал это выражение: sed-r-i-e ": a; N; $! ba; s / ([^\\)]) \n/\1/g; d" reallyBigFile.log Это делает...
01.02.2013
2
ответа

функция largefile при создании файловой системы

Полезно для использования-T largefile флаг при создании файловой системы для раздела с большими файлами как видео и аудио в flac формате? Я протестировал тот же раздел с тем флагом и без него и использованием...
16.07.2012
2
ответа

Diffing два больших текстовых файла

У меня есть два больших файла (6 ГБ каждый). Они не отсортированы с переводами строки (\n) как разделители. Как может я разность их? Это должно взять под 24-м.
16.09.2010
1
ответ

Поведение mmap'd памяти на давлении памяти

У меня есть большой файл (60GB) tar, содержащий файлы изображений. Я использую mmap () на этом всем файле для чтения в этих изображениях, к которым получают доступ случайным образом. Я использую mmap () по следующим причинам: Поток...
14.09.2011
1
ответ

Количество файлов на каталог

У меня есть каталог приблизительно с 100 000 маленьких файлов (каждый файл от 1-3 строк, каждый файл является текстовым файлом). В размере каталог не является очень большим (<2 ГБ). Эти данные живут в профессионально...
13.11.2010
0
ответов

862] Утечка памяти gawk с частотой слов

У меня есть следующий сценарий bash: #! / Usr / bin / env bash grep -e '^ [a-zA-Z] \ {4,8 \} $' data / words3.txt | tr '[: upper:]' '[: lower:]' | sort -u> data / passphrase-words.txt function wordfre

РЕДАКТИРОВАТЬ: [11124288] Опубликовал то, что у меня есть (за вычетом файла .xml.bz2 размером 12 ГБ) на [11124289] https : //github.com/proegssilb/wikipedia-wordcount [11124290]. Использование mawk, согласно предложениям в комментариях, похоже, ничего
26.01.2019
0
ответов

Как работает copytruncate на самом деле? [Закрыто]

Мы хотели бы понять Copytruncate, прежде чем вращать файл, используя logrotate с конфигурацией ниже: /app/syslog-ng/custom/ootput/all_devices.log {размер 200m copytruncate Весник ...
15.10.2018
0
ответов

Сравниваем два файла с легко читаемым графическим интерфейсом?

Хочется сравнить два больших файла, которые не близки по размеру к 1Гб. При большой загрузке файлов происходит сбой при сравнении. Я настроил Kompare как на фотографии ниже: Я хочу представить ...
14.09.2018
0
ответов

Как найти дубликат строк во многих больших файлах?

У меня ~ 30k файлов. Каждый файл содержит ~ 100 тыс. Строк. В строке нет пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу найти все повторяющиеся строки ...
12.02.2018
0
ответов

263] Почему голова; хвост на большом файле иногда занимает много времени, а иногда нет?

http://2001:db8:0:1::10:1ff
http://2001:0DB8:0000:0001:0000:0000:0010:01FF

Я пишу сценарий bash, который считывает первые 10 строк

Просматривая выводимый текст скрипта, я заметил эту проблему. Поэтому я решил посмотреть, займет ли это столько же времени, когда я просто выполнил команду head / tail (плюс grep, чтобы имитировать то, что выполняется в скрипте) прямо из командной строк
18.08.2017
0
ответов

397] grep: Какие * шаблоны * совпадают, а не какой текст?

Поддерживая наши локальные правила проверки журналов, было бы неплохо знать, какие из них больше не используются . Я пытаюсь найти достаточно эффективный способ сделать это. Другими сл

При поддержании наших локальных правил проверки журналов было бы неплохо знать, какие из них больше не используются. Я пытаюсь найти достаточно эффективный способ сделать это.
11.08.2017
0
ответов

14.03.2017
0
ответов

294] быстрые способы удаления начальных строк из большого текстового файла

У меня есть большой текстовый файл (> 500 ГБ), все способы, которыми я могу find (sed / tail и другие) все требуют записи содержимого 500 ГБ на диск. Есть ли способ быстро удалить первые несколько строк без ...
17.02.2017
0
ответов

266] «Не удается перераспределить» при создании файла?

Picture of my problem.

Я пытаюсь создать таблицу Excel на основе нескольких файлов в корне. Я читаю файлы построчно и добавляю их в п

Я пытаюсь создать таблицу Excel на основе нескольких файлов в корне. Я читаю файлы построчно и добавляю их в последний лист Excel.
09.01.2017
0
ответов

10.10.2016
0
ответов

577] Как определить размер tar-архива, не создавая его?
  • Я архивирую несколько каталогов каждую ночь на ленту LTO-7, содержащую около 100 файлов (2 ГБ) в каждом из них. В качестве проверки правильности записи данных я проверяю, что количество
  • Проблема в том, что пробный прогон должен прочитать все содержимое файлов и может занять несколько часов. В идеале он должен использовать сообщенные размеры файлов, применять необходимое заполнение / выравнивание и сообщать размер, а не часами загружать
    07.09.2016
    0
    ответов

    084] Более быстрый (несжатый) инструмент архивирования, чем tar?

    Я использую tar для архивации группы файлов на ленту LTO-7. Обычно каждый файл имеет размер 1-2 ГБ, и их может быть несколько сотен в каждом архиве (до ~ 1 ТБ на архив). В настоя

    Я использую tar для архивации кучи файлов на ленту LTO-7. Обычно размер каждого файла составляет 1-2 ГБ, и их может быть несколько сотен в каждом архиве (до ~ 1 ТБ на архив).
    01.09.2016

    Еще нет никакого руководства использования этим тегом …!

    Руководство использования, также известное как тег выборка Wiki, является короткой аннотацией, которая описывает, когда и почему тег должен использоваться на этом сайте конкретно.

    Еще нет никакого тега Wiki для этого тега …!

    Справка wikis тега представляет вновь прибывших тегу. Они содержат обзор темы, определенной тегом, наряду с инструкциями по его использованию.

    Все зарегистрированные пользователи могут предложить новый тег wikis.

    (Обратите внимание, что, если у Вас есть меньше чем 20 000 репутаций, Ваш тег, Wiki будет одноранговым узлом, рассмотренным, прежде чем это будет опубликовано.)