1
ответ
Сравниваем два файла с легко читаемым графическим интерфейсом?
Хочется сравнить два больших файла, которые не близки по размеру к 1Гб. При большой загрузке файлов происходит сбой при сравнении. Я настроил Kompare как на фотографии ниже: Я хочу представить ...
14.09.2018
1
ответ
Как найти дубликат строк во многих больших файлах?
У меня ~ 30k файлов. Каждый файл содержит ~ 100 тыс. Строк. В строке нет пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу найти все повторяющиеся строки ...
12.02.2018
1
ответ
Почему голова; хвост на большом файле иногда занимает много времени, а иногда нет?
Я пишу сценарий bash, который считывает первые 10 строк и последние 10 строк файла .txt. Он ищет начало (голова) и завершение (хвост) и сравнивает количество вхождений с помощью grep. The ...
18.08.2017
1
ответ
Есть ли эффективный способ разбора блоков текста в python?
У меня есть огромный файл (~70GB) со строками, которые выглядят так: $ cat mybigfile.txt
5 7 1 1 0 -2 0 0 2 0 4 0 -4 0 0 4 0 0 1 -1 0 0 0 ...
10.02.2017
1
ответ
"Cannot reallocate" when create file?
Я пытаюсь создать лист excel на основе нескольких файлов в корне. Я читаю файлы построчно и добавляю их в итоговый лист excel. Я пробую этот сценарий оболочки на небольших файлах, и он работает на 100%, ...
09.01.2017
1
ответ
Более быстрый (несжатый) инструмент архивации, чем tar?
Я использую tar для архивации кучи файлов на ленту LTO-7. Обычно каждый файл занимает около 1-2 ГБ, и их может быть несколько сотен в каждом архиве (до ~1 ТБ на архив). На данный момент я ...
01.09.2016
1
ответ
aix: большие файлы
/opt/freeware/bin/ls //media/nfs/slack64/pubblica
/opt/freeware/bin/ls: невозможно открыть каталог //media/nfs/slack64/pubblica: Value too large to be stored in data type Это произошло с coreutils-8.23 ...
21.10.2015
1
ответ
Поведение mmap'd памяти на давлении памяти
У меня есть большой файл (60GB) tar, содержащий файлы изображений. Я использую mmap () на этом всем файле для чтения в этих изображениях, к которым получают доступ случайным образом. Я использую mmap () по следующим причинам: Поток...
14.09.2011
1
ответ
Количество файлов на каталог
У меня есть каталог приблизительно с 100 000 маленьких файлов (каждый файл от 1-3 строк, каждый файл является текстовым файлом). В размере каталог не является очень большим (<2 ГБ). Эти данные живут в профессионально...
13.11.2010
0
ответов
Поддерживает ли традиционный vi (не vim) большие файлы?
Есть ли способ скомпилировать традиционный Vi (ex) с поддержкой больших файлов (3+ ГБ)? Я пытаюсь открыть файл размером около 3,5 ГБ, а Ви просто говорит: Tmp-файл слишком велик. Если поддержка больших файлов ...
10.10.2016
0
ответов
Как перебрать файл и превратить каждую строку в новое регулярное выражение в оператор awk?
FileA.txt: ATGCATGC GGGGGGTT
TTTTT
Файл AAAAB.txt: asdfasdf
blah2
ATGCATGC
blah3
blah4 delte-me-too
GGGGGGTT
blah5
blah5
.... Я хочу сравнить каждую строку из FileA.txt и проверить, соответствует ли она ...
06.02.2016
0
ответов
Быстрый способ добавления / добавления в большой файл [закрыто]
У меня есть сценарий bash, который читает довольно большой файл, строка за строкой, и для каждой строки выполняет некоторую обработку и записывает результаты в другой файл. В настоящее время я использую эхо для добавления в конец ...
17.10.2015
0
ответов
Извлечение нескольких строк из большого текстового файла [дубликат]
У меня есть большой текстовый файл. Мне нужно быстро извлечь из этого файла несколько строк, скажем с #14600 по #14700, в виде отдельного файла. Как это можно сделать?
16.10.2015