4
ответа
cp --reflink=auto для MacOS X
cp --reflink=auto показывает следующий результат для MacOS: cp: illegal option -- - Поддерживается ли копирование на запись или дедупликация для HFS? Как я могу COW огромные файлы с HFS?
22.09.2016
3
ответа
Как удалить повторяющиеся значения в одной строке с помощью awk?
Я хочу удалить повторяющиеся столбцы/поля только в одной строке. Я пытался, но в итоге получился длинный код с вложенными циклами, условиями и массивами, который работает некорректно. входные данные
30.08.2021
2
ответа
Удалить соседние повторяющиеся слова из строки
У меня есть строка, подобная этой строке :один один буксировать три три буксировать один три Как я могу удалить повторяющиеся слова, чтобы сделать это так
06.09.2021
2
ответа
Скрипт для поиска дубликатов файлов по расширению и их удаления
Недавно мой NAS подвергся атаке программы-вымогателя, и все мои файлы были заархивированы. Мне удалось получить пароль и извлечь их, и в то же время я переименовал файл 7zipped в 7z.bad
23.08.2021
2
ответа
Поиск дубликатов файлов с помощью скрипта bash
Как написать bash one -лайнер, который будет находить двоичные файлы с идентичным содержимым, разрешениями и владельцем в той же файловой системе ext4 -, рекурсивно из текущего рабочего каталога, и заменять...
14.10.2020
2
ответа
Удалить повторяющиеся первые поля файла CSV
Я пытаюсь удалить повторения одного и того же значения первого столбца из CSV-файла без изменения содержимого и выравнивания других ячеек (в других столбцах ). Мой текст :АВАРИЯ EP 4 STEM PERCUS,,...
31.07.2020
2
ответа
Определение уникальных записей в CSV на основе столбцы [дублировать]
Если ввод foo,bar,baz
бар, баз, квс
Кукс, Кукс, Баз
бар, фу, квс
waldo,fred,garply вывод должен быть foo,bar,baz
бар, баз, квс
waldo,fred,garply Как видите, записи дедуплицируются на основе ...
17.05.2018
2
ответа
Как tar работает с файлами с жесткой связью? [дубликат]
У меня есть 2,5 ТБ данных, которые я хочу поместить на жесткий диск 2 ТБ, чтобы отправить куда-нибудь по почте. Это не безнадежно, поскольку очень большая часть данных состоит из повторяющихся файлов. Я рассматриваю возможность использования jdupes ...
09.11.2016
2
ответа
Дедупликация на уровне раздела
Что такое доступные решения для блочного уровня или более подробной дедупликации? Существуют основанные на файле - с подходом "Копии на записи". Я ищу блочный уровень "копия на записи", таким образом, я мог...
05.10.2016
2
ответа
Инструмент Deduplication для rsync?
Существует ли инструмент Linux / Unix, который делает дедупликацию, подобную способу, которым Veeam делает это прежде, чем сжать и отправить резервное копирование с rsync к зеркальному местоположению?
20.02.2015
1
ответ
Поиск дубликатов файлов с одинаковым именем и одинаковым размером
У меня есть огромная папка с песнями, структура которой беспорядочна, а файлы дублируются в нескольких папках. Мне нужна рекомендация для инструмента или скрипта, который может находить и удалять дубликаты с помощью простых двух совпадений
21.11.2021
1
ответ
Дедупликация файлов при их перемещении в XFS
У меня есть папка в файловой системе без рефлинков -, поддерживающей (ext4 ), которая, как я знаю, содержит много файлов с идентичными блоками. Я хотел бы переместить/скопировать этот каталог в файловую систему XFS, пока...
01.05.2021
1
ответ
Как использовать `rmlint `, чтобы удалить дубликаты только из одного места и оставить все остальное нетронутым?
У меня есть два местоположения: /path/to/a и /path/to/b. Мне нужно найти дубликаты файлов в обоих путях и удалить только элементы в /path/to/b items. rmlint генерирует довольно большой скрипт удаления, но он содержит...
14.03.2021
1
ответ
Как использовать rmlint для объединения двух больших папок?
Исследуя варианты объединения двух папок, я наткнулся на очень мощный инструмент, известный как rmlint. У него есть полезная документация (и Gentle Guide ). У меня есть сценарий, о котором я упоминал ранее, и...
13.01.2021
1
ответ
Найти повторяющиеся абзацы в двух файлах и удалить один
У меня есть два файла bib, некоторые записи повторяются, повторяющиеся записи находятся в абзацах или могут быть идентифицированы по одному и тому же шаблону, например. а.биб выглядит @InProceedings{Упорядочено, автор = {...
29.09.2020
1
ответ
Отдельное хранение частей текстовых файлов и их реконструкция :символических ссылок с несколькими целями?
У меня есть два текстовых файла, заголовки которых разные, а содержимое одинаковое. $ cat оригинальный _файл _v1 заголовок 1 начало заголовок 1 содержание заголовок 1 конец строка общего содержания 1 общее содержание...
11.09.2020
1
ответ
Жесткие ссылки на дубликаты файлов только по размеру
В настоящее время я запускаю rdfind в каталоге, содержащем более 4 ТБ файлов. Поскольку часть контрольной суммы занимает чрезмерное количество времени, я ищу альтернативы. Я совершенно точно знаю, что там...
09.09.2020
1
ответ
Рекурсивно удалить повторяющиеся строки из файлов, но оставить одну -Сделать строки уникальными в разных файлах
У меня много папок и папки содержат файлы. Одна и та же строка может появляться несколько раз в одном файле и/или в нескольких файлах. Файлы не отсортированы. Так что некоторые строки дублируются поперек...
15.07.2020
1
ответ
Как запустить средство поиска дубликатов Shredder (rmlint --gui) в Debian? («Не удалось загрузить шредер: нет модуля с именем «шредер»»)
Я хочу запустить графический интерфейс rmlint (Шредер) в Debian10, но получаю эту ошибку: Не удалось загрузить шредер: нет модуля с именем «шредер». Это может быть из-за поврежденной установки; попробуй переустановить.
26.04.2020
1
ответ
Есть ли способ включить рефлинк в существующей файловой системе XFS?
В настоящее время у меня есть конфигурация RAID 1 объемом 4 ТБ на небольшом личном сервере Linux, который отформатирован как XFS в LVM. Я заинтересован в включении функции рефлинков XFS, но я не сделал этого, когда впервые…
01.01.2020
1
ответ
Существует ли файловая система хранения на уровне блоков?
Я ищу файловую систему, которая хранит файлы по блочному содержимому, поэтому подобные файлы будут занимать только один блок. Это для целей резервного копирования. Это похоже на хранилище резервных копий на уровне блоков ...
02.10.2019
1
ответ
Как оценить, если стоит использовать дедупликацию?
У меня есть раздел, где я рассматриваю для использования дедупликации. Для профиля он - данные, я думаю, что это будет хороший выбор. Однако, прежде, чем сделать его, я хотел бы оценить влияние в больше...
09.03.2019
1
ответ
Как скопировать несколько снимков одновременно без дублирования данных?
У меня есть файловая система BTRFS 3.7TIB, которая на 90%, включая старые снимки и свежий 4 ТБ жесткого диска Отказ Как скопировать все существующие снимки на резервный жесткий диск? Я пробовал # BTRFS отправлять ...
02.01.2019
1
ответ
Проверка идентичных файлов в Linux и удаление в соответствии с местоположением
Я использую FDUPES для поиска и удаления идентичных файлов. Но я хочу быть в состоянии сказать что-то вроде этого ... Найти все файлы, которые являются дубликатами в каталоге A или его подкаталоги
Если есть ...
29.11.2018
1
ответ
Команда для удаления дубликатов файлов из текущего каталога [duplicate]
У меня есть каталог с несколькими дубликатами файлов, созданных программой. Дубликаты имеют одинаковое имя (кроме номера), но не все файлы с таким именем являются дубликатами. Что тут простого...
29.04.2018
1
ответ
Как найти дубликат строк во многих больших файлах?
У меня ~ 30k файлов. Каждый файл содержит ~ 100 тыс. Строк. В строке нет пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу найти все повторяющиеся строки ...
12.02.2018
1
ответ
Безопасно ли устанавливать `--reflink=auto` по умолчанию для cp?
В настоящее время я являюсь пользователем BTRFS и хотел бы воспользоваться преимуществами CoW, чтобы при копировании файлов на ту же файловую систему btrfs они автоматически дедуплицировались путем повторного использования существующих ...
13.04.2017
1
ответ
Монтируемый дедуплицирующий контейнер
Мне нужен контейнер, который я могу смонтировать, который выполняет дедупликацию файлов внутри него. По сути, я хотел бы иметь простое решение для резервного копирования, в которое я монтирую его, копирую свою домашнюю папку с именем «Home (Feb 9)», и то
10.02.2016
1
ответ
Можно ли дедуплицировать tars на уровне блоков?
Проще говоря, когда tar-файл создается на диске, будут ли экстенты дедуплицироваться с экстентами внутри и / или вне tar? Я спрашиваю в теоретическом смысле, так что если экстенты данных ...
10.06.2015
1
ответ
Как получить tar к hardlink идентичному содержанию на лету во время создания архива?
Как я могу получить tar (или какая-либо другая программа, которая обычно доступна на Linux, например, мире) к содержанию дубликата hardlink на лету во время создания архива? Таким образом, я хотел бы избежать hardlinking заранее...
10.05.2015
Еще нет никакого руководства использования этим тегом …!
Руководство использования, также известное как тег выборка Wiki, является короткой аннотацией, которая описывает, когда и почему тег должен использоваться на этом сайте конкретно.