1
ответ

Файловая система наложения/объединения может использоваться в качестве импровизированной дедупликации?

Учитывая файловую систему объединения (mhddfs, unionfs, aufs) был бы он сохранять меня что-либо, если я наложил перезаписываемую файловую систему по одной с набором файлов ISO, скажите Ubuntu 10.04 и затем используйте zsync для обновления...
12.02.2013
1
ответ

Синхронизировать дерево каталогов с дедупликацией?

У меня есть два сервера Linux, которые имеют большой объем данных (1 ТБ +), который должен синхронизироваться по медленному соединению (100 кБайт/с). Много перекрытий данных, но находятся в различных местоположениях. Я был бы...
15.06.2012
0
ответов

Существует ли нечеткий поиск дубликатов для видео, не требующий графического интерфейса?

В настоящее время я пытаюсь устранить дубликаты видео с минимальными изменениями. Это может быть немного другая кодировка, более низкое разрешение или просто измененные метаданные
27.09.2021
0
ответов

Добавить текстовый файл с выводом команды, но заменить уже существующие слова (Не добавлять один и тот же текст дважды)

Я добавляю вывод команды в текстовый файл. Но если я сделаю это снова, в текстовом файле будет один и тот же текст дважды. Есть ли способ, например, с помощью sed, чтобы, если слово уже существует, не добавлять новое...
29.05.2020
0
ответов

Сделать tar (или другой) архив с данными, выровненными по блокам как в оригинальных файлах для лучшей дедупликации на уровне блоков?

Как можно создать tar файл, чтобы содержимое tar файлов было выровнено по блокам как в оригинальных файлах, чтобы можно было воспользоваться дедупликацией на уровне блоков (https://unix.stackexchange.com/a/...
13.04.2017
0
ответов

Как дублировать файл без копирования его данных с помощью btrfs?

У меня нет опыта работы с btrfs, но рекламируется, что он способен де-дублировать файлы. В моем случае мне нужно дублировать целые деревья каталогов. Из того, что я узнал, btrfs только де-дублирует ...
18.12.2015
0
ответов

Найти файлы рекурсивно, но выбрать самый большой из тех, у которых дублируются имена

Учитывая вложенную структуру каталогов, содержащую различные файлы, я хотел бы найти все файлы в ней, но где есть несколько файлов с одинаковыми именами, я хотел бы вернуть только самый большой ...
07.12.2015
0
ответов

Семантика дедупликации с btrfs - метаданные отличаются, данные файлов идентичны

Итак, я прочитал эту статью в Wiki о дедупликации с помощью btrfs. Однако он не описывает семантику, за которой следует дедупликация btrfs. Предположим, у вас есть дюжина файлов. Все они содержат идентичные данные ...
07.05.2015