Для второго приложения/проблемы я бы использовал программу резервного копирования с дедупликацией, такую ​​как resticили borgbackup, а не пытался вручную отслеживать «исправления» или различия. Программа резервного копирования resticпозволяет создавать резервные копии каталогов с нескольких машин в один и тот же репозиторий резервных копий, дедуплицируя данные резервного копирования как среди фрагментов файлов с отдельной машины, так и между машинами. (У меня нет опыта работы с borgbackup, поэтому я ничего не могу сказать об этой программе.)

Вычисление и сохранение различий между файлами abcи abc2можно выполнить с помощью rsync.

Это пример, когда abcи abc2составляют 153 МБ. Файл abc2был изменен путем перезаписи первых 2,3 МБ файла некоторыми другими данными :

$ ls -lh
total 626208
-rw-r--r--  1 kk  wheel   153M Feb  3 16:55 abc
-rw-r--r--  1 kk  wheel   153M Feb  3 17:02 abc2

Создаем наш патч для преобразования abcв abc2и называем егоabc-diff:

$ rsync --only-write-batch=abc-diff abc2 abc

$ ls -lh
total 631026
-rw-r--r--  1 kk  wheel   153M Feb  3 16:55 abc
-rw-------  1 kk  wheel   2.3M Feb  3 17:03 abc-diff
-rwx------  1 kk  wheel    38B Feb  3 17:03 abc-diff.sh
-rw-r--r--  1 kk  wheel   153M Feb  3 17:02 abc2

Сгенерированный файл abc-diffпредставляет собой фактический diff (ваш «файл исправления» ), а abc-diff.shпредставляет собой короткий сценарий оболочки, который rsyncсоздает для вас:

$ cat abc-diff.sh
rsync --read-batch=abc-diff ${1:-abc}

Этот сценарий модифицирует abc, чтобы он стал идентичен abc2, учитывая файлabc-diff:

$ md5sum abc abc2
be00efe0a7a7d3b793e70e466cbc53c6  abc
3decbde2d3a87f3d954ccee9d60f249b  abc2
$ sh abc-diff.sh
$ md5sum abc abc2
3decbde2d3a87f3d954ccee9d60f249b  abc
3decbde2d3a87f3d954ccee9d60f249b  abc2

Файл abc-diffтеперь можно перенести в другое место, которое у вас есть abc. С помощью команды rsync --read-batch=abc-diff abcвы примените патч к файлу abc, преобразовав его содержимое так, чтобы оно совпадало с файлом abc2в системе, где вы создали diff.

Re -применение патча во второй раз кажется безопасным.Сообщений об ошибках нет и содержимое файла не меняется (контрольная сумма MD5 не меняется ).

Обратите внимание, что если вы не создадите явный «обратный патч», нет возможности легко отменить применение патча.

Я также протестировал запись модификации 2,3 МБ в какое-то другое место в данных abc2, немного дальше в (примерно на 50 МБ ), а также в начале. Сгенерированный «патч» имел размер 4,6 МБ, что позволяет предположить, что в патче были сохранены только измененные биты.

Пробовали ли вы просто заставить diffобрабатывать файлы как текст:

diff -ua abc abc2

Как объяснено здесь .

• -uвывод ЧИСЛО (по умолчанию 3 )строки единого контекста
• -aобрабатывать все файлы как текст

Вы получите патч. Недостатком этого является то, что «линии» могут быть довольно длинными, и это может раздуть патч.

How to compute a binary diff of abc and abc2?

Использование bsdiff/bspatch или xdelta и других.

$ bsdiff older newer patch.bin     # patch.bin is created
[...]
$ bspatch older newer patch.bin    # newer is created

Тем не менее, следует принять к сведению эти предостережения из справочных страниц.:

• bsdiffиспользует память, в 17 раз превышающую размер oldfile , и требует абсолютного минимального размера рабочего набора, в 8 раз превышающего размер oldfile .
• bspatchиспользует память, равную размеру oldfile плюс размер newfile , но может работать с очень маленьким рабочим набором без существенного потеря производительности.

Дополнения к другим ответам согласно моим тестам:

Сdiff

Я создал два очень похожих файла по 256 МБ abcи abc2. Затем создадим файл различий:

diff -ua abc abc2 > abc-abc2.diff

Теперь попробуем восстановить abc2благодаря оригинальному файлу abcиabc-abc2.diff:

cp abc abc3
patch abc3 < abc-abc2.diff

или

cp abc abc3
patch abc3 -i abc-abc2.diff

или

patch abc -i abc-abc2.diff -o abc3

Работает в Linux. Я также пробовал в Windows (patch.exe и diff.exe также доступны ), но по неизвестной причине это не удалось :полученный abc3файл имеет размер всего 1 КБ вместо 256 МБ (Я обновить этот ответ позже здесь ).

Сrsync

Как подробно описано в принятом ответе, это работает:

rsync --only-write-batch=abc-abc2-diff abc2 abc

cp abc abc3

rsync --read-batch=abc-abc2-diff abc3 

Сrdiff

Как подробно описано в этом ответе , это тоже решение:

rdiff signature abc abc-signature
rdiff delta abc-signature abc2 abc-abc2-delta

rdiff patch abc abc-abc2-delta abc3

Также протестировано в Windows с помощью rdiff.exe из здесь , все работает.

Используйте xdelta , он был создан именно для этого типа использования. На основе VCDIFF (RFC 3284 )в последних версиях.