Защита данных против разрядной гнили

Каноническое решение - использовать файловую систему, поддерживающую контрольную сумму, и делать регулярные резервные копии.

В дополнение к этому вы также можете использовать схему избыточного хранения (RAID) - на уровне файловой системы - чтобы избежать трудоемкого восстановления из резервной копии, если это возможно.

Примерами таких файловых систем являются ZFS или Btrfs .

Функция контрольного суммирования таких файловых систем реализована с использованием криптографической хеш-функции. Таким образом, битовые ошибки ниже по стеку памяти обнаруживаются с очень высокой вероятностью - из-за этого их способность обнаруживать повреждения находится на том же уровне или выше, что и у таких инструментов, как par2 .

Эти файловые системы также включают функции избыточного хранения - аналогично уровням RAID. Отличие от классического подхода с многоуровневым RAID заключается в том, что в случае обнаружения повреждения файловая система может выбрать «правильную» ногу, то есть сторону зеркала RAID, которая возвращает блок с правильной контрольной суммой.

Это старый вопрос, но он все еще актуален в 2019 году.

Да, файлы четности являются жизнеспособным решением -битовой гнили

Несмотря на недостатки проверки четности на уровне файловой системы, отличной от --, есть и одно огромное преимущество:

Портативность.

Самая причудливая файловая система -, основанная на проверке ошибок -, теоретически может навсегда сохранить ваши данные -свободными, но защита привязана к этой файловой системе. Как только файлы удаляются, они остаются незащищенными.

"слишком тяжелый" by brapps под лицензией CC BY -NC 2.0(Ему действительно следует переключиться на ZFS и крышу, прежде чем вводить данные в)

Изображения с файлами четности рядом с ними можно перемещать на USB-накопители, передавать по пакетным соединениям, сжимать, создавать резервные копии по отдельности на других носителях и делать сотни других вещей, которые я могу придумать навскидку.

Они также могут предотвращать изменения на основе плохих программ (анализаторов метаданных, которые случайно пишут неверные метаданные, например)

PAR2 — подходящий вариант файла четности

Файлы PAR2, в частности, можно использовать -на разных платформах, и их самые большие недостатки на самом деле не представляют проблемы при использовании -в случае защиты больших фотографий, (PAR2 не поддерживает вложенные папки и не не может эффективно обрабатывать файлы <1 КБ ).

Файлы PAR сами по себе не являются полным решением для резервного копирования,

Они по-прежнему должны быть частью стратегии резервного копирования с тремя -копиями, чтобы быть «пуленепробиваемыми», тем более, что для файлов PAR нет истории изменений. :Если изменение обнаружено как действительное и файлы четности воссозданы нет пути назад без ссылки на отдельную резервную копию (Решение для резервного копирования вне -сайта со встроенной -историей изменений было бы здесь победителем ).

Следующие шаги

Ответ на первоначальный вопрос «Есть ли скрипт или программа, которая [автоматически создает и поддерживает файлы четности]?» по-прежнему нет в 2019 году, но сделать сценарий самостоятельно или заказать его довольно тривиально. Если вы пойдете по этому пути, лучший совет, который я могу дать, — это :создать тестовую среду со всеми возможными крайними случаями и запустить любой сценарий через все тесты, прежде чем доверять ему.

И если кто-то, читающий это , действительно пойдет по этому пути, подумайте об открытом -источнике для всеобщего блага.

Отредактированное приложение :Для файлов PAR используется технологияhttps://en.wikipedia.org/wiki/Reed–Solomon _ошибка _исправление , и хотя разработка PAR застопорилась, существуют десятки, если не сотни проектов, использующих Reed -Соломон для целостности/восстановления данных уровня файла -.

Я написал легкий инструмент для обнаружения битрота под названием chkbit.

Он создает хэш, который следует за вашими данными независимо от файловой системы. Итак, chkbitпозволяет вам проверить целостность ваших данных в вашей основной системе, на резервном носителе и после восстановления.

chkbit не позволяет восстановить данные, вам все равно потребуется одна или несколько резервных копий.