Рок-стабильная файловая система для больших файлов (резервные копии) для Linux
Хотя обе команды позволяют Вам просматривать содержание файла, их исходные цели очень отличаются.
меньше расширяет возможности больше. Последний был создан для просмотра содержания файла одно экранное за один раз. меньше добавляет опции, такие как обратные перемещения и лучшее управление памятью (никакая потребность считать весь файл перед способностью видеть первые строки).
кошка связывает файлы и печатает результат на стандартном выводе. При обеспечении только одного файла Вы будете видеть содержание того файла. Становится 'мощно' при обеспечении нескольких файлов. Хорошим примером является комбинация разделения и кошки. Первая команда разделит большой файл на небольшие части. Второй затем свяжет небольшие части в единственный файл.
Назад к Вашему вопросу, кошка была бы предпочтена в автономном сценарии, требующем, чтобы файлы были считаны полностью (или связаны) без взаимодействия. С точки зрения просмотра файла я думаю, что это - больше вопрос вкуса.
Можно использовать ext4, но я рекомендовал бы монтироваться с journal_data режим, который выключит dealloc (задержанное выделение), который 'вызвал некоторые более ранние проблемы. Отключение dealloc сделает новые записи данных медленнее, но сделает записи в случае сбоя питания менее вероятно, чтобы иметь потерю. Я должен также упомянуть, что можно отключить dealloc без использования journal_data который обладает некоторыми другими преимуществами (или по крайней мере это сделало в ext3), таком как немного улучшенные чтения, и я верю лучшему восстановлению.
Степени все еще помогут с фрагментацией. Степени делают delete's больших файлов намного быстрее, чем ext3, удаление любых размерных данных (единственный файл) должно быть почти мгновенным на ext4, но может занять много времени на ext3. (любой основанный на степени FS имеет преимущество),
ext4 также fsck быстрее, чем ext3.
Одно последнее примечание, были bugfixes в ext4 для симпатии 2.6.31? Я в основном удостоверился бы, что Вы не выполняете ядро пред 2.6.32, который является ядром LTS.
XFS является горным телом и был в ядре целую вечность. Исследуйте инструменты как xfs_freeze и посмотрите, является ли это тем, что Вы ищете. Я знаю, что это очень субъективно, но я использовал XFS для хранения данных в течение многих лет без инцидента.
-
1на основе моего ответа, я хотел бы отметить, что XFS является базирующимися степенями и несет многих те же преимущества как ext4. Однако я хотел бы упомянуть, что это несет те же проблемы с dealloc, который может иметь ext4, который может привести к потере данных в получении по запросу сценарий разъема. Я не знаю, может ли dealloc быть отключен в XFS. – xenoterracide 31.08.2010, 23:12
-
2Да, я не уверен, можно ли отключить опцию, но xfs_freeze утилита гарантирует стабильный образ диска. Из страницы справочника: флаг-f запрашивает указанную файловую систему XFS быть замороженной от новых модификаций. Когда это выбрано, всем продолжающимся транзакциям в файловой системе позволяют завершиться, новые системные вызовы записи останавливаются, другие вызовы, которые изменяют файловую систему, останавливаются, и все грязные данные, метаданные, и информация о журнале записана в диск. Любой процесс, пытающийся записать в замороженную файловую систему, заблокирует ожидание файловой системы, которая будет разморожена. номер – dsp 31.08.2010, 23:25
-
3я менее обеспокоен серединой повреждения записи файлов пока работы сброса. – Maciej Piechotka 31.08.2010, 23:48
Просто используйте резервный инструмент та поддержка контрольные суммы. Например, Dar делает, и он поддерживает возрастающие резервные копии. Затем можно скопировать к горной файловой системе тела как ext3.
Для резервных копий Вы хотите что-то, качают твердую/очень конюшню. И сегодня btrfs или ZFS просто не готовы.
-
1
btrfs имеет прозрачное вычисление контрольной суммы данных, записанных в диск и быстрый режим заказанных записей, который всегда включен (и много других резервно-дружественных функций), который делает его призывающий к резервным копиям. См. https://btrfs.wiki.kernel.org/index.php/Main_Page для получения дополнительной информации.
-
1Хм. В то время как это мог бы быть хороший ответ в будущем, я не думаю, btrfs или zfs стабильны на Linux прямо сейчас. – Maciej Piechotka 31.08.2010, 19:20
-
2у меня был btrfs, рекомендуемый мне пользователями ядра. В последний раз я знал, что Подвижный специалист по обслуживанию выполнял его по крайней мере на одном полном рабочем дне машины. Я использую ZFS через FUSE ежедневно, и это - горное тело, если немного медленный из-за FUSE. – durin42 31.08.2010, 19:43
-
3btrfs на формате диска еще не стабилен... Я не рекомендовал бы это, пока это не изменилось. Программисты Kernel могут выполнить все виды сумасшедших вещей. – xenoterracide 31.08.2010, 20:01
-
4ZFS мог бы быть стабильным..., но из-за вещи FUSE я не обеспокоюсь им. – xenoterracide 31.08.2010, 20:28
-
5ZFS на FUSE является взломом. Это мог бы быть хороший взлом, я не буду доверять ему для Ваших критических бизнес-данных. Кроме того, ZFS на FUSE имеет некоторые проблемы скорости, и скорость является критической при резервном копировании терабайт данных. – Stefan Lasiewski 31.08.2010, 21:33
Имхо очень важный аспект, который я не видел в других ответах, это особенности стабильности расположения на диске файловой системы (, например. рассмотреть возможность обращения к документации возможных кандидатов ext4 , btrfs)
Хотя кодовая база и объем тестирования драйверов файловой системы кодовой базы действительно важны, как уже показали другие ответы, поскольку это защита данных во время их чтения и записи , на Формат/разметка диска — это защита от рисков для ваших данных в состоянии покоя, которые представляют собой формы аппаратных дефектов, таких как нечитаемые сектора или тихая битовая гниль .
Что касается ext4, которая, как говорят, имеет хорошие характеристики в отношении давно проверенной кодовой базы (https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0.pdf, показывает, что поиск ошибок в ней занял больше времени, чем, например, в более современной и более сложной btrfs), я изучили устойчивость ext4 в состоянии покоя и обнаружили некоторые имхо недостатки в еще хваленой файловой системе.
Я бы счел благоразумным (выбрать ext4в качестве «скалы -твердой резервной копии » )для улучшения восстанавливаемости (, хотя и «укрепив ее» )с помощью инструмента e2imageразработчики ext4предоставляют
The e2image program will save critical ext2, ext3, or ext4 filesystem metadata located on device to a file specified by image-file. The image file may be examined by dumpe2fs and debugfs, by using the -i option to those programs. This can assist an expert in recovering catastrophically corrupted filesystems. In the future, e2fsck will be enhanced to be able to use the image file to help recover a badly damaged filesystem.
и рекомендуют .
It is a very good idea to create image files for all of filesystems on a system and save the partition layout (which can be generated using the fdisk -l command) at regular intervals --- at boot time, and/or every week or so. The image file should be stored on some filesystem other than the filesystem whose data it contains, to ensure that this data is accessible in the case where the filesystem has been badly damaged.
Учитывая, что даже не все метаданные -изext4в разметке диска обеспечены избыточностью (, т.е. суперблок обычно хранится несколько раз как копия, индо-данные хранятся только в одном месте ), ext4, безусловно, уступает btrfs, который предоставил бы по крайней мере контрольные суммы для всех метаданных + данные содержимого файла .
Чтобы нейтрализовать этот «недостаток» ext4и сделать его более rock-solidаспектом разметки диска , было бы разумно дополнить эту избыточность и восстановление содержимого файла через par2/ пергамент
Несмотря на то, что вопрос требует сосредоточения внимания на решениях файловой системы, я хотел бы обратить внимание на то, что большая часть того, что обеспечивает файловая система, (кэширование, журналы, высвобождение выделенного пространства, выделение блоков и т. д. )не обязательно что-то, что данные резервного копирования выиграют от многого, когда они будут записываться и читаться только массово и по частям. Для этого я бы рассмотрел использование parchiveдополнительной tarрезервной копии как более оптимальное решение для резервного копирования, поскольку кодовая база, используемая в процессе, уменьшается, и, следовательно, меньше ошибок, если есть меньше «функций».