Самый Эффективный способ поддержать/синхронизировать большие каталоги по SSH
Проверьте Grml, для заключения в кавычки из их страницы:
Grml является загрузочной живой системой на основе Debian. Grml включает набор программного обеспечения GNU/Linux специально для системных администраторов. Пользователи ничего не должны устанавливать на фиксированном устройстве хранения данных. Grml особенно хорошо подходит для задач администрирования как установка, развертывание и системное спасение.
Grml обеспечивает инструменты и изображения для установки на USB-устройстве. Это также содержит X сред и идет с тщательно продуманными конфигурациями по умолчанию для большого количества текстовых инструментов (zsh, экран и т.д.).
Существует несколько зарегистрированных путей к настройке образов USB Grml по умолчанию, в зависимости от варианта использования (обновление, добавляя пакеты, запуская дополнительные сервисы, настраивая sshd ключи и т.д.).
Как преимущество для Дуги Linux, Grml использует двоичные пакеты, т.е. Вы не должны компилировать исходные пакеты все время. Так как это - базирующееся распределение Debian, это использует dpkg система, включая apt-get диспетчер пакетов, который является мощным и крайним быстро.
Я хотел бы добавить, что Вы будете лучший пользователь --numeric-ids отметьте для сохранения uids/gids файлов, таким образом, они не были бы повторно отображены на локальных пользователях.
Если Вы собираетесь сохранить исторические резервные копии (скажите, YYYY-MM-DD ежедневные каталоги), опция --link-dest=DIR был бы очень полезен.
В случае, если Ваши данные могут быть эффективно сжаты (исходный код, файлы простого текста, журналы) это -z может быть довольно удобным.
Иначе, -aH удовлетворил бы большинство Ваших потребностей.
Попытайтесь делать это (от сервера резервного копирования):
rsync \
-a \
--bwlimit=100 \
remote-server:"/path1 /path2 /path3" /local/backup_$(date +%Y%m%d_%H:%M)
--bwlimit=100 обозначает al большая часть 100KB/sec
Можно использовать жесткие ссылки с cp -al между днями тот путь можно сохранить большое дисковое пространство и rsync только измененные файлы!
Это то, как rsnapshot работы проекта.
-
1
-
2Помните это
-aсохраняет только подмножество метаданных, связанных с файлами. Для системного резервного копирования это обычно недостаточно. – Stéphane Chazelas 22.11.2013, 17:48
rsync в порядке, но помните, что необходимо работать rsyncd на одной из машин для использования в своих интересах алгоритма обнаружения изменения rsync.
Что касается hardlinking упоминаний спутника, Вы могли бы также интересоваться fdupes.
Rsync является действительно правильным инструментом низкого уровня для обработки этого. Вместо того, чтобы волноваться о rsync опциях, используйте выделенные резервные инструменты, существуют много. Rsnapshot является популярным выбором, посмотрите, встречают ли Ваши требования (о котором Вы не являетесь очень явными) его возможности. Двуличность является другим резервным инструментом на основе rsync библиотеки.