Передача миллионов файлов от одного сервера до другого

(Я не уверен, отвечает ли это на Ваш вопрос, но так же, как возможно полезный вход.) Я обосновался со следующей установкой:

  1. cdparanoia -B создать набор wav файлы
  2. некоторый кодер (flac, lame...) в a for file in *.wav- цикл
  3. MusicBrainz Picard, чтобы отметить и переименовать закодированные файлы правильно

Это рассчитывает как решение для Вас? Просто назовите программы последовательно, Вы не должны полагаться ни на какой предварительно созданный сценарий или инструмент GUI (за исключением меток, Picard просто замечателен).

ОТРЕДАКТИРУЙТЕ я просто взглянул на abcde.conf, и посмотрите, что там:

# Support for systems with low disk space:
# n: Default parallelization (read entire CD in while encoding)
# y: No parallelization (rip, encode, rip, encode...)
#LOWDISK=n

так... некомментарий LOWDISK=n должен быть, что Вы ищете.

(Я также нашел это abcde кажется, имеет некоторую поддержку MusicBrainz, просто btw.)

15
01.09.2018, 15:33
4 ответа

Как вы говорите, используйте rsync:

rsync -azP /var/www/html/txt/ username@ip-address:/var/www/html/txt

Варианты:

-a : enables archive mode, which preserves symbolic links and works recursively
-z : compress the data transfer to minimise network usage
-P : to display a progress bar and enables you to resume partial transfers

Как говорит @aim в своем ответе, убедитесь, что у вас есть трейлинг / в исходном каталоге (и на том, и на другом тоже хорошо).

Дополнительная информация взята со страницы man page

33
27.01.2020, 19:49

, используйте LFTP, намного быстрее, чем rsync и его лучше всего для зеркальных сайтов (много маленьких файлов). Он также может передавать параллельно, используя несколько соединений:

lftp -u username,password sftp://ip-address -e 'mirror --only-newer --no-dereference --parallel=5 /remote/path/ /destination/;quit'

, если одно соединение разбивается, он будет воссоединиться и продолжить. Если вы сломаете передачу, он пропустит существующие файлы и продолжить.

http://lftp.yar.ru/

0
27.01.2020, 19:49

Нашли решение и, вероятно, причину.

Я подозреваю, что прокси-сторона была включена какая-то глубокая проверка пакетов (DPI) на 443 порту, поэтому только «реальные» https-запросы могут быть приняты прокси-сервером, все остальные запросы получают сброс соединения.

Решение состоит в том, чтобы использовать программу Stunnel , которая может переносить запрос https в контейнер SSL, поэтому сторона прокси неотличима от обычного запроса https (например, просматривая https сайта)

Stunnel должен быть установлен на сервере и стороне клиента и может быть настроен на использование прокси-сервера для выполнения запросов.

В Интернете существует множество учебных пособий по установке и настройке.

-121--150782-

Один из способов состоит в том, чтобы изменить ключи на удаленном сервере таким образом, чтобы они были проверены на наличие записи в файле известных _ хостов , и они не совпадали и давали вам это сообщение.

Восстановите ключи хоста на удаленном сервере с помощью следующего элемента:

ssh-keygen -f /etc/ssh/ssh_host_rsa_key -N '' -t rsa
ssh-keygen -f /etc/ssh/ssh_host_dsa_key -N '' -t dsa
ssh-keygen -f /etc/ssh/ssh_host_ecdsa_key -N '' -t ecdsa -b 521

Затем перезапустите SSH-сервер.

Можно также отредактировать файл knowledge _ hosts на клиенте, чтобы он содержал запись для другого сервера, но с именем хоста удаленного сервера, с помощью которого вы хотите получить сообщение.

-121--121617-

Просто используйте rsync over ssh!

rsync -av username @ ip :/var/www/html/txt/var/www/html/

С главной страницы:

-a , -- архив : Это эквивалентно -rlptsgoD. Это быстрый способ сказать, что вы хотите рекурсию и хотите сохранить почти все (с -H является заметным упущением). Единственное исключение из вышеуказанной эквивалентности - если указан параметр --files-from, в этом случае параметр -r не подразумевается.

-v , -- подробно : Эта опция увеличивает объем информации, предоставляемой во время передачи. По умолчанию rsync работает бесшумно. Один -v даст вам информацию о том, какие файлы передаются, и краткое резюме в конце. Два параметра -v дадут вам информацию о том, какие файлы пропускаются, и немного больше информации в конце. Более двух параметров -v следует использовать только при отладке rsync.

Обратите внимание, как я использовал косые черты в конце папок - это важно .

7
27.01.2020, 19:49

Другим способом является передача (опционально сжатого )tar-файла -через ssh:

tar -czf -./* | ssh other.host.foo "cd /tmp; tar -xzf-"
0
27.01.2020, 19:49

Теги

Похожие вопросы