Как настроить вычислительный кластер в локальной сети поверх Linux

Это слишком широкая тема, чтобы вдаваться в нее в деталях, но в качестве краткого описания вам понадобится:

• какое-то общее хранилище (например. NFS ), чтобы все машины имели доступ к сценариям И данным.
• планировщик заданий и менеджер ресурсов/рабочей нагрузки, такой как slurm
• возможно, какая-то библиотека для передачи сообщений (например,mpi4py)если ваши процессы Python должны общаться друг с другом (не нужны, если они являются полностью независимыми процессами ).
• Кстати, для простоты во избежание проблем с разрешениями все пользователи, выполняющие задания, должны иметь одинаковые UID и GID во всех системах.

Сделайте одну из машин головным или контроллерным узлом. Этот, вероятно, также должен быть сервером хранения. Вероятно, это должна быть машина в вашей локальной сети, на которой a )используется меньше всего, а b )имеет больше всего дискового пространства (или отсеков для дисков для установки дополнительного хранилища ). Вы должны отправлять свои пакетные задания на эту машину.

Кстати, узел контроллера также может действовать как вычислительный узел.

Две другие машины должны быть «вычислительными узлами» и клиентами для сервера хранения (, например. при использовании NFS они должны монтировать каталог NFS, экспортированный сервером NFS ).

Вы, вероятно, не хотите заходить так далеко, но в выделенном кластере у вас будет одна или несколько машин, являющихся узлами хранения (nfs или ceph или что-то еще ). также будет какой-то централизованный сервер аутентификации(nis или LDAP или что-то в этом роде ), и все пользователи как головного узла, так и вычислительных узлов будут монтировать свои домашние каталоги с файлового сервера.

Тем не менее, стоит изучить, как проектируются и строятся «настоящие» кластеры (или, по крайней мере, получить обзор ), потому что вы можете почерпнуть из них отличные идеи, которые можно масштабировать до 3 -кластер узлов.