как проверить, правильно ли реплицируются два сервера в кластере ceph

На всякий случай. :Обычно конфигурация с двумя узлами предназначена для тестовой, а не производственной среды. Кластер из двух узлов более подвержен таким сбоям, которые могут заставить вас выбирать, что вы собираетесь потерять :избыточность или время безотказной работы. Они также могут привести к дальнейшей потере данных в зависимости от конфигурации пула.

Предполагая, что кластер состоит из двух -узлов, вам необходимо создать пулы для хранения данных в нем. В ceph предварительно настроены некоторые значения по умолчанию, одно из них — размер вашего пула по умолчанию, который отражает размер репликации ваших данных. Размер пула 3 (по умолчанию )означает, что у вас есть три копии каждого объекта, который вы загружаете в кластер (1 оригинал и 2 реплики ).Вы можете узнать размер своего пула с помощью:

host1:~ # ceph osd pool get <POOL> size
size: 3
host1:~ # ceph osd pool get <POOL> min_size
min_size: 2

Параметр min _size определяет минимальное количество копий в пуле, которое еще можно использовать. Например, если у вас есть минимальный размер _и размер 3, ваш кластер остановит ввод-вывод в этот пул, если один объект находится в состоянии ошибки. Если у вас есть конфигурация, подобная указанной выше (мин. _размер 2, размер 3 ), ваши данные будут обработаны, даже если одна копия неисправна. В вашем случае вам потребуется размер пула 2 и минимальный _размер 1, за исключением случаев, когда вы решите разрешить запись в пул только в том случае, если он исправен, в этом случае рекомендуются 2 и 2.

Теперь, чтобы проверить, живы ли обе ваши копии (, кроме кластера в состоянии HEALTH _OK, )вы можете проверить следующее:

# Get PGs per pool
host1:~ # ceph pg ls-by-pool <POOL>
PG_STAT OBJECTS MISSING_ON_PRIMARY DEGRADED MISPLACED UNFOUND BYTES     LOG DISK_LOG STATE        STATE_STAMP                VERSION REPORTED  UP      UP_PRIMARY ACTING  ACTING_PRIMARY LAST_SCRUB SCRUB_STAMP                LAST_DEEP_SCRUB DEEP_SCRUB_STAMP           
3.0          24                  0        0         0       0 100663296  84       84 active+clean 2018-09-24 10:00:31.274193   86'84   182:119 [5,7,0]          5 [5,7,0]              5      86'84 2018-09-23 10:39:06.518211             0'0 2018-09-18 14:41:06.260403 
[...]

# Get mapping of a PG
host1:~ # ceph pg map 3.0
osdmap e182 pg 3.0 (3.0) -> up [5,7,0] acting [5,7,0]

Как видите, этот конкретный PG имеет три копии (size = 3 )на OSD 5, 7 и 0, а OSD.5 является основным OSD, который передает данные клиенту.

Вы построили свой кластер на файловом или bluestore? Если у вас есть кластер файлового хранилища, вы можете определить расположение файла ваших объектов в файловой системе на вашем сервере, см. этот раздел «Получение объекта в кластере» для примера, как получить эту информацию, я не под рукой сейчас нет кластера хранилища файлов. Однако в кластере bluestore это не сработает. Просматривать файлы больше невозможно.