При подборе оборудования для организации VMware Virtual SAN следует руководствоваться списком совместимости (HCL). Данный список содержит перечень оборудования, протестированного и поддерживаемого для работы в VSAN. На текущий момент список не слишком обширен, так, например, отсутствуют как класс жесткие диски с интерфейсом SATA (в пользу более дорогих NL-SAS), но, все-таки, есть из чего выбрать.
При выборе модели сервера, типа и количества накопителей, следует помнить, что в одном сервере может быть от 1 до 5-и дисковых групп, каждая из которых может содержать от 1 до 7-и жестких дисков и обязательно 1 SSD накопитель (с интерфейсом SATA, SAS или PCI-E). Согласно рекомендациям VMware, суммарная емкость SSD накопителей должна составлять 10% от полезной дисковой емкости (без учета места, отводимого под копии ВМ). Например, если в кластере VSAN будут размещены ВМ суммарной емкостью 10 ТБ, то необходимый объем SSD накопителей составит 1 ТБ, независимо от того, сколько реплик будут иметь эти ВМ (только одну, две, три или четыре).
В серверы жесткие диски и SSD накопители могут подключаться как через SAS HBA адаптеры, так и через RAID-контроллеры.
Для RAID контроллеров в зависимости от модели может быть доступен один из двух режимов презентации дисков: Pass-Through и RAID 0. Первый режим, который также часто называют JBOD, эквивалентен подключению диска напрямую или через HBA контроллер - гипервизор должен увидеть его без проблем.
В RAID 0 режиме для каждого диска и SSD накопителя требуется создать отдельный логический том средствами RAID контроллера. Недостатком данного режима является то, что контроллер не передает гипервизору информацию SSD дисках, без чего невозможно сделать кластер VSAN.
Исправляется эта проблема также, как и в случае с SSD накопителями для Virtual Flash Read Cache - вручную задать настройки для каждого тома:
esxcli storage nmp satp rule add --satp <SATP_TYPE> --device <DEVICE_ID> --option "enable_ssd enable_local"
Например вот так:
esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba2:C0:T0:L0 --option="enable_ssd"
esxcli storage core claimrule load
esxcli storage core claiming reclaim -d mpx.vmhba2:C0:T0:L0
esxcli storage core claimrule run
После этого SSD накопитель станет доступен для выбора.
Посмотреть DEVICE_ID и SATP плагин можно с помощью команды:
esxli storage nmp device list
Подробнее в KB2013188.
Еще одним неочевидным моментом (для тех, кто не читает официальную документацию) является требование по количеству хостов для кластера VSAN. Минимальное количество хостов - 3, позволит обеспечить Fault to Tolerate=1, т.е. хранить две копии одной ВМ на разных хостах и обеспечить ее доступность в случае отказа одного из них. Однако, для Fault to Tolerate=2, способного пережить отказ двух серверов с копиями ВМ, потребуется уже пятиузловой кластер, для FTT=3 - семиузловой. Общая формула: (N*2+1), где N - кол-во хостов, которые могут отказать.
При выборе модели сервера, типа и количества накопителей, следует помнить, что в одном сервере может быть от 1 до 5-и дисковых групп, каждая из которых может содержать от 1 до 7-и жестких дисков и обязательно 1 SSD накопитель (с интерфейсом SATA, SAS или PCI-E). Согласно рекомендациям VMware, суммарная емкость SSD накопителей должна составлять 10% от полезной дисковой емкости (без учета места, отводимого под копии ВМ). Например, если в кластере VSAN будут размещены ВМ суммарной емкостью 10 ТБ, то необходимый объем SSD накопителей составит 1 ТБ, независимо от того, сколько реплик будут иметь эти ВМ (только одну, две, три или четыре).
В серверы жесткие диски и SSD накопители могут подключаться как через SAS HBA адаптеры, так и через RAID-контроллеры.
Для RAID контроллеров в зависимости от модели может быть доступен один из двух режимов презентации дисков: Pass-Through и RAID 0. Первый режим, который также часто называют JBOD, эквивалентен подключению диска напрямую или через HBA контроллер - гипервизор должен увидеть его без проблем.
В RAID 0 режиме для каждого диска и SSD накопителя требуется создать отдельный логический том средствами RAID контроллера. Недостатком данного режима является то, что контроллер не передает гипервизору информацию SSD дисках, без чего невозможно сделать кластер VSAN.
Исправляется эта проблема также, как и в случае с SSD накопителями для Virtual Flash Read Cache - вручную задать настройки для каждого тома:
esxcli storage nmp satp rule add --satp <SATP_TYPE> --device <DEVICE_ID> --option "enable_ssd enable_local"
Например вот так:
esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba2:C0:T0:L0 --option="enable_ssd"
esxcli storage core claimrule load
esxcli storage core claiming reclaim -d mpx.vmhba2:C0:T0:L0
esxcli storage core claimrule run
После этого SSD накопитель станет доступен для выбора.
Посмотреть DEVICE_ID и SATP плагин можно с помощью команды:
esxli storage nmp device list
Подробнее в KB2013188.
Еще одним неочевидным моментом (для тех, кто не читает официальную документацию) является требование по количеству хостов для кластера VSAN. Минимальное количество хостов - 3, позволит обеспечить Fault to Tolerate=1, т.е. хранить две копии одной ВМ на разных хостах и обеспечить ее доступность в случае отказа одного из них. Однако, для Fault to Tolerate=2, способного пережить отказ двух серверов с копиями ВМ, потребуется уже пятиузловой кластер, для FTT=3 - семиузловой. Общая формула: (N*2+1), где N - кол-во хостов, которые могут отказать.