Подключаем LUN через iSCSI к Proxmox 6.4-13

Задача: Разобрать как подключить LUN через iSCSI к Debian 10 + Proxmox 6.4-13

В наличии есть тестовый сервер под управлением связки Debian 10 + Proxmox 6.4-13 и есть сетевое хранилище QNAP TS-431XeU на котором создан Том и созданы LUN (кусочки). И вот один и LUN я хочу подружить с Proxmox, а значит время пошаговой заметки для реализации задуманного чтобы я в последствии через некоторое количество времени мог вспомнить: «Что же я делал, как подключил».

Схема следующая:

Сетевое хранилище QNAP TS-431XeU через Ethernet (1Gbs) подключено к Mikrotik CRS326-24G-2S+ и через Ethernet (1Gbs) подключено к тестовому серверу на базе ((Supermicro SYS-5019S-M: Debian 10 + Proxmox 6.4-13, LVM-Thin разделы, 64Gb оперативной памяти (2 модуля 378A4G43MB1-CTD)), т.е. пока вся сеть имеет скорость 1Gbs, пока для дома как-то так, планы увеличения пропускной способности прорабатываются.

Шаг №1: Создаю iSCSI Target на котором не задействую аутентификацию и создаю с привязкой к нему LUN опираюсь на заметку: "Создаем LUN на Qnap TS-431XeU"

Аутентификацию не использую, т.е. просто iSCSI Target IQN: iqn.2004-04.com.qnap:ts-431xeu:iscsi.backup.27fb9c

Шаг №2: Со своего рабочего места запускаю браузер и подключаюсь через Web—интерфейс к Web—панели администрирования Proxmox, в моем случае URL адрес: https://172.33.33.25:8006 - user&pass

Шаг №3: Настраиваем подключение через iSCSI:

Переходим в (Server View) Datacenter - Storage - Add

На заметку: Описание параметров взаимодействия через iSCSI

• ID  - Имя подключения. Именно это имя будет отображаться для настроенного подключения в веб интерфейсе администрирования Proxmox
• Portal - Адрес сервера (таргета) iSCSI
• Target - Имя таргета. Генерируется автоматически, если сервер Proxmox смог успешно подключиться к порталу iSCSI. Если на сервере iSCSI доступно несколько таргетов для Proxmox, то вы увидите список из нескольких позиций
• Nodes - для каких узлов Proxmox выполнить подключение диска. Узел в моем случае только один
• Enable - указывает включено ли подключение или нет
• Use LUNs directly - если эта опция установлена, то диски виртуальных машин будут размещаться непосредственно на iSCSI. Однако, вы не сможете настроить, например, LVM в такой конфигурации.

Вкладка General

• ID: backup01
• Portal: 172.35.35.5
• Target: нажимаю и появляется созданный IQN выше, выбираю
• Nodes: All (No restrictions)
• Enable: отмечаю галочкой
• Use LUNs: отмечаю галочкой

и нажимаю Add, после чего вижу в Storage Disk

• ID: backup01
• Type: iSCSI
• Content: Disk Image
• Path/Target: iqn.2004-04.com.qnap:ts-431xeu:iscsi.backup.27fb9c
• Shared: Yes
• Enabled: Yes

Шаг №4: Теперь на этом диске, подключенном по сети нужно создать как его использовать, к примеру, выбираю LVM:

https://172.33.33.25:8006 - user&pass - (Server View) - Datacenter - Storage - Add - LVM

вкладка General

• ID: backup02
• Base storage: выбираю backup01 (iSCI)
• Base volume: выбираю что есть, т.е. CH 00 ID 0 LUN 0
• Volume group: к примеру указываю также как и ID, т.е. backup02
• Content: выбираю Disk image, Container
• Nodes: оставляю по дефолту All (No restrictions)
• Enable: отмечаю галочкой
• Shared: галочку не ставлю

и нажимаю Add

после чего указанный диск становится доступным для создания и размещения на нем виртуальных машин, а также перемещения уже имеющихся виртуальных машин на него:

https://172.33.33.25:8006 - user&pass - (Server View) - srv-proxmox - Disks - LVM

Шаг №5: Для проверки, что на этом сетевом диске может работать виртуальная машина, перемещаю ее на этот диск:

https://172.33.33.25:8006 - user&pass - (Server View) - srv-proxmox — выбираю к примеру VM ID: 407 (srv-w7x64) — перехожу в Hardware - Hard Disk (virtio0), сейчас у меня значит: disk3:vm-407-disk-0,size=70G

нажимаю левой кнопкой мыши на Hard Disk (virtio0) тем самым выделив его, затем нажимаю Move Disk и указываю куда его перенести:

• Disk: virtio0
• Target Storage: выбираю backup02
• Delete source: отмечаю галочкой

и нажимаю Move disk

На заметку: у виртуальной машины не должно быть снапшотов, если они есть Вы получите сообщение об ошибке "you can't move a disk with snapshots and delete the source (500)"

см. есть ли действительно снапшоты у данной виртуальной машины:

https://172.33.33.25:8006 - user&pass - (Server View) - srv-proxmox — выбираю к примеру VM ID: 407 (srv-w7x64) — перехожу в Snapshots и вижу, снапшот с именем OSNEW3.

т.к. он один, то откатываюсь на него (выделяю снапшот и нажимаю Rollback, Yes), после завершения отката на него удаляю его (Remove, Yes).

Возвращаюсь к этапу перемещения диска на backup02 тем самым уже начинается процесс миграции виртуальной машины на LUN по сети:

На заметку: лучше соединять сетевое хранилище и сервера через sfp+ (10Gb) модули, а не через Ethernet (1Gb) дабы не пришлось ждать сильно долго, т.е. нужно строить сеть: Коммутатор на 10Gb, сервера с SFP+ карточками, хранилище через SFP+ модуль.

create full clone of drive virtio0 (disk3:vm-407-disk-0)

Logical volume "vm-407-disk-0" created.

transferred 0.0 B of 70.0 GiB (0.00%)

transferred 716.8 MiB of 70.0 GiB (1.00%)

transferred 1.4 GiB of 70.0 GiB (2.00%)

transferred 2.1 GiB of 70.0 GiB (3.01%)

transferred 2.8 GiB of 70.0 GiB (4.01%)

transferred 3.5 GiB of 70.0 GiB (5.01%)

спустя некоторое количество времени,

transferred 70. GiB of 70.0 GiB (100.00%)

Logical volume "vm-407-disk-0" successfully removed

Task OK

через вкладку Status можно увидеть сколько по времени занял процесс переноса (у меня, аж 42m 59.8s) диска виртуальной машины с диска внутри сервера на диск сетевого хранилища:

Это если честно дофига, если хранилище дома, то вполне допустимо. Но я бы настроил bonding для двух интерфейсов сетевого хранилища и bonding для сервера, см как это сделать в заметке: "Настройка Bonding для хранилища Qnap TS-431XeU"

На заметку: А вот процесс переноса с iscsi на disk (SSD) по сети диска виртуальной машины у меня в сети занял: 1h 24m 43.8s. хм смешно.

Шаг №6: Чтобы отключить от сервера подмонтированный LUN от NAS хранилища:

https://172.33.33.25:8006 - user&pass - (Server View) - Datacenter - Storage — выбираю (ID: backup02, Type=LVM, Content=Disk image, Container) и нажимаю Remove, Yes

а потом:

https://172.33.33.25:8006 - user&pass - (Server View) - Datacenter - Storage — выбираю (ID: backup01, Type=iSCSI, Content=Disk image) и нажимаю Remove, Yes

Проверяю через консоль командной строки, что не осталось подключений:

root@ekzorchik:~# ssh -l root 172.33.33.102
root@srv-proxmox:~#
root@srv-proxmox:~# iscsiadm -m session
tcp: [1] 172.35.35.5:3260,1 iqn.2004-04.com.qnap:ts-431xeu:iscsi.backup.27fb9c (non-flash)
root@srv-proxmox:~# iscsiadm -m node -T iqn.2004-04.com.qnap:ts-431xeu:iscsi.backup.27fb9c -p 172.35.35.5:3260 -u
Logging out of session [sid: 1, target: iqn.2004-04.com.qnap:ts-431xeu:iscsi.backup.27fb9c, portal: 172.35.35.5,3260]
Logout of [sid: 1, target: iqn.2004-04.com.qnap:ts-431xeu:iscsi.backup.27fb9c, portal: 172.35.35.5,3260] successful.
root@srv-proxmox:~# iscsiadm -m session
iscsiadm: No active sessions.
root@srv-proxmox:~#

смотрю на Web-интерфейсе NAS хранилища:

https://172.35.35.5 - user&pass - Storage & Snapshots - iSCSI & Fibre Channel и вижу, что у данного iSCSI Target нет подключения к серверу (т.е. к Proxmox), значит отключение выше проделано корректно:

Выше все работает, на этом пока заметка завершена.

Что хотел проработал, теперь нужно проработать план увеличения сетевой пропускной способности моей домашней сети и тогда данная заметка имеет место быть в боевом исполнении.

На этом пока все, с уважением автор блога Олло Александр aka ekzorchik.