В основу данного кейса, лег собственный опыт по апгрейду системы виртуализации Vmware 5.5 до 6.5. Возможно моя заметка, кому-либо пригодится или облегчит путь.
Исходные данные: 14 хостов физических HP Proliant DL 360 Gen8 (Gen9) + Datastore HP 3 PAR, из них 8 удаленных (100 ВМ примерно). На всех физических хостах установлена ESXI 5.5 с разными версиями патчей и микро патчей. т.к официальная поддержка версии 5.5 заканчивается в сентябре 2018 было принято решение мигрировать на версию 9.5 u2. Данная версия является последней, несмотря на то, что вышла 9.7 версия. Тут логика нумерации не до конца понятна вендора, но все же. Все физические хосты подключены 2 физическими линками к ядру сети и агрегированы.
В начале стоял вопрос миграция или поднятие сервера Appliance с нуля. Был собран стенд из клонированных ВМ (PDC+Vcenter). Проведено множество тестов с открытием кейса в тех поддержке Vmware. Но миграция не удалась по причине, того что PDC менялся, менялись сертификаты и проблемы с БД на Vcentre.
Вывод, если было множественные изменения в инфраструктуре ИТ организации, смена Имен серверов и имен Vcenter и.т.д лучше всего и быстрее поднимать с нуля. Если изменений было не много, и они не касались Vcenter, то можно попробовать миграцию внутри собранного стенда, а после этого результаты применить на практике.
Самым сложным в данном кейсе было обеспечить минимальный простой основных сервисов организации. При подготовленной инфраструктуре. Миграцию осуществляли в двоем. Простой был примерно 8 часов.
Подготовка:
- Проверить доступность всех физических хостов и root доступа (логин+ пароль + возможность подключится клиентомвебдоступ)
- Включить доступ по SSH + запуск данного сервиса автоматически после перезагрузки хоста. (это можно сделать в настройках хоста, раздел Security profiles, раздел Services нажимаем кнопку Edit и включаем SSH с автостартом)
- Загрузить iso образ с Appliance сервером на datestore хоста, на сайте Vmware называется Vmware -VCSA — all6.5u2.iso
- На хосте должна быть хотя бы одна работающая ВМ с серверной OS (Win 2008 подойдет)
- В DNS который используете указать А-запись для будущего сервера, для того чтобы к нему можно было обращаться. И выбрать ip адрес, который должен быть доступен проще если это будет из той же подсети, что и физические хосты.
Процесс установки:
Монтируем iso в виртуальный привод ВМ.
Перед установкой необходимо поставить плагин для браузера ВМ, он находится в одной из папок на смонтированном образе.
Запускаем инсталлятор. Инсталлятор предлагает установить Appliance server. Установка его достаточно тривиальная, ответы на вопросы не составят сложности если вы знаете свою инфраструктуру. Вы можете его установить, как на этот хост, так и на другой доступный по сети. Некоторые нюансы установки.
п.2 Здесь указываем FQDN или IP хоста на котором мы будем развертывать сервер, соответственно root и пароль ESXI
п.4 Если у вас небольшое количество хостов, то вариант Embedded
п.5 Создание домена SSO домен сервисов авторизации, имя домена не должно совпадать с именем домена AD
п.6 выбрать размер управляемой сети. В зависимости от этого будет сконфигурирована ВМ. Очень важно чтобы физический хост по ресурсам позволял создать сервер!!! По данной ссылке вы можете заранее все рассчитать docs.vmware.com/en/VMware-Validated-Design/4.0/com.vmware.vvd.sddc-design.doc/GUID-3EC9F64D-D42C-407E-9775-25D9CE61B4B0.html
п.7 Выбрать дисковое хранилище, можно указать что можно использовать Think mode
п.8 Выбираем использовать внутреннюю БД PostgreSQL
п.9 Network -это создаваемое имя локального свича для нового сервера. Ip, dns имя FQDN или ip, маска подсети, шлюз и dns сервера основного домена. Вопрос синхронизации времени — это вопрос применяемой политики времени в вашей сети.
После нажатия далее, проверка данных и установка. По окончанию будет предложено воспользоваться ссылкой и авторизоваться через веба на вашем новом appliance сервере.
Первая часть закончена. Следующим этапом будет подключение физических хостов к новому Appliance server.
Вот тут начинаются подводные камни.
1. На новом сервере необходимо воспроизвести инфраструктуру, которая у вас была на старом, чтобы снизить простои сервисов и недоступность ВМ
2. Не забывайте, что вся остальная инфраструктура у вас еще 5.5 версии.
Конечно все просто, когда можно сказать бизнесу баста …. Инфраструктура останавливается и спокойно производим переключение, но в большинстве случаев вам скажут делай, что хочешь, но, чтобы простой был минимальным.
Создаем новый датацентр, а если у вас был кластер или вы хотите пользоваться функционалом DRS и HA, то кластера. В моем случае было 3 дата центра с 2 кластерами по 3 физических хоста и остальные хосты подключены сами по себе.
Далее создаем распределенные коммутаторы! Для чего они нужны, а для того чтобы машины могли пользоваться едиными сетевыми настройками в части Vlan. У меня их было порядка 35. Тут очень важно, что необходимо создавать коммутаторы версии 5.5 or later т.к физические хосты у вас еще 5.5 и версии ВМ не выше 10!!! В противном случае вы столкнетесь с проблемой, что вы не сможете подключить физический хост к виртуальному распределенному коммутатору. Еще важный момент в настройке коммутатора!!! Если у вас физические хосты имеют агрегацию портов, то в настройках Vlan, которые вы будете создавать, необходимо в настройке Teaming and failover поставить Route base on ip hash иначе ВМ будет недоступна. После этого создаем пулы для виртуальных машин.
Далее непосредственное переключение физических хостов. Заходим в веб-интерфейс или подключаемся клиентом к физическому хосту находим ссылку dissociate the Vmware vsphere нажимаем, и физический хост отключается от старого vCenter.
Заходим в веб интерфейс нового сервера Appliance и добавляем физическую ноду в датацентр.
Далее процедура достаточно тривиальная. Хост можно добавить к кластеру, тогда на хост будет дополнительно установлен HA агент. Второй частью переноса физического хоста является подключение к распределенному свичу. На этом этапе было потеряно очень много времени, чтобы понять, как с минимальным простоем переключить на новый распределенный свич ВМ. Иногда логика разработчиков просто ставила в тупик, потому что явные решения, например, после переноса ВМ поместить в нужный Vlan на новом распределенном свиче, приводили к ошибкам и не корректной работе. Была выведена следующая последовательность переключения.
Подключение:
Далее по пунктам:
п.1 add host
п.2 выбираем хост который мы будем подключать. А он единственный подключенный к данному Appliance
п.3 Оставляем две галочки, чтобы избежать потенциального глюка с ВМ
п.4 Здесь необходимо сделать ассоциацию uplink со свичем
Методично и пошагово, делаем данную операцию.
п.5 переключение vmkernel на распределенный свитч, тут осторожнее иначе мы можем потерять связь с физической нодой. Сам в процессе миграции из-за неаккуратных действий 4 раза терял связь с тестовой физической машиной.!!! В случае если вы потеряли, ничего страшного идем в серверную подключаем к серверу Клавиатуру, мышь и монитор. Сбрасываем сетевые настройки по умолчанию и настраиваем их заново. Но бегать не приятно.
Далее выбираем switch и Vlan, где будет находится vmkernel, тут такой нюанс не перепутайте vlan иначе вас ждет поход в серверную!
Особенно аккуратно надо быть с удаленными физическими хостами! Далее… Далее … Далее
Ждем 2-3 минуты и хост подключен!
Далее необходимо переключить ВМ к новой сети.
Заходим в конфигурацию каждой ВМ и помещаем сетевую карту в свой Vlan. Очень рекомендую перед переключением переписать какая ВМ в каком Vlan находится … конечно если у вас много ВМ и Vlan.
При переключении может возникнуть предупреждение по datestore о неправильном типе VMFS3. Проблема решается апгрейдом до VMFS 5, через веба консоль. Когда все физические хосты перенесены и подключены к распределённому свичу, виртуальные машины переключены начинается следующий этап.
Этап установки обновлений на физические хосты.
При подходе к данному этапу возникают следующие вопросы:
1. До какой версии обновлять
2. Где взять образ для обновления.
3. Процесс обновления
Первый вопрос: Тут на вкус и цвет все фломастеры разные на момент написания статьи последняя актуальная версия была VMware ESXi, 6.5.0, 9298722. Можно и до 6.0 обновить все будет работать.
Второй вопрос: Можно пойти 2-мя путями… Первый собрать свою ESXI сборку с репозиториев вендора.У меня это вендор HP драйвера и пр можно взять тут vibsdepot.hpe.com. Но я не пошел этим путем поэтому есть поле для исследований. Второй путь и самый простой обновить из стандартной сборки из репозитория Vmware. Для этого необходимо: 1. Зайти на физический хост ESXI по SSH. 2. Проверить наличие Интернета на хосте. 3. Получить список доступных пакетов esxcli software sources profile list -d hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml | grep ESXi-6.5. Можно получить так же для 6.0 поменяв в конце цифру. Внятного ответа в чем отличие standard от no-tools от тех поддержки Vmware я не получил….
Сам процесс обновления достаточно прост. Необходимо ВМ смигрировать на другую ноду или выключить (мы мигрировали). Далее 1. Перевод в Maintenance mode хоста или через веб или через командную строку esxcli system maintenanceMode set --enable on 2. Включить правило esxcli network firewall ruleset set -e true -r httpClient 3. esxcli software profile update -d hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml -p ESXi-6.5.0-20180804001-standard Команда на скачивание и обновление хоста. Может возникать ошибка, когда процесс обновления ругается на VIB, не может найти зависимости или обновить. Это связанно с тем что в большинстве случаев на хостах стоят драйвера от вендоров, например, на кулер или ilo. Тут выбор за вами либо удаляем и заново запускаем установку обновления (доставить можно потом), либо ищем сборку. Для удаления пример esxcli software vib remove -n net-mst -f, просмотреть список VIB. esxcli software vib list. Но удалять надо очень осторожно! Можно и сервер привести в неработоспособное состояние и потребуется переустановка.
И завершающими шагами перезагрузка хоста esxcli system shutdown reboot -r «Upgrade to ESXi 6.5 up 3»
Проверка версии vmware -vl после перезагрузки … напомню при старте автоматически ssh
Вывод физического хоста из maintenance Mode команда esxcli system maintenanceMode set --enable off
Аналогично все остальные физические хосты.
После этого необходимо каждой ВМ поднять версию железа до 13. В Выключенном состоянии правой кнопкой мыше на машине. Выбираем Compatibillity ----> Upgrade VM
Обновить Vmware tools на каждой машине ….потребует перезагрузки ВМ …. Рекомендую поставить консоль для подключения к ВМ. Необходимо перевыпустить сертификаты для Appliance, подключить лицензии, настроить пулы для ВМ.
Автор: push
