add notes on site

2025-05-10 13:20:57 +03:00
parent 06187b3761
commit 40edadb98e
55 changed files with 3210 additions and 0 deletions
@@ -0,0 +1,420 @@
+Оглавление
+
+[Инструкция по введению в эксплуатацию серверов. 1](#_Toc182279328)
+
+[Часть 1. Приемка сервера и коммутация сервера. 1](#_Toc182279329)
+
+[Этап 1: Приемка сервера. 1](#_Toc182279330)
+
+[Этап 2. Коммутация и включение сервера. 1](#_Toc182279331)
+
+[Часть 2. BIOS, порт удаленного управления, мониторинг 2](#_Toc182279332)
+
+[Этап 1. BIOS. 2](#_Toc182279333)
+
+[Этап 2. Порт удаленного управления. 3](#_Toc182279334)
+
+[Этап 3. Мониторинг 4](#_Toc182279335)
+
+[Установка ОС и подготовка к тестам.. 4](#_Toc182279336)
+
+[Нагрузочное тестирование компонентов. 4](#_Toc182279337)
+
+[Тестирование отказоустойчивости компонентов. 5](#_Toc182279338)
+
+[Отключение и извлечение блока питания: имитация отказа блока питания. 5](#_Toc182279339)
+
+[Извлечение накопителей: имитация отказа накопителей. 6](#_Toc182279340)
+
+[Тестирование сетевых интерфейсов и пропускной способности. 8](#_Toc182279341)
+
+# Инструкция по введению в эксплуатацию серверов
+
+Для введения серверов в эксплуатацию и использования их в продакшене требуется выполнить обязательный порядок действий. Эти шаги являются обязательными и требуют внимания.
+
+Для каждого сервера требуется заполнить чек-лист по пунктам инструкции.  Сервер помечается как испорченный, если хотя бы один из критичных критериев не проходит проверку
+
+## Часть 1. Приемка сервера и коммутация сервера
+
+Приемка сервера является критичным критерием.  
+При поступлении сервера требуется провести:
+
+### Этап 1: Приемка сервера
+
+1.      Проведение внешнего осмотра:
+
+1.1.   Осмотрите корпус сервера на наличие видимых повреждений (вмятин, царапин, сколов).
+
+1.2.   Проверьте кабели, блоки питания, кнопки и разъемы на наличие повреждений и целостность креплений.
+
+1.3.   Убедитесь, что на корпусе и внутренних компонентах нет признаков ударов, трещин или коррозии.
+
+2.      Проверка внутренних компонентов:
+
+2.1.   Откройте корпус и осмотрите плату, процессоры, модули памяти, накопители и кабели.
+
+2.2.   Проверьте крепление всех модулей, особенно оперативной памяти и процессора: они должны быть надежно зафиксированы.
+
+2.3.   Проверьте вентиляторы – они должны быть установлены плотно и вращаться без заеданий.
+
+2.4.   Если сервер прибыл в разобранном виде компоненты проверяются ДО и ПОСЛЕ установки в сервер.
+
+3.      Устранение неполадок (если обнаружены):
+
+3.1.   В случае обнаружения повреждений, зафиксируйте их и сделайте фотографии.
+
+3.2.   Оповестите руководство или службу поддержки, если повреждения серьезные или присутствуют недостающие компоненты.
+
+4.      Сборка сервера.
+
+4.1.   Сборка сервера осуществляется, если сервер поступил в разобранном виде.
+
+4.2.   Компоненты сервера являются модульными и подключаются согласно документации.
+
+4.3.   Сборка осуществляется аккуратно, без применения силы.
+
+Этап 2. Коммутация и включение сервера.  
+ЗАПРЕЩАЕТСЯ УСТАНАВЛИВАТЬ СЕРВЕР В СТОЙКУ С ПРОДАКШН СЕРВЕРАМИ.
+
+После осмотра и сборки сервера необходимо установить его в стойку и скоммутировать для тестирования.
+
+1.      Установка сервера в стойку:
+
+1.1.   Установите сервер в стойку, используя рекомендованные производителем монтажные крепления или шасси, чтобы обеспечить надежность крепления.
+
+2.      Подключение сетевых и периферийных устройств:
+
+2.1.   Подключите кабели Ethernet к сетевым портам сервера. Обычно подключают два порта: основной и резервный.
+
+2.2.   Подключите кабель к порту удаленного управления (ILO/DRAC/IPMI) для удаленного контроля и диагностики.
+
+2.3.   Подключите PSU используя кабели питания, подключив их к PDU (подключение производится симметрично, подключение PSU производится в разные PDU – один основной луч, другой резервный).
+
+2.4.   Подсоедините монитор, клавиатуру и мышь к серверу для доступа к начальной настройке.
+
+3.      Включение сервера
+
+3.1.   Произвести включение сервера нажатием на кнопку на передней панели
+
+3.2.   Проверьте, что все индикаторы на компонентах (диски, питание, сеть) работают нормально.
+
+3.3.   Ожидайте завершения POST (Power-On Self Test). Если система не проходит POST, зафиксируйте код ошибки и устраните причину.
+
+3.4.   Выключаем сервер
+
+Часть 2. BIOS, порт удаленного управления, мониторинг
+
+### Этап 1. BIOS
+
+1.      Вход в BIOS:
+
+1.1.   Нажмите необходимую клавишу (обычно F2, F10, Delete) при загрузке сервера, чтобы войти в BIOS.
+
+2.      Проверка конфигурации:
+
+2.1.   Убедитесь, что BIOS корректно распознает процессоры, модули памяти и диски.
+
+2.2.   Проверьте наличие и корректность кода версии BIOS и BMC.
+
+3.      Обновление прошивок:
+
+3.1.   Если необходимо, обновите BIOS и прошивки BMC. Используйте только версии, рекомендованные производителем.
+
+3.2.   Проверьте наличие обновлений для RAID-контроллера и PCIe-карт. Убедитесь, что обновление завершилось без ошибок.
+
+4.      Настройка базовых параметров:
+
+4.1.   Настройте системное время и дату для синхронизации с сервером мониторинга. Если для времени используется NTP сервер, то по возможности использовать его.
+
+4.2.   Включите опции виртуализации и Hyper-Threading (если необходимо для задач сервера).
+
+4.3.   Включаем параметр для сервера включаться всегда, когда есть питание.
+
+4.4.   Настройте последовательность загрузки, указав на USB в приоритете для загрузки установщика тестовой ОС.
+
+4.5.   Настройте сетевые параметры (ip, маска, шлюз) для порта удаленного управления (ILO/DRAC/IPMI) и, по возможности, учетную запись администратора (логин и пароль)
+
+5.      Настройка загрузки в режиме UEFI:
+
+5.1.   Включите режим загрузки UEFI, если система поддерживает его и планируется установка UEFI-совместимой ОС.
+
+5.2.   Если совместимость с Legacy обязательна для некоторых компонентов, включите режим Dual Boot или Legacy.
+
+### Этап 2. Порт удаленного управления.
+
+1.      Подключение к порту управления (ILO, DRAC, IPMI):
+
+1.1.   Проверьте сетевую связность с портом управления.
+
+1.2.   Проверьте что по указанному адресу порта управления есть доступ через браузер и ssh.
+
+1.3.   Войдите в систему удаленного управления (ILO, DRAC, IPMI) через браузер и ssh с настроенными ранее логином и паролем. В иных случаях используйте логин и пароль указанные производителем.
+
+2.      Проверка аппаратной конфигурации и состояния компонентов:
+
+2.1.   Убедитесь, что на экране управления отображаются корректные сведения о сервере: серийный номер, модель, версия микрокода BIOS и BMC.
+
+2.2.   Проверьте статус установленных компонентов (процессор, ОЗУ, накопители, модули PCIe).
+
+2.3.   Проверьте показания датчиков температуры, напряжения, частоты вращения вентиляторов. Если есть возможность настройте пороговые значения для данных датчиков.
+
+2.4.   Просмотрите журналы событий BMC, чтобы убедиться в отсутствии ошибок, связанных с оборудованием.
+
+3.      Проверка функциональных возможностей системы удаленного управления (ILO, DRAC, IPMI):
+
+3.1.   Протестируйте функцию управления включением, выключением, перезагрузкой сервера
+
+3.2.   Создание новых пользователей и групп с определенными правами доступа (администратор, оператор, только чтение).
+
+3.3.   Использование HTML KVM-консоли или Java-консоли для установки и управления ОС.
+
+3.4.   Обновление версии микрокода BMC без влияния на работу ОС.
+
+3.5.   Генерация нового или добавление существующего SSL-сертификата.
+
+3.6.   Экспорт и импорт конфигурации интерфейса управления.
+
+3.7.   Сбросом порта управления до заводских настроек;
+
+3.8.   Отправка сообщений о событиях с использованием SMTP, syslog и SNMP Trap.
+
+Дополнительные функциональные возможности можно узнать из документации к серверу от производителя.
+
+### Этап 3. Мониторинг
+
+Перед проведением тестов компонентов нам требуется настроить мониторинг сервера. От мониторинга мы получим статистку и проверим работоспособность мониторинга со стороны сервера.
+
+1.      Импорт и настройка MIB-файлов:
+
+1.1.   Загрузите и импортируйте MIB-файлы производителя в систему мониторинга (например, Zabbix, Nagios).
+
+2.      Создание шаблонов мониторинга:
+
+2.1.   Настройте шаблоны для мониторинга температур, энергопотребления, состояния компонентов (процессор, ОЗУ, диски).
+
+3.      Настройка оповещений:
+
+3.1.   Задайте пороговые значения для предупреждений и оповещений.
+
+3.2.   Убедитесь, что уведомления отправляются при перегрузке процессора, перегреве или отказе дисков.
+
+## Часть 3. Нагрузочное тестирование.
+
+### Этап 1. Установка ОС и подготовка к тестам
+
+Закончив с предварительными настройками, мы можем переходить к установке ОС и запуске нагрузочного тестирования сервера.
+
+1.      Подключите носитель с установочным образом к серверу
+
+2.      Создайте RAID массив (если сервер содержит RAID контроллер)
+
+2.1.  Уровень RAID выбирается в зависимости от количества дисков и задач сервера
+
+2.2.  В основном используются уровни RAID 1 или 10, но также допускается уровень RAID5
+
+3.      Установка ОС
+
+3.1.             Для установки ОС используется дистрибутив Linux, который поддерживает утилиты из списка далее.
+
+3.2.             В основном используются дистрибутивы Ubuntu и Debian
+
+3.3.             Произведите установку ОС. При установке используйте LVM и выделите под корневой раздел все доступное пространство. Создайте файловую систему.
+
+3.4.             Настройте тестовую сеть
+
+4.      После установки
+
+4.1.             Обновите список пакетов и скачайте, и установите обновления системы.
+
+4.2.             Установите необходимые для тестирования утилиты:
+
+·                  **badblocks** – для проверки дисков на наличие поврежденных секторов.
+
+·                  **stress-ng** – для создания нагрузки на процессор и оперативную память.
+
+·                  **fio** – для тестирования производительности дисковой подсистемы.
+
+·                  **dd** – для измерения скорости записи данных на диск.
+
+·                  **htop** – для мониторинга загрузки процессора, памяти и других системных ресурсов в реальном времени.
+
+·                  **smartmontools** (включает smartctl) – для проверки состояния жестких дисков и SSD, поддержки S.M.A.R.T.
+
+·                  **iperf****3** – Для тестирования пропускной способности сети
+
+## Нагрузочное тестирование компонентов
+
+После всех подготовок можно приступать к тестированию.
+
+1)      Процессор, память и температура.
+
+Для проверки работы процессора, оперативной памяти и охлаждения запускаем стресс тест через утилиту stress-ng. Данный тест загружает каждый поток процессора на максимум и 98% оперативной памяти. Процент памяти надо указывать такой, чтобы осталось памяти для работы операционной системы. Иначе операционная система отключит выполнение тестов. Во время теста следим за ОС и сервером через утилиту htop. Смотрим что бы система не зависала и утилизировала указанные ресурсы. Сервер все 2 часа должен проработать без перезагрузок. Так же наблюдаем за сервером через менджмент порт. Смотрим температуру системы и отчеты в журналах (нагрев, перезагрузки и тд). Записываем показатель bogo ops/s (real time) и температуры.
+
+**stress-ng --cpu 0 --cache 0 -m 0 --vm-bytes (объем RAM в сервере в %) --io 0 --hdd 0 -t (время теста) s --metrics-brief --tz**
+
+2)      Дисковая подсистема.
+
+Перед запуском тестов проверим здоровье дисков. Для этого используем утилиту smartmontools
+
+Так как диски находятся в RAID, то наша система видит его как логический диск. Для того что бы определить физические диски просканируем систему.
+
+**smartctl --scan**
+
+Данная команда отразит рейд контроллер и номер канала. Эти данные мы используем в проверке
+
+**smartctl -****H -****d** **megaraid,5 (рейд контроллер и номер канала из сканирования) /****dev/****sda**
+
+Вывод будет формата ок или не ок.
+
+Для тестов дисковой подсистемы мы используем утилиты badblock, fio, dd  
+badblock проверяет блоки жесткого диска.  
+**badblocks -v****s /dev/sda (указываем диск или раздел который хотим протестировать)**
+
+После проверки блоков если все блоки целые проверяем скорость чтения/записи. Пишем временный файл, состоящий из блоков размером в 1m количеством 40960 скидывая кэш. Скорость записи должна быть большой так как файл сначала пишется в кэш потом на диск
+
+**dd status=progress if=/dev/zero of=/tmp/tempfile bs=1M count=40960 oflag=sync**
+
+**sync; dd if=/dev/zero of=/tmp/tempfile bs=1M count=1024; sync**
+
+Прогоняем данный тест 10 раз. Скорость не должна опускаться меньше 90 MB/s.
+
+## Тестирование отказоустойчивости компонентов
+
+После нагрузочного тестирования требуется протестировать отработку отказа компонентов с горячей заменой. А именно блоки питания и диски в RAID. Для данного тестирования мы поочередно отключаем компоненты, а потом возвращаем обратно. Во время тестов смотрим на работоспособность системы и отчеты в журнале менеджмент порта.
+
+## Отключение и извлечение блока питания: имитация отказа блока питания
+
+Этапы:
+
+1.      Перед проведением тестирования для получения эталонных результатов запускаем утилиту Stress-ng на 2 часа с параметрами, которые были описаны в разделе «Нагрузочное тестирование процессора». Фиксируем результаты для последующего сравнения.
+
+2.      Для создания нагрузки на сервер при выполнении тестирования повторно запускаем утилиту Stress-ng на 2 часа с параметрами, описанными в разделе «Утилита Stress-ng».
+
+3.      От блока питания PSU1 отключаем кабель питания и наблюдаем за BMC сервера с использованием IPMI на предмет появления уведомлений об ошибках и создания записей в системном журнале.
+
+4.      Блок питания PSU1 извлекаем из сервера и наблюдаем за BMC сервера, как описано в пункте 3.
+
+5.      По истечении 2 часов работы сервера под нагрузкой на одном блоке питания PSU2 фиксируем полученные результаты работы утилиты Stress-ng, чтобы сравнить с результатами, полученными при выполнении пункта 1.
+
+6.      Устанавливаем обратно блок питания PSU1. Наблюдаем за BMC сервера, как описано в пункте 3.
+
+7.      К блоку питания PSU1 подключаем кабель питания и наблюдаем за BMC сервера, как описано в пункте 3.
+
+8.      Повторно выполняем пункты со 2 по 7 включительно для блока питания PSU2.
+
+Критерии успешного прохождения теста
+
+·        Во время работы под нагрузкой сервер доступен по ssh.
+
+·        При отключении от блока питания в BMC появилось уведомление, в системном журнале создалась запись о событии, датчики зафиксировали отсутствие напряжения на блоке питания.
+
+·        При извлечении блока питания из сервера в BMC создалось уведомление, определяется только один блок питания.
+
+·        При возврате блока питания в сервер и подключении кабеля питания в BMC определяются все блоки питания, все датчики с нормальными значениями, в системном журнале создалась запись о наличии напряжения на блоке питания.
+
+·        Результаты утилиты Stress-ng при работе сервера под нагрузкой и на одном блоке питания не отличаются в меньшую сторону больше чем на 10% по сравнению с результатами, полученными при работе сервера под нагрузкой на двух блоках питания.
+
+## Извлечение накопителей: имитация отказа накопителей
+
+Этапы
+
+На свободных накопителях в сервере создаем дисковое хранилище с уровнем резервирования RAID1, RAID6 или RAID10 через BMC, BIOS или с использованием, например, утилиты StorCLI. Тестирование проводим для каждого уровня резервирования дискового хранилища.
+
+При возможности один из свободных накопителей настраиваем как резервный (Global Hot Spare). Зависит от количества дисков и уровня RAID
+
+Для дискового хранилища без файловой системы
+
+1.      Запускаем утилиту FIO с профилем нагрузки: 40% случайных операций записи и 60% случайных операций чтения блоком 8 КБ, 16 потоков. Фиксируем производительность в IOPS на чтение и запись.
+
+2.      Извлекаем из сервера один из накопителей. До начала перестроения дискового хранилища снова фиксируем производительность в IOPS на чтение и запись. Наблюдаем за BMC сервера на предмет появления уведомлений и создания записей в системном журнале.
+
+3.      Контролируем статус и процесс перестроения (rebuild) дискового хранилища, если есть свободный резервный накопитель в сервере (Global Hot Spare). Фиксируем производительность в IOPS на чтение и запись во время перестроения дискового хранилища.
+
+4.      При использовании дискового хранилища с уровнем резервирования RAID6 или RAID10 извлекаем второй накопитель из сервера. Фиксируем производительность в IOPS на чтение и запись.
+
+5.      По завершении перестроения дискового хранилища все ранее извлеченные накопители устанавливаем обратно. Отслеживаем статус всех накопителей, а также наблюдаем за BMC сервера, как описано в пункте 2.
+
+6.      При необходимости через BMC или с помощью утилиты StorCLI в ОС удаляем стороннюю конфигурацию на накопителях и меняем их статусы.
+
+7.      По завершении второго перестроения дискового хранилища отслеживаем статус и состав дискового хранилища, а также статус самих накопителей.
+
+Для дискового хранилища с файловой системой:
+
+1.      На дисковом хранилище создаем один раздел максимального размера и файловую систему ext4, которую подключаем к директории test1..
+
+2.      Запускаем копирование большого файла (несколько десятков ГБ) в директорию test1.
+
+3.      Извлекаем из сервера один из накопителей. Отслеживаем статус дискового хранилища и наблюдаем за BMC сервера на предмет появления уведомлений и создания записей в системном журнале.
+
+4.      Контролируем процесс перестроения дискового хранилища, если есть свободный накопитель в сервере (Global Hot Spare), и отслеживаем скорость копирования файла.
+
+5.      Если используем дисковое хранилище с уровнем резервирования RAID6 или RAID10, извлекаем второй накопитель из сервера.
+
+6.      После перестроения дискового хранилища и окончания копирования файла устанавливаем накопители обратно. Отслеживаем статус всех накопителей, а также наблюдаем за BMC сервера, как описано в пункте 3.
+
+7.      Вычисляем и сравниваем контрольные суммы файла-источника и скопированного файла.
+
+8.      При необходимости через BMC или с помощью утилиты StorCLI в ОС удаляем стороннюю конфигурацию на установленных накопителях с последующим изменением статусов установленных накопителей.
+
+9.      После второго перестроения дискового хранилища отслеживаем статус и состав дискового хранилища, а также статус самих накопителей.
+
+Критерии выполнения теста
+
+Дисковое хранилище без файловой системы
+
+·        Работа утилиты FIO не прерывалась во время тестирования, и дисковое хранилище было постоянно доступно на чтение и запись.
+
+·        Сработала автоматическая замена извлеченного накопителя на резервный (Global Hot Spare).
+
+·        Дисковое хранилище успешно выполнило все перестроения.
+
+·        Возврат к начальной конфигурации дискового хранилища (состав и статус накопителей) происходит без перезагрузки сервера.
+
+Дисковое хранилище с файловой системой
+
+·        Файловая система на дисковом хранилище была доступна на протяжении всего времени тестирования.
+
+·        Копирование файла завершилось без прерываний.
+
+·        Сработала автоматическая замена извлеченного накопителя на резервный (Global Hot Spare).
+
+·        Дисковое хранилище успешно выполнило все перестроения.
+
+·        Контрольные суммы файла-источника и скопированного файла остались одинаковыми.
+
+·        Конфигурация дискового хранилища (состав и статус накопителей) вернулась в начальное состояние без перезагрузки сервера.
+
+## Тестирование сетевых интерфейсов и пропускной способности
+
+Для тестирования сетевых интерфейсов на потребуется приемник трафика. Приемник должен обладать достаточной пропускной способностью и иметь возможность запускать утилиту iperf3. То есть для интерфейса скоростью 10 Гбит\с у приемника должен быть такой же по скорости интерфейс.
+
+При подключении интерфейса должна загораться индикация на нем.  На интерфейсах и приемнике настраиваем ip адреса. Тестируемый интерфейс и приемник должны обладать сетевой связностью. Пропингуем интерфейс с приёмника. Он должен быть доступен и передавать пакеты без потерь.  
+ 
+
+Для тестирования пропускной способности сети воспользуемся утилитой iperf3.
+
+На приемнике запускаем утилиту iperf3 –s
+
+-s Запуск в режиме сервера. В данном режиме машина принимает трафик по порту 5201
+
+На тестируемом сервере так же запускаем утилиту iperf3
+
+iperf3 -c (ip адрес приемника) -t 1800 -f g -P 20
+
+-с Запуск в режиме клиента с указанием ip адреса сервера
+
+-t Время работы утилиты
+
+-f формат вывода пропускной способности k, m, g килобиты, мегабиты, гигабиты. K, M, G килобайты, мегабайты, гигабайты
+
+-P Количество потоков генерации трафика.
+
+Значение ключа –P требуется подобрать такое что бы утилизация интерфеса была максимальная.
+
+Критерии выполнения теста:
+
+·        Сетевые интерфейсы включатся и имеют индикацию
+
+·        Между приемником и передатчиком ходят пакеты
+
+·        Пропускная способность интерфейса во время теста больше 90 % от заявленной производителем