м (IKuznetsov переименовал страницу Требования Managed к оборудованию в Требования АппОптима к оборудованию без оставления перенаправления) |
Нет описания правки |
||
| (не показана 1 промежуточная версия этого же участника) | |||
| Строка 1: | Строка 1: | ||
'''''[[Установка и настройка]] / Основные элементы АппОптима / | '''''[[Установка и настройка]] / Основные элементы АппОптима / АппОптима / Установка / Требования АппОптима к оборудованию''''' | ||
В этом разделе описывается оборудование для установки АппОптима | В этом разделе описывается оборудование для установки АппОптима. Другие требования АппОптима см. в разделах [[Требования АппОптима к системе]] и Рекомендации по оборудованию для облачных развертываний АппОптима. | ||
----<blockquote><big>''Соображения по размеру''</big> | ----<blockquote><big>''Соображения по размеру''</big> | ||
| Строка 15: | Строка 15: | ||
== Генеральная планировка == | == Генеральная планировка == | ||
Не всегда возможно подготовить узлы с точным размером, особенно если ваша среда подвержена постоянно растущим уровням трафика. Хотя предварительный анализ необходимого размера полезен, важнее иметь возможность увеличить емкость кластера АппОптима | Не всегда возможно подготовить узлы с точным размером, особенно если ваша среда подвержена постоянно растущим уровням трафика. Хотя предварительный анализ необходимого размера полезен, важнее иметь возможность увеличить емкость кластера АппОптима, если в будущем потребности мониторинга возрастут. Чтобы воспользоваться всеми преимуществами архитектуры АппОптима, будьте готовы к масштабированию по следующим параметрам: | ||
* По горизонтали, добавив больше узлов. Мы поддерживаем установку до 30 узлов кластера. | * По горизонтали, добавив больше узлов. Мы поддерживаем установку до 30 узлов кластера. | ||
| Строка 21: | Строка 21: | ||
* Что касается хранения данных, то есть возможность изменять размер дисковых томов по мере необходимости (рекомендации по настройке дисков смотрите ниже). | * Что касается хранения данных, то есть возможность изменять размер дисковых томов по мере необходимости (рекомендации по настройке дисков смотрите ниже). | ||
Для облачных развертываний используйте рекомендованные эквиваленты виртуальных машин для Рекомендаций по оборудованию для облачных развертываний | Для облачных развертываний используйте рекомендованные эквиваленты виртуальных машин для Рекомендаций по оборудованию для облачных развертываний АппОптима | ||
== Требования к оборудованию == | == Требования к оборудованию == | ||
| Строка 36: | Строка 36: | ||
**Требование 4 ТБ для узла XБольшой следует рассматривать как максимально допустимый размер. Если вам нужна дополнительная емкость, подумайте о добавлении ещё одного узла. Планируйте свое хранилище долгосрочных метрик так, чтобы данные занимали не более 50% доступного дискового пространства. Таким образом, 4 ТБ пространства будут обрабатывать 2 ТБ данных вашего долгосрочного хранилища метрик. Хотя возможны хранилища размером более 4 ТБ, они могут затруднить обслуживание базы данных. | **Требование 4 ТБ для узла XБольшой следует рассматривать как максимально допустимый размер. Если вам нужна дополнительная емкость, подумайте о добавлении ещё одного узла. Планируйте свое хранилище долгосрочных метрик так, чтобы данные занимали не более 50% доступного дискового пространства. Таким образом, 4 ТБ пространства будут обрабатывать 2 ТБ данных вашего долгосрочного хранилища метрик. Хотя возможны хранилища размером более 4 ТБ, они могут затруднить обслуживание базы данных. | ||
=== АппОптима | === АппОптима === | ||
{| class="wikitable" | {| class="wikitable" | ||
!Тип узла | !Тип узла | ||
| Строка 107: | Строка 107: | ||
|3 ТБ | |3 ТБ | ||
|} | |} | ||
<sup>1</sup> Хотя АппОптима | <sup>1</sup> Хотя АппОптима устойчиво работает на экземплярах с 1+ ТБ ОЗУ/128 ядрами (2XБольшой) и позволяет отслеживать больше объектов, это не оптимальный способ использования оборудования. Вместо этого мы рекомендуем использовать экземпляры меньшего размера (Большой или XБольшой). | ||
==== Примеры ==== | ==== Примеры ==== | ||
| Строка 114: | Строка 114: | ||
* Для мониторинга 500 хостов с пиковой нагрузкой 30 000 действий пользователя в минуту вам потребуется 3 небольших узла с объемом хранилища 1,3 ТБ каждый, разделенным на типы хранилищ соответственно. В качестве альтернативы вы также можете использовать 1 средний узел с объемом хранилища 2,1 ТБ. Мы рекомендуем настроить аварийное переключение минимум на 3 узла вместо одиночных узлов, которые менее устойчивы. | * Для мониторинга 500 хостов с пиковой нагрузкой 30 000 действий пользователя в минуту вам потребуется 3 небольших узла с объемом хранилища 1,3 ТБ каждый, разделенным на типы хранилищ соответственно. В качестве альтернативы вы также можете использовать 1 средний узел с объемом хранилища 2,1 ТБ. Мы рекомендуем настроить аварийное переключение минимум на 3 узла вместо одиночных узлов, которые менее устойчивы. | ||
=== АппОптима | === АппОптима Премиум высокой доступности === | ||
{| class="wikitable" | {| class="wikitable" | ||
!Тип узла | !Тип узла | ||
| Строка 167: | Строка 167: | ||
|3 ТБ | |3 ТБ | ||
|} | |} | ||
<sup>1</sup> Хотя АппОптима | <sup>1</sup> Хотя АппОптима устойчиво работает на экземплярах с 1+ ТБ ОЗУ/128 ядрами (2XБольшой) и позволяет отслеживать больше объектов, это не оптимальный способ использования оборудования. Вместо этого мы рекомендуем использовать экземпляры меньшего размера (Большой или XБольшой). | ||
==== Пример ==== | ==== Пример ==== | ||
| Строка 173: | Строка 173: | ||
== Рекомендации по хранилищу == | == Рекомендации по хранилищу == | ||
АппОптима | АппОптима хранит несколько типов данных мониторинга в зависимости от варианта использования. | ||
Мы рекомендуем: | Мы рекомендуем: | ||
| Строка 208: | Строка 208: | ||
|- | |- | ||
|PRODUCT_PATH | |PRODUCT_PATH | ||
|<code>/opt/<namespace>- | |<code>/opt/<namespace>-АппОптима</code> | ||
|Главный каталог для двоичных файлов АппОптима | |Главный каталог для двоичных файлов АппОптима | ||
|7 ГБ | |7 ГБ | ||
|5 ГБ | |5 ГБ | ||
|- | |- | ||
|DATASTORE_PATH | |DATASTORE_PATH | ||
|<code>/var/opt/<namespace>- | |<code>/var/opt/<namespace>-АппОптима</code> | ||
|Главный каталог для данных АппОптима | |Главный каталог для данных АппОптима | ||
|24 ГБ | |24 ГБ | ||
|3 ГБ | |3 ГБ | ||
| Строка 221: | Строка 221: | ||
|LOG_PATH | |LOG_PATH | ||
|<code>DATASTORE_PATH/log</code> | |<code>DATASTORE_PATH/log</code> | ||
|Журналы всех компонентов, сервисов и инструментов АппОптима | |Журналы всех компонентов, сервисов и инструментов АппОптима | ||
|2 ГБ | |2 ГБ | ||
|1 ГБ | |1 ГБ | ||
| Строка 257: | Строка 257: | ||
|SERVER_BUILD_UNITS_PATH | |SERVER_BUILD_UNITS_PATH | ||
|<code>DATASTORE_PATH/installer</code> | |<code>DATASTORE_PATH/installer</code> | ||
|Установщик АппОптима | |Установщик АппОптима для добавления узлов в кластер, подготовленный во время установки/обновления | ||
|2 ГБ | |2 ГБ | ||
|1 ГБ | |1 ГБ | ||
| Строка 277: | Строка 277: | ||
=== Поддерживаемые файловые системы === | === Поддерживаемые файловые системы === | ||
АппОптима | АппОптима работает со всеми распространенными файловыми системами. Мы рекомендуем вам выбрать быстрое локальное хранилище, подходящее для рабочих нагрузок базы данных. Удаленные тома с высокой задержкой, такие как NFS или CIFS, не рекомендуются. Хотя файловых систем NFS достаточно для резервного копирования, мы не рекомендуем их в качестве основного хранилища. | ||
----<blockquote><big>''Amazon Elastic File System''</big> | ----<blockquote><big>''Amazon Elastic File System''</big> | ||
| Строка 312: | Строка 312: | ||
== Многоузловые установки == | == Многоузловые установки == | ||
Мы рекомендуем установки с несколькими узлами для аварийного переключения и резервирования данных. Рекомендуемая конфигурация - трехузловой кластер достаточного размера. Для установок АппОптима | Мы рекомендуем установки с несколькими узлами для аварийного переключения и резервирования данных. Рекомендуемая конфигурация - трехузловой кластер достаточного размера. Для установок АппОптима с более чем одним узлом все узлы должны: | ||
* Иметь такую же конфигурацию оборудования | * Иметь такую же конфигурацию оборудования | ||
| Строка 319: | Строка 319: | ||
* Уметь общаться через частную сеть на [[Порты ноды кластера|нескольких портах]] | * Уметь общаться через частную сеть на [[Порты ноды кластера|нескольких портах]] | ||
* Задержка между узлами должна быть около 10 мс или меньше. | * Задержка между узлами должна быть около 10 мс или меньше. | ||
* Системные пользователи, созданные для АппОптима | * Системные пользователи, созданные для АппОптима, должны иметь одинаковые идентификаторы UID:GID на всех узлах. | ||
----<blockquote><big>''Избегайте проблем с синхронизацией split-brain''</big> | ----<blockquote><big>''Избегайте проблем с синхронизацией split-brain''</big> | ||
Текущая версия от 09:30, 26 декабря 2024
Установка и настройка / Основные элементы АппОптима / АппОптима / Установка / Требования АппОптима к оборудованию
В этом разделе описывается оборудование для установки АппОптима. Другие требования АппОптима см. в разделах Требования АппОптима к системе и Рекомендации по оборудованию для облачных развертываний АппОптима.
Соображения по размеру
Калибровка обычно состоит из следующих элементов:
- Генеральная планировка
- Требования к оборудованию
- Рекомендации по хранилищу
- Рекомендации по Log Monitoring 2.0
Обязательно изучите каждый элемент, прежде чем продолжить.
Генеральная планировка
Не всегда возможно подготовить узлы с точным размером, особенно если ваша среда подвержена постоянно растущим уровням трафика. Хотя предварительный анализ необходимого размера полезен, важнее иметь возможность увеличить емкость кластера АппОптима, если в будущем потребности мониторинга возрастут. Чтобы воспользоваться всеми преимуществами архитектуры АппОптима, будьте готовы к масштабированию по следующим параметрам:
- По горизонтали, добавив больше узлов. Мы поддерживаем установку до 30 узлов кластера.
- По вертикали за счет выделения большего количества ОЗУ/ЦП на узел.
- Что касается хранения данных, то есть возможность изменять размер дисковых томов по мере необходимости (рекомендации по настройке дисков смотрите ниже).
Для облачных развертываний используйте рекомендованные эквиваленты виртуальных машин для Рекомендаций по оборудованию для облачных развертываний АппОптима
Требования к оборудованию
Требования к оборудованию, приведенные в следующей таблице, являются приблизительными, основанными на типичных средах и схемах нагрузки. Требования для отдельных сред могут отличаться. При оценке конкретных столбцов учитывается следующее:
- Минимальные спецификации узла
- ЦП и ОЗУ должны быть доступны исключительно для АппОптима. Режим энергосбережения для ЦП должен быть отключен. Процессоры должны работать с тактовой частотой не менее 2 ГГц, а хосту должно быть назначено не менее 32 ГБ ОЗУ.
- Хранилище транзакций
- Данные транзакций распределяются по всем узлам и не хранятся избыточно. В кластерах с несколькими узлами хранилище данных транзакций делится на количество узлов.
- Хранилище долгосрочных метрик
- Для многоузловых установок сохраняются три копии хранилища метрик. Для четырех или более узлов требования к хранилищу на каждый узел снижаются.
- Требование 4 ТБ для узла XБольшой следует рассматривать как максимально допустимый размер. Если вам нужна дополнительная емкость, подумайте о добавлении ещё одного узла. Планируйте свое хранилище долгосрочных метрик так, чтобы данные занимали не более 50% доступного дискового пространства. Таким образом, 4 ТБ пространства будут обрабатывать 2 ТБ данных вашего долгосрочного хранилища метрик. Хотя возможны хранилища размером более 4 ТБ, они могут затруднить обслуживание базы данных.
АппОптима
| Тип узла | Макс. хостов
под наблюдением (на узел) |
Пиковое количество пользовательских
действий/мин (на узел) |
Минимальные спецификации узла | Диск IOPS
(на узел) |
Хранилище
транзакций (видимость кода 10 дней) |
Хранилище долгосрочных
метрик (на узел) |
Elasticsearch
(на узел) (Срок хранения 35 дней) |
|---|---|---|---|---|---|---|---|
| Небольшой | 300 | 10000 | 8 виртуальных ЦП,
64 ГБ ОЗУ |
3000 | 300 ГБ | 500 ГБ | 500 ГБ |
| Средний | 600 | 25000 | 16 виртуальных ЦП,
128 ГБ ОЗУ |
5000 | 600 ГБ | 1 ТБ | 1.5 ТБ |
| Большой | 1250 | 50000 | 32 виртуальных ЦП,
256 ГБ ОЗУ |
7500 | 1 ТБ | 2 ТБ | 1.5 ТБ |
| XБольшой1 | 2500 | 100000 | 64 виртуальных ЦП,
512 ГБ ОЗУ |
10000 | 2 ТБ | 4 ТБ | 3 ТБ |
1 Хотя АппОптима устойчиво работает на экземплярах с 1+ ТБ ОЗУ/128 ядрами (2XБольшой) и позволяет отслеживать больше объектов, это не оптимальный способ использования оборудования. Вместо этого мы рекомендуем использовать экземпляры меньшего размера (Большой или XБольшой).
Примеры
- Чтобы мониторить до 7500 хостов с пиковой нагрузкой 300 000 действий пользователя в минуту, вам понадобятся 3 очень больших (XБольшой) узла с объемом хранилища 9 ТБ каждый, разделенным на типы хранилищ.
- Для мониторинга 500 хостов с пиковой нагрузкой 30 000 действий пользователя в минуту вам потребуется 3 небольших узла с объемом хранилища 1,3 ТБ каждый, разделенным на типы хранилищ соответственно. В качестве альтернативы вы также можете использовать 1 средний узел с объемом хранилища 2,1 ТБ. Мы рекомендуем настроить аварийное переключение минимум на 3 узла вместо одиночных узлов, которые менее устойчивы.
АппОптима Премиум высокой доступности
| Тип узла | Макс хостов
под наблюдением (на узел) |
Максимальный пользователь
действий / мин (на узел) |
Мин узел
технические характеристики |
Диск IOPS
(на узел) |
Хранение транзакций
(Видимость кода 10 дней) |
Долгосрочное
Магазин метрик (на узел) |
Elasticsearch
(на узел) (Срок хранения 35 дней) |
|---|---|---|---|---|---|---|---|
| Большой | 600 | 25000 | 32 виртуальных ЦП,
256 ГБ ОЗУ |
7500 | 1 ТБ | 2 ТБ | 1.5 ТБ |
| XБольшой1 | 1250 | 50000 | 64 виртуальных ЦП,
512 ГБ ОЗУ |
10000 | 2 ТБ | 4 ТБ | 3 ТБ |
1 Хотя АппОптима устойчиво работает на экземплярах с 1+ ТБ ОЗУ/128 ядрами (2XБольшой) и позволяет отслеживать больше объектов, это не оптимальный способ использования оборудования. Вместо этого мы рекомендуем использовать экземпляры меньшего размера (Большой или XБольшой).
Пример
Для мониторинга 7500 хостов с пиковой нагрузкой 300 000 действий пользователя в минуту в развертывании Премиум высокой доступности вам потребуется 6 очень больших (XБольшой) узлов - 3 узла в одном центре обработки данных и 3 узла во втором центре обработки данных, каждый узел с хранилищем 9 ТБ, разделенным соответственно на типы хранилищ.
Рекомендации по хранилищу
АппОптима хранит несколько типов данных мониторинга в зависимости от варианта использования.
Мы рекомендуем:
- Хранение двоичных файлов АппОптима и хранилища данных в отдельных точках монтирования, что позволяет изменять размер хранилища данных независимо.
- Не хранить данные АппОптима в корневом томе, чтобы избежать дополнительных сложностей при изменении размера диска позже, если это потребуется.
- Монтирование различных типов хранилищ данных на отдельных дисковых томах для максимальной гибкости и производительности.
- Создание разделов диска с изменяемым размером (например, с помощью менеджера логических томов [LVM]).
Пути к каталогам по умолчанию и необходимое свободное место на диске для установки и обновления
Пути к каталогам, включенные в следующую таблицу, являются путями по умолчанию. Фактические пути могут отличаться, если вы установили в собственный каталог.
Пользовательские каталоги
Если вы настроили места хранения, SERVER_DATASTORE_PATH, CASSANDRA_DATASTORE_PATH, ELASTICSEARCH_DATASTORE_PATH следует поместить в отдельные каталоги, и они не должны быть подкаталогами другого каталога.
| Символ каталога | Путь к каталогу | Описание | Необходимое
свободное место на диске для установки |
Необходимое
свободное место на диске для обновления |
|---|---|---|---|---|
| PRODUCT_PATH | /opt/<namespace>-АппОптима
|
Главный каталог для двоичных файлов АппОптима | 7 ГБ | 5 ГБ |
| DATASTORE_PATH | /var/opt/<namespace>-АппОптима
|
Главный каталог для данных АппОптима | 24 ГБ | 3 ГБ |
| LOG_PATH | DATASTORE_PATH/log
|
Журналы всех компонентов, сервисов и инструментов АппОптима | 2 ГБ | 1 ГБ |
| CASSANDRA_DATASTORE_PATH | DATASTORE_PATH/cassandra
|
Репозиторий метрик | 25 ГБ | 1 ГБ |
| ELASTICSEARCH_DATASTORE_PATH | DATASTORE_PATH/elasticsearch
|
Хранилище Elasticsearch | 3 ГБ | 1 ГБ |
| SERVER_DATASTORE_PATH | DATASTORE_PATH/server/tenantData
|
Хранилище транзакций | 14 ГБ | 1 ГБ |
| SERVER_REPLAY_DATASTORE_PATH | DATASTORE_PATH/server/replayData
|
Хранилище повторов сессий | 14 ГБ | 1 ГБ |
| AGENT_BUILD_UNITS_PATH | DATASTORE_PATH/agents
|
Установочные пакеты ЕдиногоАгента и АктивногоШлюза (если они загружены сервером АппОптима или установлены из отдельных пакетов) | 20 ГБ | 1 ГБ |
| SERVER_BUILD_UNITS_PATH | DATASTORE_PATH/installer
|
Установщик АппОптима для добавления узлов в кластер, подготовленный во время установки/обновления | 2 ГБ | 1 ГБ |
| SELFMON_AGENT_INSTALL_PATH
Также см. Дисковое пространство для ЕдиногоАгента |
/opt/<namespace>
|
Главный каталог для самоконтроля двоичных файлов ЕдиногоАгента. | 4.8 ГБ | 1.4 ГБ |
ЕдиныйАгент opt-out
Самоконтроль ЕдиногоАгента включен по умолчанию. Доступен установочный параметр opt-out:
--install-agent <on|off>
Поддерживаемые файловые системы
АппОптима работает со всеми распространенными файловыми системами. Мы рекомендуем вам выбрать быстрое локальное хранилище, подходящее для рабочих нагрузок базы данных. Удаленные тома с высокой задержкой, такие как NFS или CIFS, не рекомендуются. Хотя файловых систем NFS достаточно для резервного копирования, мы не рекомендуем их в качестве основного хранилища.
Amazon Elastic File System Мы не поддерживаем и не рекомендуем Amazon Elastic File System (EFS) в качестве основного хранилища для Elasticsearch. Такие файловые системы не обеспечивают поведение, требуемое Elasticsearch, и это может привести к повреждению индексов.
Рекомендации по Log Monitoring v2
Требования для Log Monitoring v2:
- Все узлы кластера должны иметь не менее 64 ГБ ОЗУ общей памяти хоста.
Дополнительные рекомендации по установке:
- Для более надежной конфигурации лучше добавить больше узлов кластера, чем увеличивать оборудование на каждом узле.
- Распределите дополнительное хранилище Elasticsearch поровну между узлами кластера.
- Добавьте ЦП и ОЗУ к существующим узлам кластера, чтобы узлы оставались одинакового размера.
- Используйте REST API (Обновление событий журнала для каждого кластера для Log Monitoring), чтобы обновить предел загрузки кластера на основе доступных ресурсов для кластера.
- Для каждых ста миллионов (100 000 000) событий журнала в день (70 000 событий в минуту в среднем и 140 000 событий в минуту во время пиков) в вашем кластере добавьте дополнительные ресурсы, распределенные по всем узлам кластера:
- 5 ядер ЦП
- Диск емкостью 3,3 ТБ (содержит реплики данных для высокой доступности)
Например, для обработки трехсот миллионов (300 000 000) событий журнала в день вам потребуются дополнительные 15 ЦП, 9,9 ТБ диска и 19,5 ГБ ОЗУ. В существующем кластере из трех узлов среднего размера вы можете выполнить одно из следующих действий:
- [рекомендуется] Добавить два дополнительных узла среднего размера, чтобы сформировать кластер из пяти узлов. Кроме того, увеличьте хранилище Elasticsearh на каждом узле на 2 ТБ (в этом случае каждый узел хранит 40% дважды реплицированных данных).
- Добавьте 3,3 ТБ дискового хранилища (включая репликацию), 8 ЦП и 16 ГБ ОЗУ на каждый узел.
Примечание:
- Эти рекомендации дополняют любые требования от других источников трафика.
- События журнала хранятся в хранилище Elasticsearch.
- События журнала хранятся в 2 экземплярах.
- Имейте в виду, что время хранения событий журнала составляет 35 дней.
Многоузловые установки
Мы рекомендуем установки с несколькими узлами для аварийного переключения и резервирования данных. Рекомендуемая конфигурация - трехузловой кластер достаточного размера. Для установок АппОптима с более чем одним узлом все узлы должны:
- Иметь такую же конфигурацию оборудования
- Быть синхронизированным с NTP
- Быть в том же часовом поясе
- Уметь общаться через частную сеть на нескольких портах
- Задержка между узлами должна быть около 10 мс или меньше.
- Системные пользователи, созданные для АппОптима, должны иметь одинаковые идентификаторы UID:GID на всех узлах.
Избегайте проблем с синхронизацией split-brain Хотя кластеры из двух узлов технически возможны, мы не рекомендуем этого делать. Наши системы хранения основаны на консенсусе и требуют большинства для согласованности данных. Вот почему двухузловой кластер уязвим для проблемы split-brain и должен рассматриваться как временное состояние при переходе на 3 или более узлов. Запуск двух узлов может привести к несогласованности доступности или данных из двух отдельных наборов данных (кластеры с одним узлом), которые перекрываются и не обмениваются данными и не синхронизируют свои данные друг с другом.