Блоки данных ИИ (DDU) для метрик

Расширения / Расширение АппОптима - Блоки данных ИИ (DDU) / Блоки данных ИИ (DDU) для метрик

На этой странице объясняется, как мы рассчитываем DDU для метрик, концепция пользовательских метрик и как вы можете оценивать и отслеживать потребление DDU для метрик.

Какие типы метрик используют DDU?

Пользовательские показатели
Некоторые встроенные показатели (см. ниже)

Что такое пользовательская метрика?

Пользовательские метрики — это метрики, которые вы определяете или устанавливаете. Они расширяют возможности мониторинга АппОптима, позволяя интегрировать сторонние источники данных, рассчитывать пользовательские метрики, импортировать метрики через API, использовать расширения и многое другое.

Ниже приведен неполный список настраиваемых типов метрик:

Все метрики, поступающие от API
Расчетные метрики службы, пользовательские метрики DEM и метрики логов
- Например, расчетные сервисные метрики, созданные по атрибутам запроса.
Все метрики предоставлены установленными вручную расширениями АппОптима Monitoring Extensions.

Полную информацию о настройке и приеме пользовательских метрик в АппОптима см. в разделе Загрузка метрик .

Какие встроенные показатели используют DDU?

Метрики, которые потребляют DDU, включают:

Метрики, предоставляемые некоторыми встроенными расширениями , которые не включены по умолчанию.
- Переключатели веб-интерфейса АппОптима для включения/отключения этих показателей помечены, чтобы вы знали, влияют ли они на потребление DDU.
Все метрики, принимаемые расширениями общедоступного облака ( AWS , Azure и GCP ).
- Например, метрики, полученные от облачных сервисов.

На встроенной странице метрик перечислены все метрики, которые не используют DDU.

Как мы рассчитываем использование DDU для метрик?

Использование происходит при приеме точек данных метрик. Точка данных метрики — это отдельное значение измерения, хранящееся в АппОптима. Значение принадлежит метрике , которая идентифицируется ключом метрики и имеет метку времени. Метрика временного ряда — это ряд таких точек данных, например использование ЦП для данного хоста за период анализа.

Каждая полученная точка данных вычитает 0,001 DDU из доступной квоты.

Метрики, предоставляемые АппОптима, обычно записываются один раз в минуту. Это приводит к следующему типичному годовому потреблению DDU для одной метрики:

1 metric data point x 60 min x 24 h x 365 days x 0.001 = 525.6 DDUs per metric/year

Как параметры метрики влияют на использование DDU?

Точки данных метрик могут иметь связанные измерения, которые идентифицируются ключами и значениями измерений. Например, используя синтаксис протокола приема метрик, можно принять два значения следующим образом:

<my_cpu_utilization,hostname=hostA 55 1609459200000
my_cpu_utilization,hostname=hostB 45 1609459200000

Для одной и той же метки времени ( 1609459200000) АппОптима сохраняет два разных значения измерения для одной и той же метрики на двух разных хостах. Это достигается с помощью ключа измерения hostnameи значений измерения hostA, а также hostB. 55 и 45 — измеренные проценты использования ЦП для этой метрики на двух хостах.

Обратите внимание, что вы можете рассматривать это как две метрики: одна диаграмма может быть создана для использования ЦП хоста А, а другая — для использования ЦП хоста Б. Если точки данных периодически загружаются для обоих хостов, конечным эффектом является удвоенное количество полученных точек данных, потому что здесь каждое измерение хоста приводит к отдельному значению метрики, которое необходимо сохранить.

Это удвоение принимаемых точек данных также отражается в соответствующем использовании DDU: эффективность использования DDU теперь составляет 0,002 в минуту, поскольку данные принимаются с двух хостов. Таким образом, чтобы рассчитать использование DDU на основе ключей метрик, необходимо учитывать, какие данные загружаются, и принимать во внимание измерения данных.

Если добавить больше измерений и увеличить количество точек данных , использование DDU также увеличится. Вот пример:

<my_cpu_utilization,hostname=hostA,cpu=1 55 1609459200000
my_cpu_utilization,hostname=hostA,cpu=2 11 1609459200000
my_cpu_utilization,hostname=hostB,cpu=1 45 1609459200000
my_cpu_utilization,hostname=hostB,cpu=2 45 1609459200000

В этом примере будет потребляться 4 DDU в минуту из-за двух хостов и двух ЦП.

Однако дополнительное использование вызвано не увеличением размеров , а скорее увеличением количества введенных точек данных , которые обычно сопровождают увеличение числа измерений.

Если измерения добавляются, но количество точек данных остается прежним, то потребление DDU не меняется. Это происходит, когда добавляются чисто описательные измерения, значения которых определяются другими ранее существовавшими измерениями:

<my_cpu_utilization,hostname=hostA,host_ip="127.0.0.23" 55 1609459200000
my_cpu_utilization,hostname=hostB,host_ip="127.0.0.42" 45 1609459200000

Эти принятые точки данных составляют такое же использование DDU, как если бы они были отправлены без измерения host_ip. Формально говоря, если добавляются измерения, значения которых функционально определяются другими ранее существовавшими измерениями, то использование DDU не изменится.

Включенные показатели для хост-блока

Если вы отслеживаете хосты с помощью ЕдиногоАгента используете единицы хоста, вам предоставляется ряд «показателей, включенных в хост», основанных на использовании единиц хоста отслеживаемыми хостами. Точнее, на каждую заданную минуту хост, потребляющий хост-единицы, имеет бюджет включенных хостом точек данных метрик. Когда вводятся точки данных метрики «о хосте» (например, с формальным измерением хоста, то сначала расходуется бюджет точек данных, включенный в хост, до того, как будет затронута ваша квота DDU. Одна метрика, включенная в хост, определяется как данные одной метрики. точек в минуту, учитывая предыдущий раздел о размерах принимаемых точек данных.

1000 метрик на единицу хоста включаются в каждый отслеживаемый хост (в режиме мониторинга полного стека). Эти метрики включены в ваши хост-устройства Full-Stack и поэтому не используют DDU.

Каждый хост, отслеживаемый ЕдиныйАгент с включенным мониторингом полного стека , включает 1000 метрик на узел хоста (подробности см. в таблице ниже).
Хосты, отслеживаемые ЕдиныйАгент с включенным мониторингом инфраструктуры , всегда включают 200 метрик , которые не используют DDU.
Все метрики, которые превышают включенные метрики хоста, используют DDU.
Если все DDU в пуле метрик израсходованы, то включенные метрики для хост-устройства также будут недоступны .
Расчетные метрики службы, пользовательские метрики DEM и метрики логов не подходят для этих включенных метрик на единицу хоста.

Обратите внимание, что включенные метрики привязаны к конкретным хостам, которые отслеживаются через ЕдиныйАгент. Это означает, что включаются только метрики, зарегистрированные на отслеживаемом узле или процессе отслеживаемого узла. Сюда также входят метрики, зарезервированные для объектов AWS EC2, виртуальных машин Azure и виртуальных машин VMware (если эти виртуальные машины отслеживаются ЕдинымАгентом). Обратите внимание, что для метрик, принимаемых API, это относится только к метрикам, зарезервированным на отслеживаемом узле.

Оценка того, превышает ли хост включенные в хост метрики, основана на общем количестве точек данных метрик, которые сообщаются с периодичностью в 1 минуту (для этих метрик нет скользящего временного окна). Когда полученные точки данных превышают метрики, включенные в хост, для компенсации разницы расходуются DDU.

Если хост лицензируется на основе часов хост-юнитов, а не хост-юнитов, расчет работает таким же образом; вы можете потреблять до количества метрик, включенных хостом, в час хост-единицы. Каждая точка данных, превышающая это число, использует DDU.

Размер хоста	Режим полного стека	Режим полного стека	Режим инфраструктуры	Режим инфраструктуры
На основе ГБ ОЗУ	Хост-юниты	Включенные показатели	Хост-юниты	Включенные показатели
1,6 ГБ	0,1	200	0,03	200
4ГБ	0,25	250	0,075	200
8 ГБ	0,5	500	0,15	200
16 Гб	1	1000	0,3	200
32 ГБ	2	2000	0,6	200
48 ГБ	3	3000	0,9	200
64 ГБ	4	4000	1,0	200
Н х 16	Н	Н¹ * 1000	1,0	200
¹ Минимум включенных показателей всегда равен 200, даже если N меньше 0,2.

Пример того, как включенные метрики влияют на использование DDU

Возьмем следующий пример.

Хост имеет 16 ГБ ОЗУ — другими словами, 1 хост-модуль.
Хост контролируется через ЕдиныйАгент в режиме полного стека.

(1 хост-единица = 1000 включенных хост-метрик)

На этом хосте, контролируемом ЕдинымАгентом, зарезервировано 1500 метрик из различных расширений и локальных API (например, JMX и RabbitMQ).
300 метрик, сообщаемых через общедоступный API, безотносительно к узлу, контролируемому ЕдиныйАгент.

В этом сценарии 1000 метрик в минуту включаются через хост-устройство, и хост сообщает о превышении 500 метрик, которые будут потреблять DDU. 300 метрик, о которых сообщается через API и которые не связаны с хостом, контролируемым ЕдиныйАгент, также будут потреблять DDU. Это составляет в общей сложности 800 метрик/мин, потребляющих DDU.

Вот несколько других простых сценариев (все приведенные ниже значения основаны на метриках, отправляемых с интервалом в 1 минуту.)

Режим	Хост-юниты	Включенные метрики на хост-блок¹	Показатели для хоста	"Оплаченые" метрики	Вычтено DDU/мин.
Полный стек	0,5	500	300	0	0
Полный стек	1	1000	1500	500	0,5
Полный стек	1	1000	500	0	0
Полный стек	4	4000	5000	1000	1
Инфраструктура	0,6	200	150	0	0
Инфраструктура	1	200	1000	800	0,8
¹ Включенные метрики привязаны к отдельным хостам.

Зарегистрированные DDU и использованные DDU

Сообщаемые DDU определяются как все DDU до выполнения любых соображений, включенных в хост. Израсходованные DDU отражают общее количество «оплачиваемых» DDU, которые вычитаются из вашего баланса DDU.

Вы можете сравнить отчетные DDU для определенного хоста с количеством метрик, включенных в хост , создав диаграмму с помощью обозревателя данных , используя следующие метрики. Это позволяет получить представление о количестве доступных и использованных DDU для конкретного хоста.

builtin:billing.ddu.includedMetricDduPerHost Эта метрика разделена по идентификатору хоста. Он показывает вам DDU, включенные хостом. Например, если хост имеет 1000 включенных метрик , эта метрика будет иметь значение 1 (другими словами, 1000 x 0,001).
builtin:billing.ddu.metrics.byEntityRaw Метрика byEntityRawразделена по отслеживаемым объектам и отражает общее количество DDU, о которых сообщается, до того, как будут выполнены какие-либо соображения, связанные с хостом.
builtin:billing.ddu.metrics.byEntity Подобно метрике byEntityRaw, byEntityметрика делится по отслеживаемым объектам. Он отражает общее количество потребленных DDU (другими словами, все потребление сверх количества включенных метрик на единицу хоста). Это эквивалентно информации, отображаемой на странице обзора потребления DDU (см. пример ниже).

Как оценить необходимые DDU для метрик

Ограниченный прием и анализ метрик обеспечиваются встроенной поддержкой технологии АппОптима в виде включенных метрик на каждое хост-устройство . Чтобы организовать прием и анализ дополнительных метрик, обратитесь в отдел продаж АппОптима .

Как отслеживать потребление DDU для метрик

В этом разделе представлены два варианта отслеживания потребления DDU для метрик.

Обзорная страница блоков данных Дэвиса

Чтобы увидеть, сколько DDU использовала ваша среда

В меню АппОптима перейдите в раздел «Потребление» . Примечание. Для доступа к этой странице вам необходимо разрешение на изменение параметров мониторинга или учетная запись администратора.
На странице единиц данных Дейвиса (DDU) :
- В таблице пула «Потребление по DDU» проверьте строку «Метрики» .
- В разделе сведений о потреблении DDU проверьте вкладку Метрики .

Там вы можете просмотреть потребление DDU и определить основных участников потребления DDU.

Настраиваемые информационные панели для отслеживания потребления

В следующих примерах использования объясняется, как инструментировать информационные панели с помощью обозревателя данных и предоставляемых метрик DDU для отслеживания потребления DDU на основе метрик.

Изучите общее потребление DDU по метрикам

Исследуйте потребление метрик на отслеживаемый объект

Исследуйте потребление метрик на отслеживаемый объект метрики

На этой диаграмме показано общее количество зарегистрированных DDU по каждому ключу метрики.

Дополнительную информацию также можно найти в разделе Зарегистрированные DDU и использованные DDU .

Потребление «Не связано с контролируемым объектом»

Источником этого потребления является один из следующих:

Прием метрик для данных без dt.entity.hostизмерения
Рассчитанные метрики из пользовательских сессий
Вычисляемые метрики журнала v2 — в разбивке по ключу метрики у них есть log.префикс

Часто задаваемые вопросы

Какие показатели потребляют DDU?

Все метрики, отправляемые через ЕдиныйАгент по умолчанию (например, метрики хоста), включаются бесплатно и не потребляют DDU. Метрики, принимаемые расширением, которые привязаны к определенным хостам (или процессам), сначала потребляют все доступные включенные метрики, прежде чем потреблять какие-либо дополнительные DDU. Метрики, принимаемые API, потребляют все доступные включенные метрики, которые привязаны к конкретным хостам (не процессам), прежде чем потреблять какие-либо дополнительные DDU.

Следующие типы метрик потребляют DDU:

Тип показателя	Потребляет DDU	Включено на хост-устройство
Встроенные расширения	Да	Да
API отдыха	Да	Да 1
JMX	Да	Да
Питон	Да	Нет
Расчетные сервисные метрики	Да	Нет
Расчетные метрики журнала	Да	Нет
Расчетные показатели ЦМР	Да	Нет
Показатели AWS	Да	Да 2
Метрики Azure	Да	Да 2
Показатели GCP	Да	Да 2
Облачная Литейная	Нет	Нет
Метрики кластера Kubernetes	Нет	Нет
Показатели VMware	Нет	Нет
1 Если вы используете REST API для отправки метрик на отслеживаемый ЕдиныйАгент хост, эти метрики будут учитываться при распределении метрик, включенных в хост-модуль. Если метрики отправляются другим объектам, эти метрики будут потреблять DDU. 2 Облачные метрики, привязанные к хостам, отслеживаемым ЕдиныйАгент, вычитаются из вашего распределения метрик, включенных в хост-модуль. Например, метрика экземпляра EC2 учитывается в метриках, включенных в хост-модуль этого экземпляра EC2. Все остальные облачные показатели зависят от потребления DDU.

Какие метрики считаются метриками, включенными в хост-блок?

Любая метрика, зарезервированная для отслеживаемого хоста или экземпляра группы процессов, поскольку они могут быть сопоставлены с конкретным хостом. Обратите внимание, что для метрик, принимаемых API, это относится только к метрикам, зарезервированным на отслеживаемом узле.
Начиная с АппОптима версии 1.203, прием метрик можно заказывать непосредственно на отслеживаемых хостах, чтобы вы могли лучше использовать включенные метрики хостов.
В будущем выпуске расширения АктивныйШлюз также смогут регистрировать метрики на отслеживаемых хостах и тем самым использовать преимущества включенных метрик хостов, как это делают расширения ЕдиныйАгент.

Используются ли DDU только для расширений?

Нет, для расширений любая метрика, зарезервированная для хоста или процесса, потребляет DDU. При приеме API используются включенные метрики на единицу хоста (другими словами, 1000 включенных метрик для мониторинга полного стека) до того, как будут использованы какие-либо DDU. Дополнительные сведения см. в разделе Включенные показатели на хост-устройство .

Каков вес (стоимость) одной точки данных?

Каждая точка данных потребляет 0.001 DDU.

Сколько DDU потребляет одна метрика с периодичностью в 1 минуту в год?

1 data point x 60 min x 24 hours x 365 days x 0.001 DDU weight = 525.6 DDUs

Почему разбивка потребления по отслеживаемым объектам отличается от разбивки по показателям?

Разбивка потребления DDU, показанная на странице Отслеживаемые объекты и метрики , а также метрики byEntityи byMetricв API, могут немного отличаться, потому что:

Разбивка по отслеживаемым объектам учитывает включенные DDU на единицу хоста, чего не учитывает разбивка по метрикам.
Потребление отслеживаемыми объектами может быть задержано до 10 минут по сравнению с метриками byEntityи byMetricв API.

Таким образом, для целей лицензирования и выставления счетов рассматривается только разбивка по отслеживаемым объектам (разбивка по показателям предоставляется исключительно в информационных целях).

Для метрик, не связанных с отслеживаемым хостом, потребление на отслеживаемый объект и потребление на метрику идентичны.

У нас запущено много расширений ЕдиныйАгент. Покрываются ли эти метрики включенными метриками? Только в режиме полного стека мониторинга?

Да, метрики через расширение ЕдиныйАгент покрываются включенными метриками. Для режима мониторинга полного стека это означает 1000 включенных метрик. Для режима инфраструктуры это означает 200 включенных метрик.

Верно ли, что метрики, связанные с хостом или процессом, засчитываются в сравнении с включенными метриками на единицу хоста?

Да. Обратите внимание, что для метрик, принимаемых API, это относится только к метрикам, зарезервированным на отслеживаемом узле.

У нас есть расширения, которые используют API пользовательского устройства для приема метрик. Учитывается ли это во включенных показателях?

Нет, пользовательские устройства не включают метрики. Включенные метрики доступны только для хостов и процессов, отслеживаемых ЕдиныйАгент.

Следующие расширения используют настраиваемые устройства для приема метрик: F5, Windows Server, Apigee Edge, SAP, Juniper Network, IBM I, IBM DataPower, Citrix Netscaler и другие.

Что произойдет, если я буду контролировать удаленные источники с помощью расширений АктивныйШлюз? Будут ли эти показатели учитываться при включении показателей хост-устройства?

Расширения АктивныйШлюз не используют метрики, включенные в хост-модуль. Включенные метрики доступны только для хостов и метрик процессов, отслеживаемых ЕдиныйАгент.

Что произойдет, если я изменю конфигурацию с полного стека на режим мониторинга инфраструктуры? Будут ли включенные показатели немедленно адаптироваться?

Изменение конфигурации должно занять всего несколько секунд и не повлияет отрицательно на потребление метрик.

Что произойдет, если я отправлю специальные показатели чаще, например, каждые 10 секунд?

Мы рекомендуем получать пользовательские метрики с периодичностью в 1 минуту. Когда принимается больше точек данных метрики в минуту, потребляется больше DDU. Например, пользовательская метрика, загружаемая с частотой 10 секунд, эквивалентна6 data points x 60 min x 24 hours x 365 days x 0.001 DDU weight = 3153.6 DDUs

Используют ли облачные сервисы для AWS и Azure DDU или они являются частью включенных показателей для каждого хоста?

облачные сервисы для AWS и Azure потребляют DDU. Все метрики, которые относятся к хосту, контролируемому ЕдиныйАгент, либо являются частью базового пакета (это не метрики), либо учитываются в включенных метриках, поставляемых с каждым хост-модулем. Все остальные показатели расширения или интеграции потребляют DDU.

Могу ли я выбрать, какие службы AWS или Azure будут отслеживаться, чтобы контролировать потребление DDU?

Да, вы можете выбрать, какие отдельные сервисы AWS и Azure будут отслеживаться. Все «облачные сервисы» доступны для мониторинга по подписке. Кроме того, используя фильтрацию тегов, вы можете отказаться от мониторинга отдельных «Встроенных служб» (тех служб, которые отслеживаются автоматически).

Используют ли метрики Kubernetes (загрузка/лимит/ресурсы ЦП) DDU, даже если ЕдиныйАгент не установлен?

Узлы Kubernetes автоматически отслеживаются при установке ЕдиныйАгент; эти метрики являются частью нашего основного предложения ЕдиныйАгент и включены для каждого хост-модуля.