Автоматизированная многомерная базовая линия - История изменений

IKuznetsov в 16:06, 3 января 2025

2025-01-03T16:06:35Z

← Предыдущая версия		Версия от 16:06, 3 января 2025
Строка 1:		Строка 1:
	'''''[[Применение АппОптима]] / [https://~~doc~~.~~ruscomtech~~.ru/index.php/~~Применение_Ключ~~-~~АСТРОМ#.~~D0.9E.D0.B1.D0.BD.D0.B0.D1.80.D1.83.D0.B6.D0.B5.D0.BD.D0.B8.D0~~.B5_.~~D0~~.B8_.~~D0.B0.D0.BD.D0.B0.D0~~.BB.~~D0~~.B8.~~D0~~.B7_.~~D0~~.BF.~~D1.80.D0~~.BE.~~D0.B1.D0~~.BB.~~D0~~.B5.~~D0~~.BC~~ Обнаружение ~~и анализ~~ проблем] ~~/ Обнаружение проблем~~ / Автоматизированная многомерная базовая линия'''''		'''''[[Применение АппОптима]] / [[Обнаружение и анализ проблем]] / [https://docs.expert-apm.ru/index.php/%D0%9F%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%90%D0%BF%D0%BF%D0%9E%D0%BF%D1%82%D0%B8%D0%BC%D0%B0#:~:text=%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D1%82%D1%8C%20%D0%BA%D0%BE%D0%B4-,%D0%9E%D0%B1%D0%BD%D0%B0%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC,-%D0%90%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D0%B0%D1%8F%20%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%B0%D1%8F%20%D0%B1%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D1%8F Обнаружение проблем] / Автоматизированная многомерная базовая линия'''''

	Сбор контекстно-зависимых данных и базовый уровень — это два основных столпа, на которых строится обнаружение аномалий. Необходимо огромное количество качественных и точных данных для определения базовых показателей, которые можно эффективно использовать для разграничения нормальных и аномальных ситуаций. Однако это различие часто размыто из-за высокой изменчивости данных или просто потому, что определение «нормального» во многом зависит от контекста и меняется по мере развития приложений, платформ, инфраструктуры и алгоритмов. Это делает создание точных предупреждений реальной проблемой.		Сбор контекстно-зависимых данных и базовый уровень — это два основных столпа, на которых строится обнаружение аномалий. Необходимо огромное количество качественных и точных данных для определения базовых показателей, которые можно эффективно использовать для разграничения нормальных и аномальных ситуаций. Однако это различие часто размыто из-за высокой изменчивости данных или просто потому, что определение «нормального» во многом зависит от контекста и меняется по мере развития приложений, платформ, инфраструктуры и алгоритмов. Это делает создание точных предупреждений реальной проблемой.
Строка 27:		Строка 27:
	Помимо действий пользователя, АппОптима учитывает географическое положение. Это означает, что АппОптима AI определит базовые уровни для комбинаций каждого действия пользователя с каждой геолокацией. Базовое время отклика 90 мс может быть, например, базовым временем отклика для действия выхода из системы. Но многомерность в АппОптима AI идет еще глубже. Каждая геолокация сочетается с типом браузера, а каждый тип браузера, в свою очередь, сочетается с операционной системой, что в конечном итоге приводит к указанию отдельного порога для каждой комбинации действий пользователя, геолокации, браузера и операционной системы. Сгенерированный базовый куб обеспечивает высокий уровень детализации и точности.		Помимо действий пользователя, АппОптима учитывает географическое положение. Это означает, что АппОптима AI определит базовые уровни для комбинаций каждого действия пользователя с каждой геолокацией. Базовое время отклика 90 мс может быть, например, базовым временем отклика для действия выхода из системы. Но многомерность в АппОптима AI идет еще глубже. Каждая геолокация сочетается с типом браузера, а каждый тип браузера, в свою очередь, сочетается с операционной системой, что в конечном итоге приводит к указанию отдельного порога для каждой комбинации действий пользователя, геолокации, браузера и операционной системы. Сгенерированный базовый куб обеспечивает высокий уровень детализации и точности.

	[[Файл:ambl1.png]]		[[Файл:ambl1.png\|1093x1093пкс]]

	Для геолокации АппОптима предлагает несколько уровней детализации. Например, АппОптима рассчитывает не только время отклика для всего региона США, но и время отклика для каждого штата, а также для каждого города в каждом штате. То же самое верно и для других регионов (например, Европы, Азии). И наоборот, для действий пользователя возможно более грубое представление, поскольку действия пользователя могут быть сгруппированы в XHR и действия загрузки.		Для геолокации АппОптима предлагает несколько уровней детализации. Например, АппОптима рассчитывает не только время отклика для всего региона США, но и время отклика для каждого штата, а также для каждого города в каждом штате. То же самое верно и для других регионов (например, Европы, Азии). И наоборот, для действий пользователя возможно более грубое представление, поскольку действия пользователя могут быть сгруппированы в XHR и действия загрузки.

IKuznetsov в 15:25, 26 декабря 2024

2024-12-26T15:25:52Z

Внесённые изменения

ENetrebin в 12:23, 12 сентября 2024

2024-09-12T12:23:31Z

← Предыдущая версия		Версия от 12:23, 12 сентября 2024
Строка 1:		Строка 1:
			'''''[[Применение Ключ-АСТРОМ]] / [https://doc.ruscomtech.ru/index.php/Применение_Ключ-АСТРОМ#.D0.9E.D0.B1.D0.BD.D0.B0.D1.80.D1.83.D0.B6.D0.B5.D0.BD.D0.B8.D0.B5_.D0.B8_.D0.B0.D0.BD.D0.B0.D0.BB.D0.B8.D0.B7_.D0.BF.D1.80.D0.BE.D0.B1.D0.BB.D0.B5.D0.BC Обнаружение и анализ проблем] / Обнаружение проблем / Автоматизированная многомерная базовая линия'''''

	Сбор контекстно-зависимых данных и базовый уровень — это два основных столпа, на которых строится обнаружение аномалий. Необходимо огромное количество качественных и точных данных для определения базовых показателей, которые можно эффективно использовать для разграничения нормальных и аномальных ситуаций. Однако это различие часто размыто из-за высокой изменчивости данных или просто потому, что определение «нормального» во многом зависит от контекста и меняется по мере развития приложений, платформ, инфраструктуры и алгоритмов. Это делает создание точных предупреждений реальной проблемой.		Сбор контекстно-зависимых данных и базовый уровень — это два основных столпа, на которых строится обнаружение аномалий. Необходимо огромное количество качественных и точных данных для определения базовых показателей, которые можно эффективно использовать для разграничения нормальных и аномальных ситуаций. Однако это различие часто размыто из-за высокой изменчивости данных или просто потому, что определение «нормального» во многом зависит от контекста и меняется по мере развития приложений, платформ, инфраструктуры и алгоритмов. Это делает создание точных предупреждений реальной проблемой.

ENetrebin в 10:33, 14 августа 2024

2024-08-14T10:33:31Z

← Предыдущая версия		Версия от 10:33, 14 августа 2024
Строка 23:		Строка 23:
	Рассмотрим в качестве примера базовый куб приложения, созданный для расчета пороговых значений времени отклика. Предположим, у вас есть веб-приложение под названием «easyTravel». Немногомерная система выучит эталонное значение времени отклика всего приложения. Однако более детальный подход будет углубляться в каждое действие пользователя и изучать отдельное эталонное значение для каждого из них. Предположим, что easyTravel состоит из четырех пользовательских действий <code>login</code>, <code>logout</code>, <code>getBookingPage</code>и <code>getReportPage</code>. Для каждого действия пользователя будет указано отдельное базовое время отклика.		Рассмотрим в качестве примера базовый куб приложения, созданный для расчета пороговых значений времени отклика. Предположим, у вас есть веб-приложение под названием «easyTravel». Немногомерная система выучит эталонное значение времени отклика всего приложения. Однако более детальный подход будет углубляться в каждое действие пользователя и изучать отдельное эталонное значение для каждого из них. Предположим, что easyTravel состоит из четырех пользовательских действий <code>login</code>, <code>logout</code>, <code>getBookingPage</code>и <code>getReportPage</code>. Для каждого действия пользователя будет указано отдельное базовое время отклика.

	Помимо действий пользователя, Ключ-АСТРОМ учитывает географическое положение. Это означает, что Ключ-АСТРОМ AI определит базовые уровни для комбинаций каждого действия пользователя с каждой геолокацией. Базовое время отклика 90 мс может быть, например, базовым временем отклика для действия выхода из системы ~~в США~~. Но многомерность в Ключ-АСТРОМ AI идет еще глубже. Каждая геолокация сочетается с типом браузера, а каждый тип браузера, в свою очередь, сочетается с операционной системой, что в конечном итоге приводит к указанию отдельного порога для каждой комбинации действий пользователя, геолокации, браузера и операционной системы. Сгенерированный базовый куб обеспечивает высокий уровень детализации и точности.		Помимо действий пользователя, Ключ-АСТРОМ учитывает географическое положение. Это означает, что Ключ-АСТРОМ AI определит базовые уровни для комбинаций каждого действия пользователя с каждой геолокацией. Базовое время отклика 90 мс может быть, например, базовым временем отклика для действия выхода из системы. Но многомерность в Ключ-АСТРОМ AI идет еще глубже. Каждая геолокация сочетается с типом браузера, а каждый тип браузера, в свою очередь, сочетается с операционной системой, что в конечном итоге приводит к указанию отдельного порога для каждой комбинации действий пользователя, геолокации, браузера и операционной системы. Сгенерированный базовый куб обеспечивает высокий уровень детализации и точности.

	[[Файл:ambl1.png]]		[[Файл:ambl1.png]]

Nsaburov: /* Пример базового уровня */

2023-07-31T07:43:42Z

Пример базового уровня

← Предыдущая версия		Версия от 07:43, 31 июля 2023
Строка 79:		Строка 79:


	[[Файл:Image.png\|мини\|~~1123x1123пкс~~]]		[[Файл:Image.png\|мини\|993x993px]]


Строка 92:		Строка 92:

	Искусственный интеллект автоматически проверяет, соответствуют ли условия сезонной модели, и создает доверительный диапазон на основе сезонной модели. Как вы можете видеть на приведенной ниже диаграмме, модель распознает сезонность и не генерирует ложных тревог на пиках. Тем не менее, он все равно вызовет оповещение, если всплеск произойдет в другое время.		Искусственный интеллект автоматически проверяет, соответствуют ли условия сезонной модели, и создает доверительный диапазон на основе сезонной модели. Как вы можете видеть на приведенной ниже диаграмме, модель распознает сезонность и не генерирует ложных тревог на пиках. Тем не менее, он все равно вызовет оповещение, если всплеск произойдет в другое время.
	[[Файл:Baseline2.png\|мини\|~~1131x1131пкс~~]]		[[Файл:Baseline2.png\|мини\|885x885px]]

Nsaburov: /* Пример базового уровня */

2023-07-31T07:42:49Z

Пример базового уровня

← Предыдущая версия		Версия от 07:42, 31 июля 2023
Строка 80:		Строка 80:

	[[Файл:Image.png\|мини\|1123x1123пкс]]		[[Файл:Image.png\|мини\|1123x1123пкс]]

ENetrebin в 07:39, 31 июля 2023

2023-07-31T07:39:28Z

← Предыдущая версия		Версия от 07:39, 31 июля 2023
Строка 69:		Строка 69:

	Как правило, новые обнаруженные аномальные события в среде не обязательно приведут к немедленному срабатыванию предупреждения. Оповещения всегда дают представление об основной причине. Чтобы определить основные причины проблем, Ключ-АСТРОМ использует контекстно-зависимый подход для обнаружения взаимозависимых событий во времени, процессах, хостах, службах, приложениях, а также в вертикальной и горизонтальной топологической перспективе мониторинга. Принимая во внимание все эти перспективы мониторинга, Ключ-АСТРОМ точно определяет основные причины проблем. И только после этого будут генерироваться оповещения об обнаруженной проблеме.		Как правило, новые обнаруженные аномальные события в среде не обязательно приведут к немедленному срабатыванию предупреждения. Оповещения всегда дают представление об основной причине. Чтобы определить основные причины проблем, Ключ-АСТРОМ использует контекстно-зависимый подход для обнаружения взаимозависимых событий во времени, процессах, хостах, службах, приложениях, а также в вертикальной и горизонтальной топологической перспективе мониторинга. Принимая во внимание все эти перспективы мониторинга, Ключ-АСТРОМ точно определяет основные причины проблем. И только после этого будут генерироваться оповещения об обнаруженной проблеме.

			== Сезонные базовые линии ==
			Сезонные базовые линии представляют собой динамический подход к построению базовых показателей, при котором системы имеют различные сезонные модели. Примером сезонного шаблона является показатель, который повышается в рабочее время и остается низким вне его. В таком случае сложно настроить конфигурацию оповещения на основе статического или автоадаптивного порога. Если вы установите фиксированный порог, основанный на поведении рабочего времени, вы пропустите аномалию в нерабочее время. Искусственный интеллект изучает сезонное поведение ваших показателей и автоматически создает для него доверительный диапазон.

			Когда конфигурация события метрики включает несколько объектов, каждый объект получает свой собственный сезонный бейзлайн, и каждый базовый уровень оценивается независимо. Например, если область события включает пять сервисов, Ключ-АСТРОМ вычисляет и оценивает пять независимых базовых уровней.

			== Пример базового уровня ==
			Давайте проверим пример, в котором сезонный базовый уровень имеет преимущество перед несезонным порогом. На приведенной ниже диаграмме показано измерение пользовательских действий приложения. Как вы можете видеть, дневные пики отмечаются примерно в 8 утра. При оценке по автоадаптивному порогу эти пики приводят к ложноположительным результатам (красные метки над графиком).


			[[Файл:Image.png\|мини\|1123x1123пкс]]










			Искусственный интеллект автоматически проверяет, соответствуют ли условия сезонной модели, и создает доверительный диапазон на основе сезонной модели. Как вы можете видеть на приведенной ниже диаграмме, модель распознает сезонность и не генерирует ложных тревог на пиках. Тем не менее, он все равно вызовет оповещение, если всплеск произойдет в другое время.
			[[Файл:Baseline2.png\|мини\|1131x1131пкс]]









			== Параметры базовой модели ==
			Cезонные базовые линии используют значения показателей за каждую минуту в течение последних 14 дней в качестве эталона для расчета базового уровня. Модель изучает обычное поведение показателя и стремится обнаруживать регулярно повторяющиеся закономерности. Она использует вероятностный прогноз для вычисления доверительной полосы, которая охватывает ожидаемый диапазон будущей точки.

			Вы можете настроить ширину доверительной полосы с помощью параметра tolerance. Более высокий допуск означает более широкую доверительную полосу, что приводит к меньшему количеству запускаемых событий. Допустимый диапазон допуска составляет от <code>0.1</code> до <code>10</code>, <code>4</code> со значением по умолчанию.

			Как следует из названия, сезонная модель полезна для данных с сезонными закономерностями (например, дневными пиками). Поскольку он потребляет значительные ресурсы и требует больше времени для изучения поведения, существуют некоторые проверки для обеспечения оптимальной производительности. При проверке оценивается каждый кортеж (уникальные комбинации метрика—измерение—значение измерения). Если пропуск отсутствует, вместо него используется простая модель с соответствующим сообщением, отображаемым в предварительном просмотре.

			Простая модель вычисляет доверительный диапазон на основе надежной оценки распределения входных данных, и ее вычисленный интервал остается постоянным с течением времени. Для простой модели параметр tolerance управляет шириной доверительной полосы таким же образом, как и для сезонной модели.

			Если в метаданных метрики заданы границы метрики (минимальное или максимальное значение метрики), они автоматически учитываются в модели. Если границы метрики не заданы и входные данные содержат только положительные значения, модель автоматически устанавливает минимальное граничное значение <code>0</code>. Если найдено минимальное или максимальное значение, доверительный диапазон не превышает этого значения.

			Модель (будь то сезонная или простая) обновляется ежедневно.

			Другим важным параметром для сезонных базовых линий является скользящее окно, которое используется для сравнения текущих измерений с доверительным диапазоном. Он определяет, как часто должен нарушаться доверительный интервал в течение скользящего промежутка времени, чтобы вызвать событие (нарушения не обязательно должны быть последовательными). Такой подход помогает уменьшить количество ложных срабатываний при оповещении. Вы можете установить скользящее окно максимум на 60 минут.

			== Обучение базовой модели ==
			Модель сезонного базового уровня использует значения показателей за каждую минуту в течение последних 14 дней для обучения и обучается по кортежу (уникальные комбинации метрика—измерение—значение измерения). Обучение происходит ежедневно.

			На изображении ниже представлен обзор процесса обучения.


			[[Файл:Процесс обучения.png\|мини\|851x851пкс]]



			Первый шаг, проверка данных, гарантирует целесообразность обучения сезонной модели на данных показателей. Вот несколько причин для перехода к простой модели:

			* в данных много пропущенных значений
			* данные имеют много отклонений
			* данные недостаточно изменчивы
			* в данных не обнаруживается сезонности.

			Если эта проверка завершается неудачей, вместо нее используется простая модель. Если проверка прошла успешно, следующим шагом является предварительная обработка входных данных. На этом этапе данные подготавливаются для обучения модели квантильной регрессии, которая изучает сезонное поведение на основе трех основных характеристик данных:

			* Функции авторегрессии представляют собой исторические точки данных (небольшие пробелы интерполированы)
			* Особенности времени и суток определяют день или конкретное время суток, которые могут помочь изучить закономерность, происходящую только в определенный день
			* Сезонные закономерности описывают регулярно повторяющиеся шаблоны, извлеченные с помощью преобразования Фурье.

			Эти функции используются для обучения модели квантильной регрессии, вероятностной регрессионной модели, которая устойчива к выбросам из-за оценки квантилей.

			Следующим шагом является проверка модели, которая проверяет надежность прогнозируемых квантилей для подмножества данных. Если эта проверка завершается неудачей, вместо нее используется простая модель.

			После завершения обучения Ключ-АСТРОМ использует сезонную модель для обнаружения аномалий. Каждую минуту модель выдает прогноз на один шаг вперед доверительного интервала на следующую минуту. Как только поступает фактическая точка данных, прогнозируемый доверительный интервал сравнивается с фактическим значением, чтобы проверить, находится ли значение в пределах прогнозируемых границ.

ENetrebin в 10:58, 15 декабря 2022

2022-12-15T10:58:40Z

Внесённые изменения

ENetrebin: Новая страница: «.»

2022-11-18T17:20:24Z

Новая страница: «.»

Новая страница