Аномалии широко распространены, когда дело доходит до работы с данными. Они становятся жизненно важными во временных рядах. Поэтому крайне важно предложить эффективные методы их обнаружения и борьбы с ними. Эта статья иллюстрирует современную модель DGHL для обнаружения аномалий. DGHL включает ConvNet в качестве генератора и вместо кодирования максимизирует вероятность с помощью алгоритмов чередующегося обратного распространения.
Как вы знаете, временные ряды есть везде, в любой отрасли, о которой вы думаете. Мы все слышали о выбросах как о точках данных, которые находятся далеко от своих соседей или других точек (глобальные и локальные выбросы) и могут снизить точность и надежность нашей модели (а иногда и полезны 🤞); Этих аномалий необходимо избегать в реальном мире (датчики и т. д.).
Эти аномалии можно увидеть как в одномерных, так и в многомерных наборах данных временных рядов, как вы можете видеть на рисунке 1 (для обоих типов: точечный выброс, выброс подпоследовательности).
Теперь мы знаем, что такое Аномалия! Отличная работа!😉 Давайте в общих чертах рассмотрим общие методы обнаружения аномалий: декомпозиция STL, CART (деревья классификации и регрессии), на основе кластеризации, на основе расстояния, автоэнкодеры и т. д. (дополнительную информацию можно найти в обзоре статьи 1, 2, 3). Однако многочисленные методы имеют дело с потоковыми временными рядами; лишь немногие могут постепенно настроиться на эволюцию временного ряда.
В этой статье представлена новая модель (DGHL); другими словами, Глубокая генеративная модель, основанная на нисходящей сверточной сети(ConvNet), которая отображает многомерные окна данных в изящном иерархическое скрытое пространство. DGHL работает, делая наблюдаемую вероятность максимальнойнепосредственно с помощью алгоритма чередующегося обратного распространения и коротких запустить MCMC; следовательно, не нужно не полагаться на вспомогательные сети, такие как кодировщики или дискриминаторы.
Обратите внимание, что я не упомянул иллюстрацию математических уравнений, чтобы не сделать статью слишком длинной.
Глубокая генеративная модель с иерархическими скрытыми факторами (DGHL)
1. Иерархические скрытые факторы
Здесь мы можем обнаружить, что конкатенационный слойи сверточная сеть сверху вниз(ConvNet) получаются для модели состоянияи модели генератора соответственно(см. рис. 3).
На рисунке 3 мы можем видеть иерархическое скрытое пространство с a = [1,3,6]. Основным элементом в этом пространстве является использование динамикиза счет позволенияпроизводить реалистичные временные рядыпроизвольной длины, сохраняя при этом strong>долгосрочная динамика. Иерархическая структура может быть включена в виде гиперпараметров для настройкиили предварительно обучен.
Мы управляем моделью гибкостью за счет относительного размера вектора состояния самого нижнего уровня и верхние уровни.
2. Тренировка с чередующимся обратным распространением
Мы используем алгоритм альтернативного обратного распространениядля инструктирования параметров ΘDGHL, путем прямого повышения наблюдаемой логарифмической вероятности:
Алгоритм 1 демонстрирует алгоритм переменного обратного распространения с мини-пакетами. Здесь у нас есть дваразличных шага, включая 1. вывод обратного распространения 2. обучение обратному распространению. Вы можете увидеть его процедуру на следующем рисунке 4.
Единственным недостатком методов MCMC является стоимость вычислений. Между прочим, Langevin Dynamics зависит и полагается на градиенты функции Generator, которую можно легко реализовать с помощью PyTorch или TensorFlow.
3. Онлайн-обнаружение аномалий
Модель DGHL научилась создавать окна временных рядов на основе нашего обучающего набора данных (Y); Это позволяет модели изучать нормальные(неаномальные) последовательные данные и отношения среди различных временных рядов. Здесь я опишу метод, используемый для перестроения windows на незамеченных тестовыхданных Y. >ᵗᵉˢᵗ в процессе обнаружения аномалий.
Тестовый набор Yᵗᵉˢᵗ используется в качестве потока m временных рядов в Онлайн-обнаружение аномалий. Как и в наборе обучающих данных, мы разделяем Yᵗᵉˢᵗ на последовательные окнас теми же параметрами Sw и S. Здесь оценки аномалий в едином окне рассчитываются каждый раз.
Существует новая стратегия, которая делает DGHLвыдающимся; минимизация условия перестроения ошибки на обученных моделях F и G является результатоммаксимизацииапостериорного режима, который является соответствием из предполагаемых факторов.
4. Онлайн-обнаружение аномалий с отсутствующими данными
На рисунке 4. (Алгоритм ABP) видно, что первый шаг заключается в выводе скрытых векторов с помощью Динамика Ланжевена. Алгоритм может обрабатывать отсутствующие данные путем получения Z путем вычисления остатковтолько для наблюдаемый сигнал Yₒᵦₛ. Производные векторы утверждают образцы апостериорного условного распределения на сигнале.
Удивительно, что генеративные модели (обученные на основе алгоритма ABP) показали лучшие результаты, чем VAE и GAN, когда данные имели пропущенные значения как в задачах CV, так и в задачах NLP.
Пример перекрытых данных показан на рис. 5. Перекрытые сегменты отмечены серым цветом. Мы легко можем видеть, что DGHL восстановил данные со значительной точностью, даже несмотря на то, что в те периоды, когда большая часть данных была пропущена. Это важно для задачи обнаружения аномалий, поскольку данные толькоиспользуются для расчета оценки аномалий.
Кроме того, мы видим, что алгоритм может восстанавливатьотсутствующие точки данных,что удивительно для идеальных конвейеровс нисходящими приложениями.
Наборы данных
В этом проекте использовались 4 набора данных:
- Набор данных серверных машин (SMD): многомерный набор данных с 38 функциями для 28 серверных машин, представленный в PAPER.
2$3.Активно-пассивный спутник для определения влажности почвы (SMAP) и марсоход Mars Science Laboratory (MSL): SMAp Включает 55 наборов данных многомерных временных рядов, каждый из которых включает 24 переменные. MSL содержит 27 наборов данных, каждый из которых содержит 54 переменные.
4.Безопасная очистка воды (SWaT): общедоступный набор данных об испытательном стенде по очистке воды. Набор данных доступен здесь.
Точность
Мы можем видеть, что модель DGHL сравнивается с рядом других методов на рисунке 6, что показывает выдающуюся оценку F1.
Основная ссылка
- Чаллу, К. и др., Модель глубокой генерации с иерархическими скрытыми факторами для обнаружения аномалий временных рядов. Препринт arXiv arXiv:2202.07586, 2022.
Надеюсь, вам понравилась эта статья. Пожалуйста, не стесняйтесь обращаться ко мне напрямую через Twitter или LinkedIn по любой причине. Если вы обнаружите какие-либо ошибки, сообщите мне об этом. Эта статья написана для моих будущих проектов.
