Polaris6G's blog

Stay humble,stay hungry.

0%

时序异常检测学习

Posted on Valine:

异常检测算法学习路径

异常检测

基于社区算法的参数分组技术

  • 相关性图构建：利用Pearson和MIC来筛选出相关度高的属性分组，根据阈值进行连边

  • 划分相关参数团：采用Louvin社区发现算法对相关性图进行划分

  • 密集子团过滤：相关参数团通过计算图的联通分量进行必要的剪枝处理

预测型和重构型

理解预测型（Prediction-based）和重构型（Reconstruction-based）方法的区别，关键在于它们任务目标、模型结构和异常判据的差异。以下是两者的对比分析：

1. 核心思想对比

方法类型 任务目标 异常判据
预测型 基于历史时序数据，预测下一时刻或未来序列的正常值。 预测值与实际值的误差（如MSE）越大，判定为异常的概率越高。
重构型 基于当前或历史时序数据，重建当前时刻或历史窗口的正常数据分布。 输入数据与重建数据的误差越大，判定为异常的概率越高。

关键区别

  • 预测型：模型是“向前看”的，目标是学习历史→未来的映射规律（时序预测）。
  • 重构型：模型是“向后看”的，目标是学习输入→输入的压缩-重建规律（数据表征）。

2. 模型结构与数据利用方式

(1) 预测型方法（如LSTM、RNN）

  • 模型结构：
    输入历史窗口数据（如 X**t−k:t​），输出未来时刻的预测值（如 X^t+1​）。
  • 数据关系：
    关注时间维度的依赖关系（如周期性、趋势性）。
    例如：用过去10分钟的温度序列，预测下一分钟的温度。
  • 典型应用：
    强时序依赖场景（如传感器监测、股票价格预测）。

(2) 重构型方法（如自编码器、VAE）

  • 模型结构：
    输入当前或历史窗口数据（如 $||X_{t - k:t}||$），输出对同一窗口的重建数据（如 $||X_{t - k:t}||$）。
  • 数据关系：
    关注变量维度的关联性（如多元变量间的依赖关系）和时序局部模式。
    例如：用当前时刻的CPU、内存、磁盘IO数据，重建同一时刻的多元变量。
  • 典型应用：
    多变量关联复杂场景（如服务器监控、工业设备故障检测）。

3. 误差计算方式对比

预测型

  • 误差公式：Error=$||X_{t+1} - \hat{X_{t+1}}||^2$
  • 特点：
    仅对单个未来时刻计算误差，适合检测突发异常（如骤升/骤降）。

重构型

  • 误差公式：Error=$||X_{t - k:t} - \hat{X_{t - k:t}}||^2$
  • 特点：
    对整个输入窗口计算误差，适合检测长期模式偏离（如变量关联性破坏）。

4. 适用场景对比

场景特征 预测型更优 重构型更优
数据特性 强时序依赖（如温度、流量） 多变量关联复杂（如CPU-内存-磁盘IO）
异常类型 突发异常（如峰值、骤降） 模式偏离（如变量关系异常）
实时性要求 需快速响应未来时刻的异常 需综合分析当前窗口的整体异常

5. 实例说明

(1) 预测型案例：电力负荷预测异常检测

  • 任务：预测未来1小时的用电负荷。
  • 异常检测逻辑：
    • 正常情况：历史负荷数据有周期性（如早晚高峰），模型能准确预测下一时刻负荷。
    • 异常情况：若某时刻实际负荷远高于预测值（如电网故障），则判定为异常。

(2) 重构型案例：服务器多指标异常检测

  • 任务：基于CPU、内存、磁盘IO重建当前状态。
  • 异常检测逻辑：
    • 正常情况：CPU利用率高时，内存和磁盘IO通常同步升高（变量关联性）。
    • 异常情况：CPU利用率高但磁盘IO极低（如磁盘故障），重建误差显著增大。

6. 优缺点对比

方法类型 优点 缺点
预测型 直接捕捉时序因果性，适合检测突发异常。 依赖时序的强规律性，对多变量关联性建模能力弱。
重构型 能建模变量间复杂关系，适合检测模式偏离。 可能过度泛化（异常数据被较好重建），需额外机制（如GAN、记忆模块）提升鲁棒性。

总结

  • 预测型：像一名“预言家”，通过历史规律预测未来，关注时间维度的连续性。
  • 重构型：像一名“修复师”，通过压缩-重建理解数据本质，关注变量维度的关联性。
  • 选择依据：根据数据特性（时序性 vs. 多变量关联性）和异常类型（突发 vs. 模式偏离）决定。

表征学习

表征学习（Representation Learning）是机器学习的核心分支之一，其核心目标是自动从原始数据中提取高层次、有意义的特征表示，替代传统方法中依赖人工设计特征的过程。在异常检测中，表征学习通过深度网络学习数据的本质结构，使得正常数据和异常数据在特征空间中更容易区分。

一、表征学习的核心思想

  1. 特征自动提取
    无需人工设计统计特征（如均值、方差），而是通过神经网络自动学习数据的低维稠密表示​（即“嵌入向量”），这些表示能捕捉数据的关键模式（如时序依赖、变量关联性）。
  2. 优化目标
    通过设计损失函数，使同类数据（如正常样本）在特征空间中聚集，不同类数据（如异常样本）​远离。
  3. 可解释性增强
    部分方法（如DAGMM、interFusion）通过概率建模或归因分析，解释哪些特征或变量对异常检测贡献最大。

二、在异常检测中的应用

1. 典型流程

  • 步骤1：用深度网络（如TS2Vec）将原始数据（如时间序列）映射为低维特征向量。
  • 步骤2：基于特征向量计算异常得分（如距离、概率密度）。
  • 步骤3：根据得分阈值判定异常。

2. 与传统方法的对比

方法 特征来源 优势
传统方法 人工设计统计特征 简单直观，但依赖专家经验，易遗漏复杂模式。
表征学习 自动学习特征表示 捕捉复杂非线性关系，解决维度灾难。

三、典型模型与原理

1. TS2Vec：时间序列嵌入

  • 核心思想
    通过对比学习（Contrastive Learning），将时间序列的不同子序列（如滑动窗口）映射为低维向量，使得相邻子序列的嵌入相似，非相邻子序列的嵌入差异大。
  • 异常检测
    异常时序的嵌入向量会偏离正常区域，通过计算与正常簇的距离判定异常。

2. DAGMM：深度自编码高斯混合模型

  • 核心思想

    结合自编码器（特征提取）和高斯混合模型（概率建模）：

    1. 自编码器将输入压缩为低维特征。
    2. 高斯混合模型（GMM）对特征空间建模，计算样本属于各高斯分布的概率。
    3. 使用EM算法迭代优化，最大化似然函数。

  • 异常得分
    异常样本的概率密度低（偏离GMM分布）。

3. interFusion：可解释的多元时序异常检测

  • 核心思想
    1. 用马尔科夫链蒙特卡罗（MCMC）方法学习正常数据的联合分布。
    2. 检测时，计算每个变量的条件概率，定位导致异常的具体指标。
  • 可解释性
    例如：服务器监控中，明确显示是CPU、内存还是磁盘IO偏离正常模式。

四、表征学习的优势与挑战

优势

  1. 自动化特征提取
    避免人工设计特征的繁琐，适应复杂数据（如高维、非线性时序）。
  2. 维度灾难缓解
    通过低维嵌入减少冗余信息，提升计算效率。
  3. 可解释性改进
    结合概率模型或归因方法（如MCMC）解释异常来源。

挑战

  1. 模型复杂性
    深度网络需要大量数据和计算资源。
  2. 解释性局限
    部分黑盒模型（如TS2Vec）仍需借助外部工具解释。
  3. 类别不平衡
    异常样本稀少时，特征空间可能偏向正常数据。

五、与其他方法的对比

方法类型 关注重点 典型模型 适用场景
预测型 时序因果性（历史→未来） LSTM、Transformer 强时序依赖（如电力负荷预测）
重构型 输入→重建（压缩-恢复） Autoencoder、VAE 多变量关联复杂（如设备监控）
表征学习型 数据→特征空间（嵌入表示） TS2Vec、DAGMM 高维数据、需解释性（如医疗）

总结

表征学习通过自动化特征提取和低维嵌入，为异常检测提供了更灵活、可扩展的解决方案。其在可解释性（如interFusion）和复杂模式捕捉（如TS2Vec）上的优势，使其在工业监控、医疗诊断等领域逐渐成为主流方法。然而，模型复杂性和数据依赖性仍是实际应用中的挑战。

Embedding和表征学习的区别

Embedding（嵌入）是表征学习（Representation Learning）的核心技术之一，属于表征学习的具体实现手段。以下是详细解释：

1. 什么是Embedding？

  • 定义：Embedding是将高维、离散或复杂数据（如文本、图结构、时间序列等）映射到低维连续向量空间的过程。生成的向量（即嵌入向量）能够保留原始数据的语义或结构信息。
  • 典型应用：
    • 词嵌入（Word2Vec、GloVe）：将词语映射为向量，使语义相似的词在向量空间中距离接近。
    • 图嵌入（Node2Vec）：将图中的节点或边表示为低维向量。
    • 时间序列嵌入（TS2Vec）：将时间序列片段映射为向量，捕捉时序模式。

2. Embedding与表征学习的关系

(1) Embedding是表征学习的子集

  • 表征学习：泛指从数据中自动学习有用特征的所有方法，包括但不限于：
    • 自编码器（Autoencoder）的压缩表示。
    • 卷积神经网络（CNN）的视觉特征。
    • Embedding生成的向量表示。
  • Embedding：特指通过特定算法（如神经网络、矩阵分解）生成的低维稠密向量，是表征学习的一种具体技术。

(2) 核心目标一致

  • Embedding和表征学习的共同目标是将数据转换为更容易被机器学习模型处理的形式，同时保留关键信息。例如：
    • 图像分类中，CNN的最后一层输出是表征学习的特征。
    • 在自然语言处理中，词嵌入是文本的表征学习结果。

3. 为什么说Embedding属于表征学习？

(1) 特征自动提取

Embedding无需人工设计特征，而是通过模型（如神经网络）自动学习数据中的潜在规律。例如：

  • 词嵌入：通过上下文预测任务（如Word2Vec），模型自动学习词语的语义相似性。
  • 时间序列嵌入：通过对比学习（如TS2Vec），模型自动学习时序片段的相似性。

(2) 解决维度灾难

将高维稀疏数据（如One-Hot编码的文本）映射为低维稠密向量，减少冗余并提升计算效率。

(3) 支持下游任务

学习到的嵌入向量可直接用于分类、聚类、异常检测等任务。例如：

  • 用词嵌入向量计算句子相似度。
  • 用时间序列嵌入检测异常片段（异常向量偏离正常簇）。

4. 表征学习的其他形式（非Embedding）

并非所有表征学习都生成Embedding，其他方法包括：

  1. 自编码器的隐空间表示
    通过编码器将输入压缩为低维向量，但目标是通过解码器重建输入（而Embedding不一定需要重建任务）。
  2. CNN的中间层特征
    例如ResNet的某一层输出作为图像的特征表示。
  3. 概率模型的潜在变量
    如变分自编码器（VAE）中学习的潜在分布参数。

5. Embedding在异常检测中的典型应用

(1) TS2Vec（时间序列嵌入）

  • 原理：将时间序列片段映射为向量，正常时序的嵌入在空间中聚集，异常嵌入偏离正常区域。
  • 异常得分：计算嵌入向量与正常簇中心的距离（如欧氏距离）。

(2) DAGMM（深度自编码高斯混合模型）

  • 原理：先用自编码器生成低维嵌入，再用高斯混合模型（GMM）建模嵌入空间分布。
  • 异常得分：异常样本在GMM中的概率密度较低。

(3) 图嵌入异常检测

  • 原理：将图中的节点映射为向量，异常节点（如孤岛节点）的嵌入远离大多数节点。
  • 应用：社交网络中的虚假账号检测。

6. Embedding vs. 传统特征工程

方法 特征来源 优势
传统特征工程 人工设计统计特征（如均值、方差） 可解释性强，但依赖专家经验，难以捕捉复杂模式。
Embedding 自动学习低维向量 捕捉非线性关系，泛化能力强，减少人工干预。

总结

  • Embedding是表征学习的一种重要技术，专注于生成低维、稠密且语义丰富的向量表示。
  • 表征学习范围更广，包括Embedding、自编码器、CNN特征提取等多种方法。
  • 在异常检测中，Embedding通过将数据映射到可解释的低维空间，帮助模型更高效地捕捉异常模式。

商业计划书

一、医疗行业

应用场景

  1. 电子病历查询与分析
    • 医生或研究人员可通过自然语言快速检索患者病历，例如“查找2024年诊断为糖尿病的患者数量及用药记录”，自动生成包含多表联查的SQL语句。
    • 技术缺口：需处理医疗术语的歧义性（如“高血压”可能对应不同ICD编码），且需满足HIPAA等隐私合规要求。
  2. 医学影像数据管理
    • 通过自然语言描述影像特征（如“显示最近三个月CT影像中肺部结节直径大于5mm的患者”），生成高效检索SQL，优化PACS系统性能。

意向客户

  • 医疗信息化服务商：如东软医疗、卫宁健康，需集成Text-to-SQL至HIS（医院信息系统）中，提升非技术人员的数据访问效率。
  • 基因测序公司：华大基因等需处理TB级基因数据，通过自然语言查询加速科研分析。

二、军工行业

应用场景

  1. 武器系统数据模拟与日志审计
    • 生成复杂战场环境数据的模拟查询（如“统计某型号导弹在高温环境下的故障率”），并确保加密日志的合规存储与访问控制。
    • 技术缺口：需支持多节点数据库的实时同步，并防御SQL注入攻击。
  2. 卫星遥测数据分析
    • 航天科工等企业需从海量遥测数据中提取关键指标（如“筛选某卫星过去24小时温度异常的数据”），优化查询性能。

意向客户

  • 军工软件开发商：中国电子科技集团下属企业，需在指挥系统中嵌入Text-to-SQL，提升战场决策效率。
  • 涉密单位：如航空航天研究所，需结合国密标准实现安全可控的SQL生成。

三、金融行业

应用场景

  1. 高频交易与风控模型验证
    • 模拟千万级交易订单生成SQL（如“统计过去5分钟交易额前10的股票”），验证数据库事务处理能力。
    • 技术缺口：需处理嵌套子查询和窗口函数等复杂语法，且需满足低延迟要求。
  2. 客户行为分析与反欺诈
    • 通过自然语言生成聚合查询（如“统计同一IP地址的异常登录次数”），支持实时风控决策。

意向客户

  • 证券交易平台：如东方财富、同花顺，需优化实时行情数据的查询效率。
  • 金融科技公司：蚂蚁集团等需在分布式数据库中实现跨表联合查询的自动化生成。

四、电商行业

应用场景

  1. 用户行为分析与推荐系统优化
    • 将点击流数据转化为SQL（如“统计用户浏览但未购买的商品TOP”），支持个性化推荐算法迭代。
    • 技术缺口：需处理高并发场景下的查询性能瓶颈，如“双11”秒杀活动的库存扣减事务。
  2. 跨境物流数据管理
    • 顺丰等物流企业需支持多语言查询（如“查询从中国发往美国的包裹平均运输时长”），兼容多货币和时区数据。

意向客户

  • 头部电商平台：如阿里巴巴、京东，需通过Text-to-SQL优化大促期间的数据库吞吐量。
  • 独立站技术服务商：Shopify合作伙伴需为中小商家提供低代码数据查询工具。

五、技术缺口与解决方案

  1. 复杂查询处理能力不足
    • 现状：现有模型对嵌套子查询、外连接等复杂操作支持有限。
    • 解决方案：采用检索增强生成（RAG）技术，结合ReAct机制迭代修正SQL（如诺谛智能的竞赛方案）。
  2. 跨领域泛化能力弱
    • 现状：医疗与金融领域的术语差异导致模型迁移成本高。
    • 解决方案：通过多领域数据训练与垂直领域微调（如数栈的模块化设计）。
  3. 数据安全与隐私合规
    • 现状：军工和金融行业需加密查询日志并限制权限。
    • 解决方案：本地化部署大模型（如阿里云OpenSearch-SQL的私有化方案）。

典型客户案例参考

  1. 医疗：诺谛智能的对话式分析平台，助力某三甲医院临时问询效率提升90%。
  2. 金融：阿里云OpenSearch-SQL在BIRD榜单中优化高频交易查询延迟。
  3. 电商：Spring AI实现的Netflix节目数据库查询，准确生成过滤条件SQL。

文献阅读

双视角：

  • Anomaly Transformer
  • DCDetecor
  • BYOL
  • SimSiam
维度 BYOL SimSiam
网络结构 双网络（在线+目标） + 动量更新 单对称网络 + 梯度截断
参数更新 目标网络通过EMA更新 无动量更新，直接共享权重
负样本依赖 完全无负样本 完全无负样本
防坍缩关键 动量更新 + 预测头 梯度截断 + 预测头非对称
计算开销 较高（需维护双网络） 较低（单网络+轻量预测头）
典型应用 ImageNet预训练、多模态对齐 小规模数据集、轻量化部署

Anomaly Transformer

创新点：

  • 架构：Anomaly Transformer的Anomaly-Attention模块
  • 训练策略：Minimax Association Learning
  • Criterion：异常检测分数创新

论文解读：

https://blog.csdn.net/lyj19941231/article/details/123994042

https://www.bilibili.com/video/BV17L411A7dJ/

DCDetector

创新点：

  • 第一，构造对比学习中的两个View。
  • 第二，模仿BYOL，SimSiam这类不需要负样本的对比学习方法。
  • 第三，使用Contrastive Loss来进行对比学习。

基于强化学习的方式

DAEMON

DAEMON: Unsupervised Anomaly Detection and Interpretation for Multivariate Time Series