检测数据异常值的五种统计技术

作者:databook日期:2026/9/27

处理数据的时候,最让人头大的往往不是复杂的模型调参,而是那些藏在角落里的异常值。

你是不是也遇到过这种糟心事:明明业务逻辑看着没毛病,一跑统计指标就飘红;或者模型效果突然断崖式下跌,排查半天发现是几个极端值在捣乱。

今天我们来聊聊最常用的 5 种异常值检测方法:Z-Score、IQR、LOF、Isolation Forest、马氏距离。

通过这篇文章,你将看到:

  • 什么数据形态该用哪种异常值检测方法。
  • 怎么用 Python 快速进行异常值检测并跑出结果。
  • 怎么把代码套到自己的业务数据上。

下面我们一一来看。

1. Z-Score:用标准差倍数判断异常值

Z-Score 是最简单的一种,它算每个点和均值的距离,相当于几个标准差。一般 |Z| > 3 就算异常。

适合单变量、分布接近正态的数据。

下面拿北京地铁某站早高峰每分钟进站人数举例。

正常情况每分钟一百多人,偶尔会有突发大客流或临时限流。

下面造 200 个正常值,围绕 120 波动,再塞 280、20、300 三个极端值。

1import numpy as np
2
3np.random.seed(42)
4normal = np.random.normal(120, 15, 200)
5data = np.concatenate([normal, [280, 20, 300]])
6
7mean = np.mean(data)
8std = np.std(data)
9z_scores = (data - mean) / std
10outlier_indices = np.where(np.abs(z_scores) > 3)[0]
11
12print("Z-Score 异常值:")
13for idx in outlier_indices:
14    print(f"索引 {idx}, 值 {data[idx]:.2f}, Z={z_scores[idx]:.2f}")
15
1Z-Score 异常值:
2索引 200, 值 280.00, Z=6.95
3索引 201, 值 20.00, Z=-4.38
4索引 202, 值 300.00, Z=7.82
5

跑完的输出里,280、20、300 的 Z 值绝对值都超过 3,会被标出来,正常点基本不会误报。

这种单变量、近似正态的场景,Z-Score 简单直接,够用。

2. IQR:用四分位距判断异常值

IQR 不依赖均值和标准差,它看中间 50% 的数据范围。

超出 Q1 - 1.5 * IQR 或 Q3 + 1.5 * IQR 的点算异常。

适合偏态分布,或者有极端值的数据。

拿成都某小区住户月度电费举例。

大多数住户几十到两三百,少数开民宿、挖矿或者空调常开的,电费特别高。

电费本身是偏态的,用 IQR 比 Z-Score 稳。

1import numpy as np
2
3np.random.seed(1)
4normal = np.random.gamma(shape=4, scale=30, size=300)
5data = np.concatenate([normal, [2000, 5000, 8000]])
6
7q1 = np.percentile(data, 25)
8q3 = np.percentile(data, 75)
9iqr = q3 - q1
10lower_bound = q1 - 1.5 * iqr
11upper_bound = q3 + 1.5 * iqr
12
13outliers = data[(data < lower_bound) | (data > upper_bound)]
14
15print(f"Q1={q1:.2f}, Q3={q3:.2f}, IQR={iqr:.2f}")
16print(f"下界={lower_bound:.2f}, 上界={upper_bound:.2f}")
17print("IQR 异常值:", outliers)
18
1Q1=77.89, Q3=161.82, IQR=83.93
2下界=-48.01, 上界=287.72
3IQR 异常值: [ 289.37700599  289.53075874  289.93834029  328.543792   2000.
4 5000.         8000.        ]
5

跑完会看到上界通常在两三百左右,2000、5000、8000 这些高额电费会被抓出来,少数正常偏高的电费也可能被带上。

整体上 IQR 对偏态数据比较抗干扰,适合先做一轮粗筛。

3. LOF:用局部密度判断异常值

LOF 看的是局部密度。它比较一个点和它邻居的密度,如果明显比周围稀疏,就认为异常。

适合多变量、局部密度不一样的数据。

拿杭州共享单车停放点早高峰借还车量举例。

正常站点借车和还车量大致都在 30 左右,少数站点借车量极高、还车量极低,或者反过来。

这种异常不看单列数值,而是看组合和周围像不像。

1import numpy as np
2from sklearn.neighbors import LocalOutlierFactor
3
4np.random.seed(42)
5normal = np.random.normal([30, 30], [5, 5], size=(200, 2))
6outliers = np.array([[5, 80], [85, 10], [90, 90], [10, 10]])
7data = np.vstack([normal, outliers])
8
9lof = LocalOutlierFactor(n_neighbors=20, contamination=0.02)
10labels = lof.fit_predict(data)
11outlier_indices = np.where(labels == -1)[0]
12
13print("LOF 异常点:")
14for idx in outlier_indices:
15    print(f"索引 {idx}, 借车量={data[idx][0]:.1f}, 还车量={data[idx][1]:.1f}")
16
1LOF 异常点:
2索引 104, 借车量=32.6, 还车量=49.3
3索引 200, 借车量=5.0, 还车量=80.0
4索引 201, 借车量=85.0, 还车量=10.0
5索引 202, 借车量=90.0, 还车量=90.0
6索引 203, 借车量=10.0, 还车量=10.0
7

跑完输出里,像 (5,80)、(85,10)、(90,90)、(10,10) 这种和正常站点密度明显不同的点会被标出来。

LOF 的好处是不要求全局统一分布,能找出局部行为异常的站点。

4. Isolation Forest:用随机隔离判断异常值

Isolation Forest 的思路是随机切分数据,异常点因为稀疏,通常几步就被单独隔离出来。适合数据量大、维度高的场景。

拿 618 电商订单举例。正常订单金额几十到几百,商品件数 1 到 5 件。异常订单可能是刷单、大额采购或恶意测试,金额和件数组合很离谱。

1import numpy as np
2from sklearn.ensemble import IsolationForest
3
4np.random.seed(7)
5n = 1000
6amount = np.random.normal(200, 80, n).clip(20, 800)
7items = np.random.poisson(2, n) + 1
8normal = np.column_stack([amount, items])
9
10outliers = np.array([
11    [9999, 100],
12    [0.01, 500],
13    [5000, 1],
14    [3000, 200]
15])
16data = np.vstack([normal, outliers])
17
18iso = IsolationForest(contamination=0.01, random_state=42)
19labels = iso.fit_predict(data)
20outlier_indices = np.where(labels == -1)[0]
21
22print("Isolation Forest 异常订单:")
23for idx in outlier_indices:
24    print(f"索引 {idx}, 金额={data[idx][0]:.2f}, 件数={data[idx][1]:.0f}")
25
1Isolation Forest 异常订单:
2索引 47, 金额=379.81, 件数=1
3索引 186, 金额=90.41, 件数=7
4索引 267, 金额=224.73, 件数=9
5索引 658, 金额=356.52, 件数=6
6索引 660, 金额=109.25, 件数=8
7索引 662, 金额=329.58, 件数=9
8索引 888, 金额=60.75, 件数=9
9索引 1000, 金额=9999.00, 件数=100
10索引 1001, 金额=0.01, 件数=500
11索引 1002, 金额=5000.00, 件数=1
12索引 1003, 金额=3000.00, 件数=200
13

跑完输出里,9999 元 100 件、0.01 元 500 件、5000 元 1 件、3000 元 200 件这些订单会被标出来。

因为 contamination 设成 0.01,可能还会误伤少量正常订单。

总体看,Isolation Forest 跑得快,适合先在大数据里筛可疑样本。

5. 马氏距离:用协方差结构判断异常值

马氏距离考虑变量之间的协方差。单看某一项可能正常,组合起来很怪,它就能抓出来。

适合多变量且变量之间有相关性的数据。

拿某高中体测数据举例。身高、体重、肺活量三个变量有关联。

正常情况身高越高,体重和肺活量通常也会高一些。

下面造 300 条正常记录,再塞三条组合很怪的数据。

1import numpy as np
2from scipy.spatial.distance import mahalanobis
3
4np.random.seed(42)
5n = 300
6height = np.random.normal(170, 6, n)
7weight = 60 + 0.7 * (height - 170) + np.random.normal(0, 5, n)
8lung = 3500 + 30 * (height - 170) + np.random.normal(0, 300, n)
9normal = np.column_stack([height, weight, lung])
10
11outliers = np.array([
12    [170, 120, 2000],
13    [150, 80, 5000],
14    [190, 45, 3000]
15])
16data = np.vstack([normal, outliers])
17
18mean = np.mean(data, axis=0)
19cov = np.cov(data, rowvar=False)
20inv_cov = np.linalg.inv(cov)
21
22distances = np.array([mahalanobis(x, mean, inv_cov) for x in data])
23threshold = np.percentile(distances, 97.5)
24outlier_indices = np.where(distances > threshold)[0]
25
26print("马氏距离异常体测记录:")
27for idx in outlier_indices:
28    print(f"索引 {idx}, 身高={data[idx][0]:.1f}, 体重={data[idx][1]:.1f}, 肺活量={data[idx][2]:.0f}, 距离={distances[idx]:.2f}")
29
1马氏距离异常体测记录:
2索引 46, 身高=167.2, 体重=50.8, 肺活量=2608, 距离=2.87
3索引 74, 身高=154.3, 体重=59.8, 肺活量=2606, 距离=3.33
4索引 179, 身高=186.3, 体重=77.0, 肺活量=4176, 距离=3.08
5索引 209, 身高=193.1, 体重=72.0, 肺活量=3925, 距离=3.82
6索引 262, 身高=150.6, 体重=50.7, 肺活量=3381, 距离=3.31
7索引 300, 身高=170.0, 体重=120.0, 肺活量=2000, 距离=10.35
8索引 301, 身高=150.0, 体重=80.0, 肺活量=5000, 距离=8.29
9索引 302, 身高=190.0, 体重=45.0, 肺活量=3000, 距离=6.06
10

跑完输出里,身高 170、体重 120、肺活量 2000;

身高 150、体重 80、肺活量 5000;

身高 190、体重 45、肺活量 3000 这种组合会被标出来。

因为阈值取 97.5 百分位,可能还会带上少量边缘正常记录。

马氏距离适合处理变量有关联的多维异常检测,但协方差估计不准时结果会受影响。

总结

怎么选这 5 种方法?

  • Z-Score:单变量,近似正态分布,最省事。
  • IQR:单变量,偏态分布,或者有极端值,比较稳。
  • LOF:多变量,数据有局部密度差异,适合找“周围不一样”的点。
  • Isolation Forest:数据量大、维度高,想快速筛异常,优先用。
  • 马氏距离:多变量之间有明显相关性,需要把相关性考虑进去。

注意:不管用哪种方法,最后都要结合业务进一步来判断是否异常值,不能只看算法结果。


参考文档


《检测数据异常值的五种统计技术》 是转载文章,点击查看原文。


相关推荐


机器学习:决策树1--ID3决策树和C4.5决策树
tellmewhoisi2026/9/19

公式 (信息)熵 = ∑ -分类占比 * log 2(分类占比) 信息增益 实际案例:信息增益 实际案例:信息增益率 为啥选择信息增益率,不用信息增益?信息增益弊端是啥 因为信息增益等于 熵 - 条件熵 在 实际案例:信息增益率 中可以看出来,一个特征如果分类多(特征b),他的条件熵很小,一个特征如果分类少(特征a),他的条件熵很大。 但是无论特征多,还是特征少,他们的熵是一致的。 所以 信息增益等于熵 - 条件熵 的情况,会一直选择 特征分类多的。 特征分类越多,模型越容易在训练集


误推 master 该 revert 还是 reset?撤销与补 MR 流程
是2的10次方啊2026/9/11

前两天开发完一个功能,习惯性 git commit、git push——刷新远程,提交直接落在了 master。CI 已经跑了一分钟,群里有人问谁合的。 一句话结论:已 push 到共享 master → git revert;只在本地、还没 push → git reset。 一、revert 和 reset 怎么选 git revertgit reset做法新增反向 commit,原 commit 仍在移动分支指针,可抹掉 commit远程


【AI 应用 -- 白话大模型(篇八)】《从零系统学习 AI Skill之起源发展、文件结构、编写原则、机制原理与项目实战案例》
j7~2026/9/3

Skill 1.背景 关键时间时间线 从 2023 年到 2026 年,AI 大模型 “调用工具” 和 “执行任务” 的能力经历了四次关键跃迁。这条时间线记录了从工具调用雏形到多代理生态平台的完整技术路径。 2023.06|OpenAI Function Calling —— 工具调用的雏形 这是最早让 AI 模型能够主动请求调用外部函数的标准化接口,首次赋予大模型与外部系统交互的能力,为后续所有工具调用协议奠定基础。2024.11|Anthropic MCP —— 连接工具与数据


Apple Foundation Models PCC 申请与使用:从权限到真机验证
沐风AI2026/8/26

Apple 又送钱来了。 如果你正在开发 iOS 或 macOS App,想给用户加入总结、改写、翻译、文档问答等能力,Apple Foundation Models 的 PCC 方案值得认真看一遍。它的关键价值不是“又多了一个大模型 API”,而是:在符合条件并拿到权限之后,App 可以通过原生 Swift 框架访问 Apple 的 Foundation Model,不要求你在客户端塞入 OpenAI、Claude 或 Gemini 的 API Key。 但这件事也最容易被一句“无需 AP


Vue3 表单编辑器:左侧控件菜单 + 中间编辑区的拖拽全流程实现
今天吃了嘛o2026/8/13

Vue3 表单编辑器:左侧控件菜单 + 中间编辑区的拖拽全流程实现 基于 Vue3 + vuedraggable + Pinia 实现的表单编辑器,涵盖从左侧菜单拖拽添加控件、点击添加、中间区域排序调换、复制删除、切换题型等核心交互。本文只摘取代表性代码,梳理整体流程和设计思路。 目录 一、整体架构与数据流二、技术选型三、左侧控件菜单(form_menu_drag.vue)四、中间编辑区(form_render_drag.vue)五、Pinia Store 核心方法(edit


分链路差异化设计的DSP准实时数仓|钛动科技基于阿里云实时计算 Flink 版 + DLF Paimon + EMR Serverless StarRocks 的实践
阿里云大数据AI技术2026/8/4

作者:赵阳,钛动科技 DSP 大数据架构团队 在 DSP 广告业务中,数据链路需要同时支撑在线投放、计费、Ad-hoc 分析和 BI 报表等多类场景。不同场景对数据新鲜度、查询延迟、回刷能力和存储成本的要求差异很大。如果继续用一套统一链路承载所有数据,系统很容易在成本、性能和稳定性之间相互牵制。 钛动科技 DSP 广告链路的核心数据流可以概括为:Request、Response、Impression、Click 和 Postback。随着业务规模增长,原有架构逐渐暴露出三个问题:数据规模持续扩


Java Undertow 实战指南:从轻量 Web Server 到 Spring Boot 嵌入式容器
唐青枫2026/7/27

简介 Undertow 是一个轻量级 Java Web Server。 它可以直接嵌入到 Java 代码里运行,也可以作为 Servlet 容器使用,还曾经是 WildFly 的默认 Web Server。 简单理解: Undertow = 轻量 HTTP Server + Servlet 容器 + WebSocket 支持 它和 Tomcat、Jetty 一样,都可以承载 Java Web 应用。 但 Undertow 的风格更偏底层、更偏嵌入式:一个 HTTP 服务可以由几个 Handle


Kimi k3是真碉,但太不经用,也有拉跨点!
甲维斯2026/7/19

K3 已测,确实强,但要命的是配额太少了! 一天不到,一周的配额已经烧完了,大概就生成了 5 个测试页面! 从五个例子中,可以知道,有些确实很强,有些呢又差点意思,有些比较糟糕。 我不是那种收钱办事儿只会吹牛逼的博主,我也不会针对 Kimi 只说它的缺点。我会依次给大家展现测试结果,同时和其它国产模型,和国外的 GPT 5.6 和 Fable 5 做一个对比,尤其是 Fable 5! 下面我就一点一点来说,看完这篇文章大家应该对K3有一个相对全面的解了。 这篇文章,我要先从这张图片说起:


【中阶·安全】大模型逆向攻击与数据隐私保护深度解析:从模型反演到差分隐私防御的全链路实战
AI智能专家2026/7/10

【中阶·安全】大模型逆向攻击与数据隐私保护深度解析:从模型反演到差分隐私防御的全链路实战 专栏:《AI 工程与安全深度实战》· 第6轮·第2篇 前言 核心痛点:大模型不仅记住了训练数据中的知识——在某些条件下,攻击者可以通过模型输出反推出训练数据中的敏感信息(个人身份、医疗记录、专有代码),这对模型发布方的隐私合规和用户信任构成根本性挑战 适配人群:AI 安全工程师、隐私合规负责人、对模型隐私保护有深度学习需求的 ML 工程师和安全研究员 收获能力:读


暑假CSP-S NOIP集训学生要做哪些内容,集训完如何消化所学的知识
dllglvzhenfeng2026/7/2

暑假是 CSP-S 向 NOIP 进阶的‌黄金窗口期‌,集训核心在于‌体系化构建高阶算法能力‌与‌实战应试策略‌。以下是针对 CSP-S/NOIP 层级学生的集训内容及赛后消化方案: 一、暑假集训核心内容 集训需遵循“理论精讲 + 专项刷题 + 全真模考”闭环,重点突破以下模块: 1、‌高阶算法深度攻坚‌ (1)、‌动态规划(DP)‌:         从线性 DP 延伸至树形 DP、区间 DP、状压 DP 及斜率/四边形优化,重点训练状态设计与转移方程推导 。

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读