VeOps 深度调查:让 AI 排障从“能用”走向“可靠”

作者:火山引擎Agent社区日期:2026/10/26

告警突然响起,错误率一路走高,接口延迟也在不断拉长。做运维的都清楚,难的从来不是发现异常,而是在海量指标、日志、调用链路和错综复杂的上下游依赖中,快速理清三个问题:问题发生在哪里?发生原因是什么?当前应该做什么?

火山引擎全栈可观测平台的深度调查能力,就是针对这类复杂排障场景设计的。用户可以直接从告警信息或者故障现象入手,平台会顺着线索自动开展排查,输出可复现验证的根因判断,附带对应的处置建议。整个排查路径、关键证据都完整留存,故障现象、排查过程、结论和证据还能整理成结构化资料,后续可以直接复用参考。

  • 精准定位: 面对大量异常线索和复杂依赖,精准定位真正引发故障的对象与问题。
  • 可回溯性: 调查路径、关键发现、判断依据和证实/排除结果全程可查看,结论可以逐步复核。
  • 可复用性: 一次调查的场景、证据和结论可以沉淀下来,用于交接、复盘和后续同类故障排查。

01适合使用深度调查的三类典型排障痛点

结论不精准:

常规会话诊断时准时不准,难以稳定复现

常规会话诊断很吃大模型实时推理的效果,就算是同一个故障,换个时间、换一组上下文,哪怕上下文完全没变,模型给出的结论都有可能不一样。深度调查内置了一套完整的 RCA 校验框架,不再靠单次输出直接给答案,而是拆解成一套标准化、可核验的分步排查流程。系统会依次锁定排查范围、梳理异常表现、列出各类假设,再结合证据逐个确认或者排除猜想,把一次性的模型猜测,变成能够反复复现、核验的根因定位手段。

过程难回溯:

只有根因结论,看不清推理思路与依赖证据

大模型推理更像是一个“黑盒”:结论一旦出现偏差,运维人员很难了解模型查看的数据、中间判断过程,以及在哪一步脱离了实际情况。而深度调查则会完整记录调查对象、问题现象、假设推演以及证实或排除依据等过程,形成可以回看的完整排查链路,让每一条判断都有据可查,支持逐环节复核,方便快速找到分析出错的地方。

报告难复用:

成功案例停留在一次性排查,经验无法沉淀

如果问题、排查过程、结论和证据都只保存在单次对话里,就算这次顺利找到根因,经验也很难拆解留存和复用。若再次遇到同样问题,团队还得重新进行全流程分析。火山引擎全栈可观测平台的深度调查能力则能把业务场景、排查链路、关键证据、根因结论以及对应的处理建议,统一整理成结构化资料。经过验证的排查思路还能提炼成可直接运行的调查策略,方便团队复盘交接、沉淀排障知识,后续遇到同类问题,直接复用这套逻辑,接入自动化排查流程。

02使用深度调查,只需三步

第一步:从智能运维助手启动调查

登录火山引擎全栈可观测平台,打开智能运维助手。你可以直接基于现有告警启动分析,也可以手动描述故障现象,例如“网关请求耗时突然升高”或“服务错误率异常”。选择深度调查后即可开始排查。

在智能运维助手中使用

第二步:沿着调查进展查看关键发现

调查启动后,产品会围绕当前异常持续向下排查。你能清晰看到它正在分析哪些服务和上下游依赖、列出了哪些可疑原因、收集到了哪些佐证信息,还有哪些排查方向已经被证伪。全程不用来回跳转多个监控页面,也不用自己在一堆信息里拼凑线索。所有重点结论都会清晰说明:哪个对象出了问题、具体现象是什么、有哪些证据,以及这条排查思路是怎么推导出来的。

第三步:获得一份可复核的调查报告

调查完成后,平台会给出明确的故障对象、异常表现、关键证据和结论。值班人员可以沿着调查记录快速核对,也可以直接把结果交给研发、数据库或基础设施团队继续处置。

03真实场景:复杂依赖与干扰项并存

为了验证深度调查在真实条件下的表现,我们在测试集群中构造了一组典型微服务链路:入口 Gateway 依赖 Content Service、User Service,以及 MySQL、Redis 和一个长期存在异常的下游依赖。

测试分别在 Content Service → MySQL、User Service → Redis 链路上注入延迟或失败,同时保留另一条常态化异常链路作为干扰。产品需要做的不只是发现“哪里异常”,还要判断哪一处异常真正导致了本次告警,为什么这么判断。

04案例一:入口请求延迟升高

问题描述

2026-10-12 16:27(UTC+8),入口服务 opheus-playground-gateway 触发请求耗时升高告警。

  • 问题对象: Gateway 入口服务。
  • 问题现象: Gateway 请求延迟显著升高,pct99 约 563ms,发生告警。
  • 发生时间: 2026-10-12 16:13–16:27(UTC+8)。
  • 调查难点: 链路同时包含 Content Service、User Service、MySQL、Redis,以及长期存在异常的下游依赖。仅凭入口指标无法判断延迟来自入口服务、业务服务、数据库,还是常态干扰项。

启动调查

用户从告警进入智能运维助手并启动深度调查。深度调查会从入口服务开始查看调用关系,逐步聚焦异常路径;调查过程中同步展示当前关注对象、待验证方向和对应证据。

调查拓扑

假设与证据

调查结论

调查结果

深度调查沿 Gateway → Content Service → MySQL 调用链持续收敛,形成了可复核的根因结论:

  • 根因概述: Content Service → MySQL 下游依赖异常,具体为 SELECT blog.articles 查询链路耗时飙升。
  • 根因详情: 2026-10-12 16:27(UTC+8),Content Service 调用 MySQL 的延迟由约 1ms 基线升至约 506ms,直接导致 Content Service 响应达到 506–509ms,并逐级放大为 Gateway pct99 约 563ms、下游调用约 1.12s,最终触发入口请求耗时告警。
  • 证据链: ① Gateway 指标显示 pct99 约 563ms;② Content Service 指标显示自身响应 506–509ms;③ Content Service → MySQL 指标显示平均/pct99 延迟约 506ms;④ Trace 中 SELECT blog.articles span 耗时约 542ms。四项证据发生在同一异常窗口,并沿调用方向完整解释延迟传播。
  • 干扰项排除: User Service → Unknown 下游依赖属于长期常态异常,与本次告警的时间窗口、影响对象和传播路径不一致;MySQL CPU 约 0.75%,且无锁等待、慢查询或扫描突增,因此排除资源饱和、查询劣化、流量突变和变更引入等方向。
  • 处置建议: 必要时先对 Content Service 限流、降级或切换实例;随后核查 VPC、路由、安全组、DNS 与连接策略,并为关键 SQL 建立延迟基线和告警。

05案例二:入口错误率升高

问题描述

2026-09-20 17:54(UTC+8),入口服务 opheus-playground-gateway 在短时间内出现错误率升高告警。

  • 故障对象: Gateway 入口服务及其 Login 请求下游调用链。
  • 发生时间: 2026-09-20 17:54(UTC+8),异常持续时间较短并很快恢复。
  • 问题现象: Gateway 返回错误,User Service 的 Login 接口入口错误率升至 84%–100%;窗口内共出现 62 个 Login 错误,但请求流量没有同步增长。
  • 调查难点: 短时异常容易在事后排查时丢失现场;同时链路中还存在 Content Service、数据库依赖和常态异常,必须区分本次新增故障与既有干扰项。

启动调查

用户直接以错误率告警启动深度调查。深度调查会围绕异常时间段查看服务指标与调用链,继续追踪到下游依赖,并把每个关键发现与证据放在同一条调查记录中。

调查拓扑

假设与证据

调查结果

深度调查沿 Gateway → User Service → Redis 调用链持续收敛,形成了可复核的根因结论:

  • 根因概述: User Service → Redis 下游依赖失败,具体指向 Redis 实例 调用超时失败。
  • 根因详情: User Service 处理 Login 请求时连接 Redis 发生约 5 秒 TCP 超时,导致 redis.dial 失败和 Login RPC 返回错误,随后向上传播为 Gateway HTTP 500 与入口错误率升高。
  • 证据链: ① Gateway 错误 span 均落在 Login 调用 User Service 的链路;② User Service 入口错误率升至 84%–100%;③ 观测窗口内新增 62 个 Redis 错误 span,基线为 0;④ 62 个 Login 错误与 62 个 Redis 错误一一对应;⑤ Trace 显示 redis.dial 耗时约 5000ms 后超时失败。多项证据完整串联 Gateway → User Service → Redis 的失败传播路径。
  • 干扰项排除: Gateway 与 User Service 均无流量突增、资源饱和或变更引入迹象;Content Service 下游异常与本次 Login 错误链路不一致,SQL 数据库故障也未获得 Trace 或指标支持,因此均被排除。
  • 处置建议: 优先核查 Redis 实例可达性、故障转移状态,以及 User Service 所在 VPC、子网、安全组、网络 ACL 和 Redis 白名单;同时为 Redis 调用补充合理的超时、重试、降级与熔断策略,恢复后持续观察 Gateway 和 Login 错误率。

06效果对比:精准定位、可回溯、可复用

07让 AI 真正成为排障“可靠”搭档

对运维来说,靠谱的 AI 排障,并不是单纯更快输出一段文字。而是在故障突发、压力拉满、信息杂乱的时候,帮团队快速锁定真实问题,定位根因,给出可落地的处置建议,同时讲清楚这个结论是怎么推导出来的。深度调查把复杂故障分析,做成了一套可追溯、可复用的排查流程。从告警切入,顺着业务真实依赖逐层深挖,最终同时给到根因和对应的判断依据,让 AI 做排障,真正做到可信可靠。

欢迎使用产品:console.volcengine.com/observe/dev…

用户使用文档:docs.volcengine.com/docs/observ…


《VeOps 深度调查:让 AI 排障从“能用”走向“可靠”》 是转载文章,点击查看原文。


相关推荐


Android 协程实践:为什么不应将 `supervisorScope` 作为常规方案
潜龙勿用之化骨龙2026/10/18

在 Android 项目中,supervisorScope 常被用于避免“一个子任务失败,取消其他子任务”的情况。它看似能提升并发任务的容错能力,但如果被作为默认方案,容易掩盖项目中异常边界不清、失败处理分散等问题。 本文的核心观点是: 不应将 supervisorScope 作为 Android 业务代码中的常规异常处理或防崩方案。 更合理的做法是:在 Repository 数据边界消化并标准化可预期异常,让上层通过显式结果处理成功与失败。 1. supervisorScope 的真实


量化回测应该保存不复权数据吗?从数据口径到收益计算的工程实践
高频因子挖掘机2026/10/16

一句话结论:量化系统最好明确区分不复权行情、复权行情和收益计算结果。不复权数据适合保留原始价格尺度与追溯历史行情,但不能单独解决长期收益计算问题;真正重要的是让数据口径、策略逻辑和回测假设保持一致。 摘要 不复权数据什么时候更有意义,是量化数据工程中一个涉及数据存储、指标计算、回测一致性和历史追溯的问题。不复权价格可以帮助开发者保留原始行情的价格尺度,定位除权除息造成的价格变化,并核对数据处理过程。但如果将不复权价格直接用于长期收益计算,可能把公司行为与市场价格变化混在一起。本文从数据管道和回


【微信小程序】uni-app小程序项目分包技术方案
今年下半年2026/10/7

微信小程序分包技术方案 一、背景与目标 项目形态:uni-app + Vue3 + Vite 的小程序项目,组件库为 wot-design-uni(easycom 全局引入),另含 echarts、jsencrypt 等依赖,业务页面较多。小程序对包体积有硬性限制,页面与依赖持续增长后,若不做分包容易出现「主包超 2MB 无法上传」的问题。分包目标:把非启动、非高频的业务页面拆到分包,压缩主包体积、缩短首屏启动时间,同时通过分包预下载降低分包页面的首次进入等待。 二、微信小程序体积限制(前提)


基于MediaPipe姿态估计的实时跌倒检测系统设计与实现
7zcode2026/9/29

摘要:跌倒是老年人和特殊人群面临的重大安全隐患,及时准确的跌倒检测对于保障生命安全具有重要意义。本文设计并实现了一种基于 MediaPipe 姿态估计技术的智能跌倒检测系统。 项目概览 项目简介 该系统利用 Google MediaPipe 框架提取人体关键点信息,通过分析躯干角度、身高比例等多维度特征,结合时间序列确认机制,实现对跌倒事件的准确识别。 实验结果表明,该系统能够有效区分站立、弯腰和跌倒三种姿态,通过连续 4 帧确认机制显著降低了误报率。系统具有部署简便、实时性好、准确率


Agent 写正则来实现规则 ≈ 踩坑
hpoenixf2026/9/23

最近在升级我的个人投资研究 Agent 时,我碰到了一个很容易被忽略的问题: 确定性实现,不等于客观判断。 代码当然可以稳定地执行一个正则、关键词表或布尔条件。 但“执行稳定”并不会自动赋予 Runtime 理解开放自然语言的能力。 如果 Runtime 并不知道一句话的真实语义,就不要因为能把它写成 if,假装自己知道。 这篇文章讨论的,就是 Agent 系统里一条很重要的边界: Runtime 只应该对自己真正知道、能够追溯和复核的事实负责。 前情提要:我们在做什么 Agent 我


15、音频系统
狂人开飞机2026/9/15

第15章 音频系统 15.1 AudioStreamPlayer 基础 # AudioStreamPlayer:非位置音频(BGM、UI音效) # AudioStreamPlayer2D:2D 位置音频(距离衰减) # AudioStreamPlayer3D:3D 位置音频 extends AudioStreamPlayer func _ready() -> void: stream = preload("res://audio/bgm/battle_theme.ogg")


Git-SVN 混合开发,从入门到精通!
重生之我来学Python2026/9/7

Git-SVN 混合开发:命令对照、工作流程与 15+ 实战技巧,一篇搞定! 摘要 本文详细介绍 Git-SVN 混合开发的完整方案,涵盖从安装配置到实战操作的全流程。通过 Git 命令与 SVN 命令的对照表格、15+ 个核心命令详解、以及真实场景下的工作流程,帮助你在 SVN 项目中享受 Git 的便利。无论你是被迫使用 SVN 的 Git 用户,还是想尝试 Git 功能的 SVN 团队,这篇文章都能让你快速上手 Git-SVN 混合开发模式。 在 SVN 项目中使用 Git 本地分支、暂


Highcharts 双 Y 轴分组错位柱状图・代码详解
Highcharts.js2026/8/30

双 Y 轴、非分组错位并列柱状图,同时展示两类指标: 左轴:员工数量(人数,普通数值)右轴:利润(百万美元,金额) 同一分类下 4 根柱子错开摆放,不会互相重叠,用来对比「优化前 / 优化后」两组数据差异。 示例代码 Highcharts.chart('container', { chart: { type: 'column' }, title: { text: 'Efficiency Optimization by Branch


OpenCV实战——透视变换与身份证号码模板识别
clorinda2026/8/22

一、前言》》》》》》》 在现实生活中,发票、身份证和纸张通常不是完全正对着摄像头拍摄的。由于拍摄角度不同,原本的矩形会变成梯形,文字也会发生倾斜。 如果直接对这种图片进行识别,效果往往不理想。因此,通常需要先完成透视变换,把图像矫正成正面视图,再进行二值化、轮廓检测和模板匹配。 本篇主要介绍: 1,透视变换的原理; 2,四个角点的排序; 3,发票图像矫正; 4,形态学闭运算; 5,使用模板匹配识别身份证号码。 二、透视变换的基本原理 透视变换可以把原图中的任意四边形转换成一


Rust Borrow借用详解:不转移所有权访问数据
程序员爱钓鱼2026/8/9

《Rust编程实战》系列第35篇 在上一篇文章中,我们学习了Rust的Copy,了解了哪些轻量数据类型可以在赋值或传参时自动复制。本篇继续进入Rust所有权体系中非常重要的概念: Borrow 中文通常称为“借用”。 前面我们已经知道,String、Vec等非Copy类型传递给另一个变量或函数时,通常会发生所有权移动: fn print_name(name: String) { println!("{}", name); } fn main() { let name = S

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读