数据库性能优化的五处内核改造,KingbaseES 配了四件诊断工具

作者:笃行_其道日期:2026/11/12

开发者大会内核能力与智能运维专场里,孙文奇讲的存储性能和张昊演示的 PL/SQL 全链路诊断,各对应一份官方材料,2026 年 10 月的《Kingbase 存储性能优化》和《Kingbase PL/SQL 全链路性能诊断》。存储那份给了五处内核改造,64 位事务号、原地更新引擎、增量检查点、并行回放、透明压缩表,每处都带实测数字。诊断那份给了一套四件工具和两个完整案例。数据库性能优化在这两份材料里分成两条线走,内核把性能问题的来源逐个消掉,工具把剩下的问题逐个找出来。

PL/SQL 为什么是性能黑盒

材料把 PL/SQL 的诊断难处归成三个不知。整体耗时高的时候,不知道哪一行代码耗时最高、哪个函数是热点,这是代码层盲区。定位到某条 SQL 之后,不知道它为什么走了异常的执行计划,这是 SQL 层瓶颈。执行态夯死的时候,不知道当前执行到了哪里,这是未开监控时的执行态透视问题。三个不知对应哪里慢、为何慢、在干嘛三个问题。

材料给出的解法是四件工具各管一段。KWR 扩展出语句级 PL/SQL 热点下钻,低损耗可视化展示语句级调用关系,快照时间分段可以比较历史情况,解答哪里慢、何时慢。PLProfiler 走插桩采集,做到函数级与代码行级的热点定位。PLTrace 是轻量化运行诊断,无需预先开启,极低损耗透视当前执行位置,专治长时间运行迟迟不结束的语句。SQL Monitor 做实时 SQL 诊断,看实时执行计划、执行状态和 CPU 与 IO 资源消耗。

KWR 负责语句级热点下钻,PLProfiler 负责函数级与代码行级定位,PLTrace 透视当前执行位置,SQL Monitor 看实时执行计划与资源消耗,四件工具分别回答哪里慢、哪里慢、现在在哪、为何慢。*

案例一,TPS 降了 26% 的一路下钻

案例一的场景是简化版的商品购买加积分结算业务。随业务规模扩大,商品数量和订单数量增加,业务的执行效率快速下降。日常巡检用 KWR 的历史快照做性能比对,对比基线快照,当前快照的 TPS 降幅达到 26%。

第一步用 KWR 报告的 TOP SQL 子报告做 PL/SQL 下钻。按数据库时间排序的 SQL 语句列表里,顶层语句的数据库时间是 480.99 秒,执行了 69987 次,点击箭头往下钻,展开后的子语句调用仍然按性能热点从高到低排序,展开到语句调用底层,确认热点是一条查询语句。KWR 到这一层拿不到更深的执行计划信息,材料里的衔接是换工具。

第二步用基于日志的 kbbadger 报告拿执行情况。执行计划没有选择索引扫描,执行节点实际返回的元组数和过滤行数证明索引扫描更好。查下来是查询涉及的关系表没有创建对应的索引,建了 CREATE INDEX idx_biz_customer ON biz_customer_profiles (customer_code) 之后性能优化明显。再看新的 KWR 报告,TPS 得到一定恢复,但仍然不及预期,说明还有别的问题。

第三步沿新的性能热点继续下钻。KWR 语句级调用关系统计到层级 3 出现了明显的数据库时间空洞,语句级到此为止,换能提供代码行级信息的 PLProfiler。plsql_plprofiler 报告的火焰图里直观找到热点函数,函数的 self_time 是 118273.07 毫秒,行级统计显示 LOOP 块执行了 31843 次、耗时 117 秒。此处业务按分期天数循环处理累加的资金占用费,计算代价高,循环次数还随分期天数上升持续增加。修复方式是把循环计算转换成求和公式,业务逻辑上完全等价。改完再对比基线快照,TPS 恢复到预期标准。

上半部分是函数级统计,热点函数的 self_time 为 118273.07 毫秒;下半部分下钻到代码行,LOOP 块执行 31843 次、耗时 117 秒,根因是按分期天数循环累加资金占用费。*

案例二,夯死 309 秒的在线定位

案例二没有监控预埋。巡检用动态视图 sys_stat_activity,间隔 5 秒定时刷新,发现并行日终结算业务的会话执行时间明显超长,这个业务用 PL/SQL 函数并行计算各员工业绩。常规的统计工具为了维持业务性能稳定,都在事务或子事务完成后才写入执行信息,执行中的业务内部状态看不到,这是材料里给的使用 PLTrace 的理由。

从视图里拿到异常进程的 PID,用这个 PID 调用 PLTrace,查到该 PL/SQL 位于第 8 层函数调用,对应第 5 行,进程正在执行一条查询语句,这条语句已经执行了 309 秒。接着在 SQL Monitor 里对这条语句生成实时执行报告,等待占比不高,主要看执行计划。自底向上分析,从表 order.payment 参与 Nested Loop 开始,预估成本和实际成本出现明显差距,该节点实际返回行数远超优化器预期。

再通过系统表确认 payment 的表统计信息,上一次 ANALYZE 已经超过 1000 秒,payment 表的实际元组数远超优化器预估。在一个数据波动较大的业务里,这极大可能导致路径规划错误,优化器选错了连接顺序和连接方式。修复是手动对指定表执行 ANALYZE,并配置更频繁的自动 ANALYZE。修复后的执行计划里 payment 表的预估成本和实际执行成本基本相同,业务稳定在 60 秒内执行完成。

sys_stat_activity 发现超长会话,PLTrace 按 PID 定位到第 8 层函数调用对应第 5 行、查询已执行 309 秒,SQL Monitor 的实时执行报告暴露 Nested Loop 的成本预估偏差,根因是 payment 表超过 1000 秒未 ANALYZE,修复后业务稳定在 60 秒内完成。*

64 位事务号和页冻结

存储材料的第一处改造针对事务号回卷。事务 ID 为 32 位,约 20 亿上限,高并发事务场景里事务 ID 快速增长,不及时回收就会因回卷导致业务中断,而回收用的 vacuum 操作本身占服务器资源,高写入场景运维压力巨大。KingbaseES 的做法是事务 ID 计算采用 64 位,页上用 64 位存储本页事务基线,行事务存 32 位偏移,基线随本页数据变化动态调整,内存里读取行事务信息时即时计算出 64 位事务号,页内事务跨度不超过 40 亿的阈值,超过时进行页冻结。效果是事务 xid 最大支持到 2 的 60 次方,消除溢出风险,把必要的整体冻结变成可延迟执行的分散冻结。存储结构向下兼容,升级工具只对元数据重写,数据页随着首次修改改写为新页面格式。

原地更新引擎和 Undo 版本链

第二处改造针对 MVCC 死元组。多版本机制产生大量旧版本死元组,长事务会阻塞清理,表和索引体积膨胀,扫描性能下降,回收空间要么 vacuum full 封锁代价大,要么 autovacuum 调度参数复杂难调。原地更新引擎把新旧版本分离,旧版本放进 Undo Log 区域,众多 UNDO ZONE 支持事务并发,ZONE 由便于回收的连续小文件组成,每个新版本指向 Undo 中的旧版本形成版本链,一致性读沿版本链追溯到当前快照对应的可见版本,Btree 的元组直接带可见性信息,无需回表判断。堆表只保留最新版本,从根源消除膨胀。材料给的实测是长事务场景 TPS 从 129 提到 8527,提升 660%,短事务场景从 1290 提到 1712,提升 132%,堆存储引擎的 TPS 曲线在有长事务时快速衰减,原地更新引擎保持稳定。

长事务测试中原地更新引擎 TPS 为 8527,堆存储引擎为 129,提升 660%;短事务测试为 1712 对 1290,提升 132%。下方两条曲线显示原地更新引擎查询性能保持稳定,堆存储引擎很快衰减。*

增量检查点和有序脏页队列

第三处改造针对检查点的 IO 冲击。全量检查点触发时集中刷脏页,IO 压力骤增,检查点后页面首次修改要写入完整页面镜像,产生 WAL 写放大,执行期间查询延迟明显飙升,长期运行性能曲线呈锯齿状。增量检查点通过 LSN 有序队列维护页面变脏的顺序,脏页按 LSN 排序入全局环形队列,Ordered Writer 进程定时按序刷新,队列头的 Redo 位置直接作为新检查点的恢复位置,检查点无需再做页面落盘,数据页双写解决断页写问题,降低检查点后的 WAL 全页写。实测条件是 TPCC 1000 仓、100 并发、20 分钟,平均 tpmC 从 437824 提到 467639,提升 6.8%,WAL 大小从 306G 降到 65G,减少 79%,磁盘写总量降低 45%,瞬时 tpmC 抖动的标准差从 33% 降到 12%,CPU 和内存没有明显变化。

TPCC 1000 仓 100 并发 20 分钟测试,平均 tpmC 提升 6.8%,WAL 大小减少 79%,磁盘写总量降低 45%,性能抖动标准差从 33% 降到 12%,全量与增量检查点的瞬时 tpmC 曲线对比显示增量更平顺。*

并行回放和主备延迟

第四处改造针对主备同步。主机多个进程同时生产 WAL,备机只有一个进程消费,WAL Redo 回放只能单进程串行执行,故障恢复时间长,RTO 难以压缩,备库回放速度跟不上主库写入,主备延迟随业务量扩大。并行回放把日志读取和回放逻辑拆开,解码后的记录进入共享内存环形 Buffer,分发到多个回放进程,以 Block 为单位分别执行,识别 Block 之间的依赖性保证数据完整性,事务记录按序回放保证事务一致性,共享内存 Buffer 减少内存拷贝,级联、主备 remote write、remote apply 等现有机制不受影响。TPCC 测试在 remote_apply 模式下,串行回放 tpmC 为 277195,并行回放提到 615897,4 个回放进程时从 349867 提到 777473,OLTP 更新密集型负载的主备同步性能提升 20% 到 40%,备机 CPU 得到充分利用。

透明压缩表和 extent 组织

第五处改造针对大表的存储成本。没有块级压缩能力时只能针对字段压缩,关系库里元组长度通常不高,字段级压缩效果差,大表磁盘开销大,只能依赖底层存储压缩。透明压缩表在数据块级别压缩,支持 PGLZ、ZSTD 和 LZ4 三种算法,覆盖普通表、分区表、toast 表和各种索引类型。关系按 extent 划分,一个 extent 为 128 个页,前 127 页是数据空间,尾页存放前 127 块的地址信息,压缩节约的空间通过 punch hole 机制释放回文件系统,压缩前还提供字节转换和差分预处理手段发挥压缩效果。应用完全无感知,磁盘空间占用显著降低,缓存命中率提升,大表和归档表场景收益尤其明显。

两条线的分工

回头看这两份材料的结构。诊断线的四件工具按粒度排列,KWR 语句级、PLProfiler 代码行级、PLTrace 运行态、SQL Monitor 实时态,两个案例各走了一条完整链路,案例一从 KWR 快照比对走到求和公式改写,案例二从 sys_stat_activity 走到 ANALYZE 配置。内核线的五处改造各对应一类慢性问题,事务号回卷、死元组膨胀、检查点抖动、主备延迟、大表成本,材料里每一处都给了改造前的痛点清单和改造后的实测数字。工具解决已经发生的问题,内核减少问题发生的来源,两份材料放在一起看,正好覆盖数据库性能优化的两条线。


《数据库性能优化的五处内核改造,KingbaseES 配了四件诊断工具》 是转载文章,点击查看原文。


相关推荐


一个 null 如何让 Agent 工具调用失败:流式协议兼容性实战
hpoenixf2026/11/3

模型已经开始生成工具参数,流也在继续返回,Agent 却在真正调用工具之前失败了。排查到最后,触发拒绝的不是错误工具名,也不是非法参数,而是后续碎片里一个 id: null。 这类修复很容易走向两个极端:继续拒绝所有 null,或者看到 null 就宽松放行。我们最后采用的是第三种办法:只在同一索引已经建立非空调用身份时,把后续 null 解释为“不更新身份”。 这是 open-etf-agent v0.15.2 的一个窄范围兼容修复。它没有发明工具 ID,没有改变工具授权,也没有跳过完整调用的


Linux网络学习【深入理解应用层HTTP协议、Cookie与Session机制及HTTPS协议原理】
承渊政道2026/10/26

🔥承渊政道:个人主页 ❄️个人专栏: 《C语言基础语法知识》 《数据结构与算法》 《C++知识内容》 《Linux系统与网络知识》 《算法刷题指南》 《测评文章活动推广》 《大模型语言路线学习》 《MySQL数据库学习》 《Python知识内容》 《cpolar知识学习》 ✨逆境不吐心中苦,顺境不忘来时路!✨ 🎬 博主简介: 打开网页、登录账号、提交表单,这些日常操作背后,涉及三个紧密相关的问题:浏览器与服务器如何交换数据?为什么登录一次后


AI 流式传输工程指南:模型吐出半截 JSON,前端如何边收边渲染?
猫头_2026/10/18

本文是通俗实战版。保留全部工程精华、性能实测对比与跨框架(原生 JS / Vue 3 / React)开箱即用代码,8 分钟即可读完并直接落地到项目中。 一、为什么不能等 JSON 吐完再解析? 做普通 AI 聊天时,模型吐出的是纯文本或 Markdown,前端收到一个字就往屏幕上追加一个字(打字机效果)。 但现在越来越多的 AI 功能要求模型直接返回 JSON 结构化数据,让前端渲染成交互组件: 典型业务场景模型输出的 JSON


Android签名算法还原:Xposed/LSPosed实战
深蓝电商API2026/10/16

在 Android 应用逆向与安全分析领域,应用签名校验是抵御二次打包、篡改破解的第一道防线。绝大多数正规应用都会在 Java 层或 Native 层植入签名校验逻辑,一旦检测到 APK 签名与官方签名不一致,便会触发闪退、功能禁用、账号封禁等防护机制。而 Xposed 及其演进框架 LSPosed 凭借运行时方法 Hook 能力,成为绕过签名校验、还原签名算法的主流工具。本文将从 Android 签名机制底层原理出发,结合实战案例讲解如何基于 Xposed/LSPosed 完成 Java 层、


一条审批流的数据库账:5 张核心表、3 张扩展表、0 张表单表
mldong2026/10/8

要在一套系统里加审批流,第一个绕不过去的问题是:要动多少数据库? 答案决定了这件事的难度。如果每个引擎都要你先建二十张表、跑三个迁移脚本、再请一位懂它内部编码的人来解释每张表在干什么,那这件事在评审会上就永远过不了。我们把这套引擎用八种语言各写了一遍,表结构反而是一个可以当面数清楚的东西: 建表 SQL 一共 128 行,8 张表、81 列; 其中真正参与流程裁决的是 5 张(54 列),另外 3 张(27 列)是设计稿台账和委托窗口这类管理能力; 表单表 0 张。你的表单数据不建新表,它进的


把 bug tracker 塞进 git 仓库,同步和冲突怎么解决?我把 git-bug 拆开实测了一遍
Flynt2026/9/30

上周五(9 月 25 日)Hacker News 首页出现了一个讲 git-bug 的帖子——"嵌在 git 里的分布式 bug tracker",这两天涨到了 353 分。它能翻红有个前置事件——9 月 22 日发了 v0.11.0,这是项目 16 个月来的第一次发版,一口气带上了近 300 个 commit。更硬的背书来自 kernel.org 那边:b4 的维护者 Konstantin Ryabitsev 在今年的 Kernel Recipes 上演示了 b4 和 cgit 对 git-b


MCP 到底接在了哪一层?从“Agent 调工具”说起
杨杨杨大侠2026/9/24

“最后不还是 Agent 在调工具吗?那 MCP 多做了什么?” 这个问题比背定义有用。因为第一次看 MCP,很容易把模型、Agent、Harness、Client、Server 都画成一团,然后得出一个模糊的结论:MCP 就是 Function Calling 的另一种写法。 先说结论:模型负责提出要做什么,应用负责把它做成一次真实调用;MCP 约定的是应用与外部服务之间怎么对接。 先从一次工具调用看起 假设我对一个代码助手说:“帮我看看 PR 123,有没有明显问题。”模型发现自己还没看到改


Vibe Coding 实战问答:从 Token 成本到线上 Bug 的避坑指南
ᕙ(•̤᷆ ॒ ູ॒•̤᷇)ᕘ.2026/9/15

Vibe Coding 与 AI 辅助编程 · 问答整理 主题:AI 辅助编程的定位认知、Token 成本控制、线上问题处理与实战经验。 1. Vibe Coding 到底是什么? Vibe Coding 与常规 AI 辅助编程的核心差异,在于人对代码的参与程度与责任归属: 维度Vibe CodingAI 辅助编程代码生成AI 生成AI 生成代码审查不看,直接 Accept逐行审查报错处理粘贴给 AI分析根因再决定对代码负责不负责完全负责 一句话概括:Vibe Coding 是"只管氛围、


【智能体】Agent的四种设计模式之:React(2026最新版)
Carl_奕然2026/9/7

ReAct 模式 —— 推理与行动交织的循环智能体 1、引言2、ReAct 到底怎么工作?3、ReAct 核心原理3.1 关键数据结构3.2 与 Chain-of-Thought 的区别 4、生产级实现(LangGraph + MCP)5、2026 年的关键改进点5.1 从 "字符串解析" 到 "结构化输出"5.2 步数预算与防循环5.3 KV-Cache 复用优化 6、适用场景与性能基准7、总结 1、引言 小屌丝:鱼哥,我最近写了个 Agent,让它查天气,结果你猜怎么着?它


Linux(一)Linux的基本指令操作和shell命令以及运行原理
在路上慢慢走2026/8/30

1. 引言 在正式学习 Linux 指令之前,先花几分钟了解一下 Linux 的来龙去脉,会帮助你更好地理解为什么指令是这样设计的、为什么系统是这样组织的。这一节作为「前传」,只讲最核心的背景知识,不涉及具体指令操作。 2. 什么是 Linux Linux 是一个开源的操作系统内核,最初由芬兰人林纳斯·托瓦兹(Linus Torvalds)于 1991 年发布。我们平时说的「Linux 系统」,实际上是 Linux 内核加上 GNU 工具集、各种应用软件共同组成的完整操作系统,通常称为 GNU/

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读