Metal 冷启动并发下,Pipeline Cache 为什么必须合并在途编译

作者:茶底世界之下日期:2026/10/6

问题与范围

图像处理、视频帧处理和实时预览通常不会在启动时把所有 Metal pipeline 一次性建完。某个 kernel、函数常量或输出组合第一次被请求时,系统才按需创建对应的 MTLComputePipelineState。

最直观的实现是一个字典:命中就返回,未命中就创建后写回。单线程下它足够正确;但冷启动恰好容易有多个请求同时发现同一个缓存键不存在。它们会一起进入创建路径,令同一份工作重复发生,也让 reset 与旧创建的交错难以解释。

本文讨论计算 pipeline 的并发缓存合同,不讨论滤镜效果、相机采集、视频编码或跨设备性能数字。

先给结论

  • 一个 pipeline identity 至少要有“不存在、正在创建、已完成”三种状态;普通缓存字典只表达其中两种。
  • 同一个 identity 的后来者应等待首个创建任务,并接收同一个成功结果或失败结果;不同 identity 不应因此串行。
  • 创建要在缓存锁外进行;等待者也不能带着缓存锁等待,否则完成阶段可能形成互相等待。
  • reset 应隔离旧结果对新缓存的写入,而不是让已在等待的调用者失去明确结果。
  • identity 的定义必须覆盖会改变 pipeline 的编译输入;键过粗会错误共享,键过细会失去合并效果。

为什么“有缓存”仍会重复创建

下面的写法只处理了已完成结果:

1if let pipeline = cache[identity] {
2    return pipeline
3}
4
5let pipeline = try createPipeline(identity)
6cache[identity] = pipeline
7return pipeline
8

当线程 A 与线程 B 同时执行到第一行,二者都可能看到空缓存,然后都开始创建。问题并不是字典线程安全就能解决:即使读取与写入都加锁,只要“检查为空”和“登记创建者”不是同一个受保护的状态转换,重复创建仍可能发生。

正确的模型是为每个 identity 记录一项在途任务:

1线程 A:X 不存在 → 登记正在创建 X → 创建
2线程 B:X 正在创建 → 等待 A 的结果
3线程 C:X 正在创建 → 等待 A 的结果
4

这里的目标不是把全部请求排成一列,而是只合并相同 identity。不同 identity 仍可独立创建,避免一个慢 kernel 阻塞整个冷启动路径。

锁只保护状态转换,不包住 Metal 创建

一个可靠的最小流程可以写成:

  1. 短暂持有缓存锁,检查已完成缓存。
  2. 若同一 identity 已有在途任务,取出它;若没有,登记新的在途任务。
  3. 释放缓存锁。
  4. 创建者在锁外调用 Metal 创建;等待者只等待该任务自己的结果。
  5. 创建结束后唤醒全部等待者,并在当前 generation 仍有效时写入缓存。

这避免了两类问题:长时间持有全局缓存锁会让无关 identity 彼此阻塞;等待者持锁等待则可能阻止创建者回写结果并通知等待者。

在途任务必须传播 Result,而不仅是成功值。这样一批等待者会一起拿到同一个 pipeline,或一起收到同一个错误;失败不会把等待者留在未知状态。失败后的下一次请求可以重新尝试创建,但当前这批请求必须先被完整收口。

递归和 reset 是两个常被漏掉的边界

如果创建 X 的过程又在同一线程请求 X,等待自己完成会形成确定性的自死锁。因此在途任务应识别创建线程,并对这种递归返回明确的配置错误。

reset 也不只是清空字典。考虑以下交错:

1旧创建开始
2reset 清空缓存
3新请求创建同一 identity
4旧创建结束并写回缓存
5

如果没有额外边界,旧结果会污染 reset 后的新状态。一个直接的做法是引入 generation:创建开始时记录 generation;结束时只有 generation 未变化才能写入当前缓存。旧任务仍应向已经等待它的调用者交付结果,但不再拥有修改新缓存的资格。

这区分了两件事:对已经接受的调用负责,以及对当前资源世代负责。二者不必互相牺牲。

源码案例与验证范围

Harbeth 的 Device.makePipelineState(for:create:) 先检查已完成的 identity 缓存,再查询 pipelineCreations 中同 identity 的在途创建。相同 identity 的后来者等待同一 ComputePipelineCreation;不同 identity 不持有共同缓存锁完成 Metal 创建。创建完成后,只有 generation 未变化,结果才会写入缓存。

ComputePipelineCreation 用 NSCondition 保存一次性的 Result 并唤醒等待者;同线程递归等待返回配置错误。相应的 PipelineConcurrencyTests 本轮在 macOS arm64e 运行 6 项、0 失败,覆盖:16 个并发冷请求只得到 1 个 unique pipeline、reset 不污染新 generation、失败可重试、递归不死锁、不同 identity 不等待慢创建,以及失败唤醒所有等待者。

测试输出曾记录一次约 270ms 的冷启动探针,但它只属于该测试环境和该次运行,不能外推为通用性能结论。这里被验证的是并发结果与状态边界,而不是设备级性能承诺。

Kakapos 在这个问题中只提供媒体层的边界案例:CameraEngine 创建 preview 与 recording controller 时将 controlsSourceLifecycle 设为 false,由 CameraEngine 管理共享 source 的启动。采集、录制和停止生命周期仍属于媒体编排层;逐帧 GPU 后端不应反过来接管它们。

小结

Pipeline cache 一旦面对并发首次请求,就不再只是一个容器,而是一份小型并发协议。把“正在创建”建模出来,并明确以下规则,才能让冷启动可解释、可测试:

  • 谁登记创建者;
  • 同键后来者如何加入;
  • 失败如何传递和重试;
  • reset 如何隔离旧结果;
  • 递归等待如何终止;
  • 不同 identity 如何保持并行。

你在 Metal pipeline 或其他 GPU 资源缓存中,遇到过重复创建、reset 竞态或递归死锁吗?欢迎讨论 identity 的边界、等待机制与失败处理策略。

源码与参考实现


《Metal 冷启动并发下,Pipeline Cache 为什么必须合并在途编译》 是转载文章,点击查看原文。


相关推荐


我把 Agent 的 while 循环拆掉了:一种你可能没想到的 Agent 架构
GreenTea2026/9/29

当 Durable Execution 遇上 Agent,Agent 就该是个微服务 去年年底,我们的 Agent 平台遇到一个很朴素的麻烦:容器太贵,进程太脆,网络太乱。 具体来说是三件事叠在一起。线上跑着几千个会话,一个用户一个 Docker 容器,agent 的 loop(while 一直转,调 LLM、跑工具、再调 LLM)整个塞在这个容器里。第一个月我们发现,容器 CPU 平均利用率不到 5%——因为 agent 九成时间在等 LLM 返回、等工具执行、等用户点确认,但我们为这 5%


我用豆包 Seed-2.1-pro-0915 做了个「今天吃啥」,中午点菜这事终于不用纠结了
程序员晓凡2026/9/22

每天上午快到十一点四十,办公室里就会冒出一句「今天中午吃啥」。 我们几个中午基本在公司附近解决,来来回回就是那几家店。店面是固定的,菜点得越来越窄。我连着四天点了青椒土豆丝,第五天再报这个菜名的时候,同事看我的眼神有点不对。 难处不是没得选。附近几家馆子的菜单加起来少说上百道菜,谁都想不出新花样,也都不愿意花脑子想。 那就做个东西,把这事一次性解决掉。 先看做成了什么样 它的功能一句话能讲完。把常去餐馆的菜单拍成照片丢进去,它认出菜名和价格建成菜单库;中午打开点菜,点完自动汇总成一张订单卡片发到


【Linux】五种IO模型与非阻塞IO
好评1242026/9/13

本文主题内容 引言:网络通信中的很多性能问题,本质上并不是数据拷贝本身太慢,而是进程在等待数据到达。理解 IO 模型,就是理解操作系统如何通知进程数据已经就绪,以及数据最终由谁拷贝到用户空间。 一、理解 IO 1.1 一次 IO 的两个阶段 以网络读取为例,一次完整的 IO 通常包含两个阶段: 等待数据就绪:等待网卡接收数据,并由内核协议栈将数据放入 Socket 接收缓冲区。将数据从内核空间拷贝到用户空间:read、recv 等系统调用把数据交给应用程序。 所以,一次 IO 的总时间可以简


【Python编程—从入门到实践】(Python条件判断完全入门:从布尔表达式到列表中的if实战)
承渊政道2026/9/5

🔥承渊政道:个人主页 ❄️个人专栏: 《C语言基础语法知识》 《数据结构与算法》 《C++知识内容》 《Linux系统知识》 《算法刷题指南》 《测评文章活动推广》 《大模型语言路线学习》 《MySQL数据库学习》 《Python知识内容》 《cpolar知识学习》 ✨逆境不吐心中苦,顺境不忘来时路!✨ 🎬 博主简介: 编程时经常需要检查一系列条件,并据此决定采取什么措施.在Python中,if语句让你能够检查程序的当前状态,并据此采取相应


GitHub 热榜项目 - 周榜(2026-08-22)
CoderJia_2026/8/28

GitHub 热榜项目 - 周榜(2026-08-22) 生成于:2026-08-22 统计摘要 共发现热门项目: 16 个 Token赞助:siliconflow 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 本期热点趋势总结 这周gtihub热榜,明显聚焦 AI 基础设施与本地化部署:Agent 记忆、上下文数据库、模型路由与多供应商兼容成为主线,配套出现小模型端侧推理、Mac / Apple Si


TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
TDengine (老段)2026/8/20

分类:14.生态 | 篇章:04 第三方工具 免费详情 TDengine 通过 InfluxDB 兼容协议、JDBC、连接器等方式与主流数据生态对接。本文汇总 Telegraf、Kafka Connect、Flink、Spark、Logstash 等工具的集成方式。 集成方式速查 工具集成方式用途TelegrafInfluxDB output系统/IoT 采集collectdcollectd protocol服务器监控StatsDStatsD protocol应用指标Promethe


uni-app 项目目录结构全解:每个文件、每个文件夹的作用与配置详解
90后晨仔2026/8/7

📌 本文定位: 面向 iOS/Android/鸿蒙原生工程师,系统梳理 uni-app 项目的完整目录结构。基于 uni-app 官方文档 并大幅补充官方未覆盖的工程化细节、隐藏配置和实战经验。 一、标准项目目录全景图 使用 HBuilderX 或 CLI (npx degit dcloudio/uni-preset-vue#vite-ts my-project) 创建的标准项目结构如下: my-uni-app/ ├── pages/ # 📄 页面目


给 AI 装个“工具箱”:MCP 协议入门与 Node.js 实战
无情的西瓜皮2026/7/29

给 AI 装个"工具箱":MCP 协议入门与 Node.js 实战 你有没有想过一件事:AI 聊天模型很聪明,但它没办法直接读你的本地文件、查天气预报、更新 GitHub Issue,或者在数据库里跑一条 SQL。 这不是能力问题,是协议问题。大模型生在云端,活在自己的世界里。要让它们真正"动起来",你需要一个中间层——一个 AI 能理解和调用的标准接口。 MCP(Model Context Protocol)就是干这个的。它不是某个公司的私有方案,而是 Anthropic 推出来的开放协议,想


【Bug已解决】Forked thread token monitor over-accumulates usage after fork 解决方案
向哆哆2026/7/21

【Bug已解决】Forked thread token monitor over-accumulates usage after fork 解决方案 原始报错线索:Forked thread token monitor over-accumulates usage after fork(fork 出来的子进程里,那个统计 token 用量的监控线程,把用量算多了 / 重复累计)。 一、背景:fork 的语义陷阱 fork() 会几乎完整复制父进程的内存(写时复制,COW)。这意味着: 父进


【GitHub】Strix 深度解析:开源 AI 渗透测试工具的架构、原理与实战
怪侠说不说2026/7/13

当 AI 学会了黑客技能,安全测试的范式正在被彻底改写。 一、引言:安全测试的「自动驾驶」时代 传统的渗透测试(Pentest)面临着几个无解的痛点:周期长(动辄数周)、成本高(资深白帽人才稀缺)、误报多(静态扫描工具缺乏上下文理解)、覆盖窄(人为测试难以穷举攻击面)。一款名为 Strix 的开源项目正试图用 AI 多智能体协作的方式,把渗透测试带入"自动驾驶"时代。 Strix 在 GitHub 开源不到一年,已经斩获大量关注。它的核心理念非常直白:用 AI 代理(Agent)模

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读