孔乙己的茴字有多少种写法?|AI 对话实时通信的三种实现

作者:2分钟速写快排日期:2026/11/15

WebSocket

握手机制(八股)

WebSocket 是一种应用层通信协议,用于在浏览器与服务器之间建立持久的、全双工的数据通道。

这里容易和名字里的 Socket 混淆:底层网络传输确实依赖 TCP socket,但 WebSocket 本身并不是“在传输层建立的 socket”,而是运行在 TCP 之上的应用层协议。它规定了浏览器和服务端如何握手、如何编码和收发消息,以及如何关闭连接。

WebSocket 建连时会先发起一次看起来像普通 HTTP 的请求;这一步不是“假装 HTTP”,而是为了复用 HTTP 的入口能力,例如 80/443 端口、反向代理、鉴权和 TLS。客户端在请求头中声明希望将连接升级为 WebSocket,以 Manus 为例:

如果服务端支持,便返回 101 Switching Protocols。此后,这条 TCP 连接不再按照 HTTP 的“一问一答”模型传输,而是切换为 WebSocket 帧协议,客户端和服务端都可以随时主动发送消息。

SSE

SSE 是 "chatbot" 选型最常用的方案,你如果让 AI 给你写一个 "chatbot",往往它会给来上一套经典的 Next.js + Tailwind + ai 的方案,因为 npm 里的 ai 和 Next.js 都是 Vercel 出品

手搓 SSE

虽然 SSE 本身有大量的封装 SDK 、开源库或者 npm 包,但面试还是会考一下你手搓滴,下面是一个示例

feature: SSE 封装:心跳 + 自动重连 + 消息缓存 + 卸载销毁

EventSource 版本

参考:reconnecting-eventsource

1/**
2 * SSE 封装:心跳 + 自动重连 + 消息缓存 + 卸载销毁
3 *
4 * 客户端断开两种语义:
5 * 1. 关页 / 卸载 → stop:清理资源,不再重连
6 * 2. 网络断 → onerror / offline + 心跳超时:意外断开,自动重连
7 *
8 * @param {object} options
9 * @param {(msg: object) => void} [options.onMessage] - 用来调试
10 */
11export function createSSEHook(options) {
12  const { onMessage: _onMessage } = options;
13
14  let eventSource = null;
15  let stopped = false;
16  let lastEventId = null;
17  let lastActivityAt = Date.now();
18
19  const messages = [];
20  const messageId = new Set();
21
22  const closeStream = () => {
23    eventSource?.close();
24    eventSource = null;
25  };
26
27  const connect = () => {
28    if (stopped) return;
29
30    closeStream();
31    let url = `${location.protocol}//${location.hostname}:3002/ai-stream`;
32
33    if (lastEventId) {
34      url += "?lastEventId=" + encodeURIComponent(lastEventId);
35    }
36
37    const eventSource = new EventSource(url);
38
39    eventSource.addEventListener("message", (event) => {
40      if (event instanceof MessageEvent) {
41        lastEventId = event.lastEventId;
42      }
43
44      try {
45        lastActivityAt = Date.now();
46        const data = JSON.parse(event.data);
47        if (data.type === "heart") {
48          lastActivityAt = Date.now();
49        } else if (!messageId.has(data.id)) {
50          messageId.add(data.id);
51          messages.push(data);
52        }
53      } catch {}
54    });
55
56    eventSource.onopen = () => {
57      lastActivityAt = Date.now();
58    };
59
60    eventSource.onerror = () => {
61      if (stopped) return;
62      if (eventSource.readyState === EventSource.CLOSED) {
63        // 初始连接时,Nginx/网关没挂,但是服务器重启这种 case 不会触发 EventSource
64        // 自动重连(即 readyState === EventSource.CONNECTING),因此需要实现重连
65        closeStream();
66        connect();
67      }
68    };
69  };
70
71  /** 场景 2:半开连接(TCP 还在但流已死)→ 心跳探测失败后重连 */
72  const timer = setInterval(() => {
73    if (stopped || eventSource?.readyState !== EventSource.OPEN) return;
74    if (Date.now() - lastActivityAt > 3000) {
75      connect();
76    }
77  }, 1000);
78
79  /** 场景 1:关页 / 组件卸载 — 彻底销毁 */
80  const stop = () => {
81    stopped = true;
82    clearInterval(timer);
83    closeStream();
84    window.removeEventListener("pagehide", stop);
85  };
86
87  // pagehide 比 beforeunload 更稳(移动端/ bfcache)
88  window.addEventListener("pagehide", stop);
89
90  connect();
91
92  return {
93    messages,
94    stop,
95  };
96}
97

EventSource 建立的 SSE 对应的服务端一般会返回 chunk_id 如下图

在网络抖动或者服务端重启导致的 EventSource 自动重连会带上最后一个 id,这样服务端就能够根据 last-event-id 里去按需返回 redis 缓存里的 chunk,client 渲染的 chunk 就不会重复

重连时服务端日志如下

1$ npm run start -w sse-hook
2
3> sse-hook@1.0.0 start
4> node server.js
5
6SSE demo: http://localhost:3001
7Last-Event-ID: undefined
8Last-Event-ID: heart-1793717750411
9
QA

Q: 我在浏览器怎么看不到 last-event-id?
A: Chrome 里的重连连接可能看不到浏览器携带的 last-event-id

最好是在服务端打印观察,比如

1app.get('/ai-stream', (req, res) => {
2  console.log('Last-Event-ID:', req.headers['last-event-id']);
3  ...
4}
5

Q: 我该怎么模拟网络抖动?
A: 最好是在电脑做服务端,然后手机和电脑连同一个 Wi-Fi,打印电脑端的局域网 iP,然后手机访问对应的 iP + Port 去访问(比如 http://192.168.1.10:3001),再关闭 Wi-Fi,触发 EventSource 的自动重连,然后再开 Wi-Fi,观察服务端有没有接收到重连的请求

如果你有两台电脑,接收端的电脑(如果是 MacOS)记得在打开 系统设置 → 隐私与安全性 → 本地网络,允许实际用于访问的应用,比如 Chrome,不然访问不了你的局域网 iP + Port,开启示例如下图

ReadableStream 版本

相对于 EventSource,ReadableStream 的 SSE 实现更好拓展和自定义,可以使用 POST、携带请求体或自定义请求头,也可以在读取前检查响应状态,比如 HTTP 状态码和 Content-Type,决定是否解析 SSE,是否重连和对应的实现也可以自己根据业务决定,一个例子如下:(由于实现代码太长,只使用伪代码,完整代码可以查看参考文档里的 github 链接)

1function useSseChat() {
2  const [messages, setMessages] = useState([]);
3  const [status, setStatus] = useState("ready");
4  const prevStatusRef = useRef(status);
5  const canResumeRef = useRef(false);
6  const sseController = useRef(null);
7
8  useEffect(() => () => sseController.current?.abort(), []);
9
10  const sendMessage = async (url = "/api/chat") => {
11    canResumeRef.current = true;
12    sseController.current?.abort();
13    const controller = new AbortController();
14    sseController.current = controller;
15    setStatus("streaming");
16
17    try {
18      const res = await fetch(url, {
19        signal: controller.signal,
20      });
21      await res.body
22        .pipeThrough(new TextDecoderStream())
23        .pipeThrough(new EventSourceParserStream())
24        .pipeThrough(
25          new TransformStream({
26            transform(event) {
27              const reply = JSON.parse(event.data);
28              setMessages((curr) => {
29                const i = curr.findLastIndex((m) => m.id === reply.id);
30                if (i === -1) return [...curr, reply];
31                else return curr.with(i, reply);
32              });
33            },
34          }),
35        )
36        .pipeTo(new WritableStream());
37    } catch {
38    } finally {
39      if (!controller.signal.aborted) setStatus("ready");
40    }
41  };
42
43  useEffect(() => {
44    const prevStatus = prevStatusRef.current;
45    prevStatusRef.current = status;
46    if (
47      prevStatus !== "streaming" ||
48      status !== "ready" ||
49      !canResumeRef.current
50    ) {
51      return;
52    }
53    const controller = new AbortController();
54    let timer,
55      attemps = 0;
56
57    const checkHeartbeat = async () => {
58      if (attemps >= 10 || controller.signal.aborted) return;
59      attemps++;
60
61      try {
62        const res = await fetch("/api/chat/heart", {
63          method: "POST",
64          headers: { "Content-Type": "application/json" },
65          body: JSON.stringify({ id }),
66          signal: controller.signal,
67        });
68        const { canResume } = await res.json();
69        if (controller.signal.aborted) return;
70        if (canResume) return sendMessage(`/api/chat/${id}/heart`);
71      } catch {}
72
73      if (!controller.signal.aborted && attemps < 10) {
74        timer = setTimeout(checkHeartbeat, 1000);
75      }
76    };
77
78    checkHeartbeat();
79
80    return () => {
81      controller.abort();
82      clearTimeout(timer);
83    };
84  }, [status]);
85
86  return {
87    messages,
88    sendMessage,
89    stop() {
90      canResumeRef.current = false;
91      sseController.current?.abort();
92      setStatus("ready");
93    },
94  };
95}
96

ReadableStream 版本多了 chunk 的处理

EventSource 内置了 SSE 解析,监听器可以直接从 event.data 取到事件载荷。如果用 fetch 读取 SSE,就要先把响应字节流解码成文本,再用 EventSourceParserStream 从连续的文本块中识别事件边界、提取 data。服务端把 JSON 放在 data: 里时,提取出的载荷就是 JSON 字符串。 - codex

EventSource 版本根据心跳处理 TCP 半开连接的场景在 ReadableStream 版本先忽略

边界 Case
  1. if (canResume) return sendMessage(/api/chat/${id}/heart):检测到可以重连后需要及时终止心跳,直接 return sendMessage...,避免下一轮心跳再次触发,导致连续断点续连
  2. res.body 需要等待:ReadableStream 的处理是链式调用,类似 Promise().then().then(),如果需要等待流式管道完成,需要 await + pipeTo
竟态 Case

由于自动重连、续流、停止三个操作都互有关联,因此三方的竟态处理需要处处防御

  1. status 驱动的重连的防御:停止 SSE 也就是 stop 的调用也驱动了 status: streaming -> ready,但这不是我们自动重连该监听的,因此我们需要一个标志位防御下,即 canResumeRef(状态驱动自动重连其实不是一个很好的设计,后续类似的状态变多更应该考虑事件驱动,比如 redux, useReducer 的 dispatch,能够追根溯源)

轮询

有些流式可能是轮询实现,比如 OpenAI 的一个例子, 1s 去查一次状态,即 get_run_status,理论上 get_run_status 可以实现返回 message

轮询实现 AI 流式对话的 case 实在太少,就不过多展开

不过可以说下什么时候用它

比如文生视频、文生图,这种耗时较长的工具调用可以用轮询,因为这期间没啥输出

SSE 和 WebSocket 有什么不同?

两者都能让 AI 的回答“一个字一个字地冒出来”,但通信模型不同。

SSE 是服务端单向推送。客户端先用 HTTP 发起请求,服务端保持响应不结束,并持续把生成结果推回客户端。用户发送提问、点击“停止生成”等操作,则另外通过普通 HTTP 请求提交。

1客户端 ── HTTP 请求 ──> 服务端
2客户端 <── SSE 事件流 ── 服务端
3

WebSocket 则是全双工通信。连接建立后,客户端和服务端共享一条长期存在的通道;任何一方都能主动发消息。

1客户端 <──── WebSocket 双向通道 ────> 服务端
2
对比项SSEWebSocket
通信方向服务端 → 客户端客户端 ↔ 服务端
基于什么HTTP 持续响应升级后的 WebSocket 协议
浏览器原生接口EventSourceWebSocket
适合 AI 文本流很适合也适合,但常有些“重”
适合实时双向场景一般更适合,如语音、协作、游戏

对于普通 AI 文本对话,SSE 往往足够且实现简单:用户发一次请求,服务端流式返回回答。只有当客户端需要频繁、实时地主动向服务端发送数据——例如实时语音、多人协作、持续状态同步——WebSocket 的双向能力才更有价值。

总结:

SSE 是“服务端持续说,客户端另开口”;WebSocket 是“双方一直通着电话,谁都能随时说话”。

参考文档

  1. reconnecting-eventsource.ts - fanout/reconnectin…
  2. EventSource - MDN
  3. assistant-basic - openai-quickstart-python - github
  4. pandoralink/hand-tearing - github

参考文档


《孔乙己的茴字有多少种写法?|AI 对话实时通信的三种实现》 是转载文章,点击查看原文。


相关推荐


IntelliJ IDEA 配置 JDK 21 与 Maven 教程(Windows):开发环境配置与验证
少年的范儿2026/11/7

一、准备工作 配置前,请确保已经安装以下软件: IntelliJ IDEAJDK 21Apache Maven 官方下载地址: IntelliJ IDEAOracle JDK 21Apache Maven 本文主要介绍 IDEA 中的环境配置,不再重复 JDK 和 Maven 的安装过程。 JDK 21 详细安装教程 Apache Maven 详细安装教程 二、配置 JDK 21 1. 打开项目结构设置 打开 IntelliJ IDEA,依次选择: File → Projec


Linux 网络:HTTP(三)Linux 服务器实现
AbandonForce2026/10/30

Linux 网络:HTTP(三)Linux 服务器实现 引言 前两篇已经介绍了 HTTP 报文、方法、状态码和登录状态。现在把这些规则落实到 Linux 程序中:浏览器访问首页时,服务器怎样把收到的字节变成请求对象,再找到文件、组织响应,最后完整地发回去? 实现一个教学服务器,重点不在于把所有 HTTP 功能一次写齐,而在于让收发、解析和业务各自承担明确的职责。下面结合 C++17 代码片段分析这些模块,以及从回显程序扩展到 HTTP 时需要补上的处理。 一、服务器的模块与调用顺序 最


PHP 紧急修复两项严重 RCE 漏洞,8.2 至 8.5 用户应立即升级
BingoGo2026/10/22

PHP 紧急修复两项严重 RCE 漏洞,8.2 至 8.5 用户应立即升级 2026 年 10 月 21 日,PHP 官方发布紧急安全公告,并同时推出 PHP 8.5.12、8.4.27、8.3.36 和 8.2.35,修复两项可能导致**未经身份验证的远程代码执行(RCE)**的漏洞。 这两项漏洞的 CVSS v4.0 评分均为 9.2,严重级别为 Critical。已验证的代码执行以 Web 工作进程的权限运行,并不意味着直接获得 root 权限;但应用凭据、业务数据和服务可用性仍可能受到严


AI for Testing 提效实战 · 执行自动化(四):脚本坏了让 AI 自愈——它说修好了,你凭什么信
匠测AI说2026/10/17

上一篇把 AI 分诊接进 CI 时,我们留了一道默认关着的门:L3,让 AI 自己改代码。这一篇推开一条缝,聊它最成熟、风险最低的一个落地场景——前端改版把脚本弄失效了,让 AI 自动修脚本(self-healing,测试自愈)。 2026 年主流框架和商业平台大多已经内置自愈:Playwright 有官方 healer,Cypress 有 cy.prompt,Selenium 系有 Healenium,商业平台 Testim/Mabl 更是标配。如果你是 Python 栈、官方方案覆盖不到,第


从流程引擎到工程管理:CCFlow CCPrj 模块设计与实现驰骋BPM驰骋低代码低代码工作流引擎
驰骋低代码、工作流、表单引擎2026/10/12

从流程引擎到工程管理:CCFlow CCPrj 模块设计与实现 本系列共 3 篇: ① 设计与实现(本文) ② 产品介绍 ③ 源码导读 流程解决“审批怎么走”,工程解决“任务怎么干”。本文从需求出发,梳理 CCFlow 工程管理模块(CCPrj)的分层架构、数据模型、状态机与关键实现。 一、先说结论 CCPrj 不是把甘特图硬塞进流程引擎,而是参照流程引擎的分层方式,单独做了一套工程运行时: 设计态:工程类别 → 工程模板 → 任务组 / 任务运行态:工程实例 → 任务组实例 /


LangSmith:从链路追踪到 RAG 自动化评估
东风破_2026/10/4

做过 LangGraph Agent 或 RAG 之后,很快就会遇到一个问题: 程序虽然能跑,但内部到底发生了什么? 一次请求经过了哪些节点?Retriever 返回了什么?模型真正收到的 Prompt 是什么?哪一步最慢?Token 消耗多少?某次异常究竟出在哪个 Run? 再往后还会遇到另一个问题: 这个 Agent 或 RAG 到底“好不好”? 靠人工随便问几个问题,只能得到主观感受。真正进入工程阶段之后,我们需要的是可观测、可回归、可量化。 LangSmith 主要解决的就是这两类问题。


HTTP 407 排错实战:CONNECT、认证注入与容器凭据安全
IPdodo_2026/9/27

HTTP 407 往往被笼统归为“网络错误”,但它实际上给出了非常具体的协商结果:客户端已经到达中间网关,而网关要求代理认证,当前请求没有提供可接受的凭据。继续替换出口或无上限重试,通常不会改变认证协商失败这一事实。 本文以企业内网网关、容器化服务和经过授权的接口调用为例,说明 CONNECT 隧道的认证位置、requests 的配置优先级、容器凭据注入和可审计的排查流程。所有地址和账号均为占位符。 一、407 与 401、403、429 分别发生在哪一层 访问 HTTPS 目标时,客


【Linux】线程同步与互斥
道尔柯南2026/9/19

🎬 个人主页:道尔柯南 ❄专栏传送门:《C语言》《C++》《Linux操作系统》 昙花一现,却等待了整个白昼;蝉鸣一夏,却蛰伏了好几个四季。 文章目录 从互斥到线程池:C++ 多线程同步与互斥实战笔记1. 为什么需要线程同步与互斥?2. 互斥量:给临界区上锁3. 条件变量:等待与通知4. 生产者消费者模型5. 信号量与环形队列6. 线程池:任务与执行解耦7. 日志、策略模式与单例8. 线程安全与可重入9. 死锁与常见锁10. STL 与智能指针的线程安全11.


PyTorch训练坏样本自动定位:避免任务跑几小时后突然中断
ai小陈2026/9/11

深度学习任务运行数小时后,突然因损坏图片、空标注或异常尺寸报错,是GPU算力平台上的高频问题。此时GPU本身通常没有故障,真正原因是数据集没有在训练前完成校验。本文以PyTorch为例,搭建“预扫描—运行捕获—隔离清单—复核修复”的坏样本定位流程。 一、问题背景 常见异常包括图片无法解码、标签越界、文本编码错误、输入包含NaN,以及不同样本Shape无法组成Batch。小规模调试可能碰不到这些文件,大模型训练或长周期深度学习实验一旦随机读取到坏样本,整个进程就可能退出。 GPU服务器租用往


【AI】大模型本地部署与量化:Ollama、transformers、llama.cpp实践
漂流瓶jz2026/9/3

部署即在本地电脑中下载并运行模型,就像使用网络上的大模型API一样,但区别在于模型是运行在本地的,不收费也不会泄露信息。但模型可能很大,本地电脑可能会内存不足,这时候就需要量化来尝试缩小模型存储空间,同时尽量避免模型性能损失。 Ollama Ollama是一个大模型部署工具,用它只需要执行几个命令,就可以在本地电脑下载和部署大模型。官网列出了非常多可以部署的模型,有官方模型,也有用户训练/调整过的模型。 使用Ollama部署 首先安装Ollama本身,然后执行命令行。这里我们以Qwen3:0.6

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读