LLM 回答得好不好?SkyWalking 用 LLM-as-Judge 评估线上回答

作者:SkyWalking中文站日期:2026/10/17

SkyWalking 11.1.0 即将支持 LLM-as-Judge:异步评估 GenAI Span 中的输入和输出消息,生成评估记录并关联原始 Trace,SCORE 任务还会产生质量指标。

By peachisai | Thursday, October 15, 2026

介绍

传统可观测性关注服务的错误率和延迟,但这些指标说明不了 LLM 的回答有没有上下文依据、是否切题、是否完整。知识库助手可能给出格式规范、语气笃定却没有依据的答案:Trace 显示请求成功,用户却觉得答案靠不住。在 AI 网关和探针中,模型版本、模型服务商的运行状态和路由策略也会变化,进而影响回答质量。

SkyWalking 已经基于 OpenTelemetry 提供 GenAI 可观测性,可以查看调用量、成功率、延迟、Token 用量和预估费用。即将发布的 SkyWalking 11.1.0 在此基础上加入了 LLM-as-Judge。OAP 从采样到的 GenAI Span 中取出输入和输出消息,发给一个 OpenAI-compatible 的 Judge 模型。Judge 按配置的任务评估回答质量,OAP 把结果存为评估记录,并关联到原始 Trace。SCORE 类型的任务还会生成指标,供 Virtual GenAI Dashboard 和告警使用。

为什么把质量评估接入 SkyWalking

  • 数据集和 Benchmark 适合用在模型选型、Prompt 对比和发布前的回归测试上。不过它们的问题和上下文通常是固定的,没法持续反映线上的回答质量。
  • 线上请求一直在变:用户问题和上下文各不相同,模型版本会更新,模型服务商的状态和流量模式也在波动。所以生产系统除了离线测试,还需要持续评估真实请求。
  • LLM-as-Judge 负责评估真实请求的回答质量,SkyWalking 则把评估结果和已有的 Trace、指标放在一起。Trace 能展示一次请求经过了哪些 LLM 交互和外部调用;回答质量下降时,可以据此判断问题是否和前序 LLM 的输出、MCP 调用或其他外部接口的返回有关。
  • Virtual GenAI Dashboard 和告警可以按时间展示质量趋势,并在数值异常时告警。这样,质量评估、趋势监控、告警和 Trace 排查就连成了一个线上观测闭环。

数据流转

评估是异步的:符合条件的 GenAI Span 先进入队列,Trace 接收不用等待 Judge 返回。只有 gen_ai.input.messages 和 gen_ai.output.messages 都非空的 GenAI Span 才会参与评估,缺任何一个就直接跳过。

接入步骤

本文以 SkyWalking 11.1.0 为准。正式发布前,OAP 请使用 11.1.0-SNAPSHOT 开发版本。下文截图中的评估页面目前只在 Horizon UI 的 main 分支中,Horizon UI 1.0.1 还没有;在 Horizon UI 1.1.0 发布前,请使用 ghcr.io/apache/skywalking-horizon-ui:main 镜像。

1. 开启模块

模块默认关闭,启动 OAP 时设置 SW_AI_EVALUATION=default 即可开启。application.yml 中的模块配置如下:

1ai-evaluation:
2  selector: ${SW_AI_EVALUATION:-}
3  default:
4    sampleRate: ${SW_AI_EVALUATION_SAMPLE_RATE:1000000}
5    bufferSize: ${SW_AI_EVALUATION_BUFFER_SIZE:100}
6    consumerThreads: ${SW_AI_EVALUATION_CONSUMER_THREADS:8}
7    # Maximum escaped characters included from each input/output message field.
8    maxContentLength: ${SW_AI_EVALUATION_MAX_CONTENT_LENGTH:16384}
9

sampleRate 的单位是百万分之一(PPM):1000000 表示评估所有符合条件的 Trace,10000 约为 1%。采样按 Trace ID 进行,同一条 Trace 中的 Span 采样结果一致。队列满了以后,OAP 会直接丢弃新的评估任务,不会阻塞 Trace 接收。调整 bufferSize 和 consumerThreads 之前,先确认 Judge 服务能承受多少请求,再看看 OAP 的资源占用。

只设置 selector 还不够,还要在 ai-evaluation.yml 中配置有效的 endpoint、模型、API Key 和系统 Prompt。缺少其中任何一项,评估模块都不会工作。

2. 配置 Judge 和评估任务

在 ai-evaluation.yml 中配置 Judge:

1judge:
2  provider: openai
3  endpoint: ${AI_EVALUATION_ENDPOINT:}
4  model: ${AI_EVALUATION_MODEL:gpt-5.5}
5  api-key: ${AI_EVALUATION_API_KEY:}
6  request-timeout-seconds: 30
7  max-retries: 2
8  temperature: 0.2
9  max_tokens: 100000
10

目前 provider 只支持 openai。endpoint 可以指向任何兼容 OpenAI Chat Completions 的服务:它要能接受 Chat Completions 请求,并在响应的 choices[0].message.content 中返回 Judge 的 JSON 结果。Judge 请求会带上 Span 中的输入和输出消息。在生产环境启用前,请先确认数据脱敏和隐私要求,了解服务提供方的数据处理政策,并估算模型调用费用。

系统 Prompt 必须要求 Judge 返回 JSON。默认配置如下:

1system-prompt: |
2  You are an AI observability evaluator.
3
4  Your task is to evaluate GenAI spans according to the evaluation tasks provided by the user.
5
6  General Rules:
7
8  1. Return ONLY valid JSON.
9  2. Do NOT return markdown.
10  3. Do NOT return code fences.
11  4. Do NOT return explanations outside the JSON result.
12  5. Do NOT add any fields that are not requested.
13  6. Do NOT omit any evaluation task.
14  7. The JSON keys MUST appear in exactly the same order as the evaluation tasks provided by the user.
15  8. Each evaluation task MUST contain:
16     - value
17     - reason
18  9. The reason field should be concise and explain the evaluation result in one or two sentences.
19  10. If the available context is insufficient, provide the best evaluation possible and explain the limitation in the reason field.
20
21  Value Type Rules:
22
23  SCORE
24  - value must be a number between 0.0 and 1.0.
25  - 1.0 represents the best possible evaluation result.
26  - 0.0 represents the worst possible evaluation result.
27
28  BOOLEAN
29  - value must be either true or false.
30
31  STRING
32  - value must be a string.
33
34  JSON
35  - value must be a valid JSON object.
36
37  Evaluation Principles:
38
39  - Evaluate only using the information provided in the span context.
40  - Do not assume facts that are not present in the input.
41  - Do not invent missing information.
42  - Be objective and consistent.
43  - Use the task instruction as the primary evaluation criterion.
44
45  Return ONLY the JSON object.
46

可以在 level 中为 SCORE 和 BOOLEAN 结果配置等级。SCORE 区间包含 min、不包含 max;max 为 1.0 的区间也包含 1.0 本身:

1level:
2  undefined: undefined
3  score:
4    - min: 0.0
5      max: 0.3
6      level: fail
7    - min: 0.3
8      max: 0.6
9      level: warning
10    - min: 0.6
11      max: 0.85
12      level: good
13    - min: 0.85
14      max: 1.0
15      level: excellent
16  boolean:
17    "true": excellent
18    "false": fail
19

每个评估任务都要设置 name、valueType 和 instruction。valueType 支持 SCORE、BOOLEAN、STRING 和 JSON。评估记录保存所有合法的任务结果,不合法的结果直接跳过。SCORE 和 BOOLEAN 按 PPM 存为数值(分数 0.8 存为 800000,true 存为 1000000,false 存为 0),STRING 和 JSON 按字符串保存。只有 SCORE 任务会额外上报 gen_ai_model_evaluation_score_ppm 指标,其他类型只生成评估记录。

1tasks:
2  - name: Faithfulness
3    valueType: SCORE
4    instruction: Evaluate factual grounding. Higher is better.
5
6  - name: Relevance
7    valueType: SCORE
8    instruction: Evaluate response relevance. Higher is better.
9
10  - name: TaskCompletion
11    valueType: BOOLEAN
12    instruction: Evaluate task completion.
13
14  - name: Hallucination
15    valueType: SCORE
16    instruction: Evaluate factuality and absence of hallucinations. Higher is better.
17

系统 Prompt 把 1.0 当作最好的结果,上面的等级规则也是分数越高、等级越好,所以每个 SCORE 任务的 instruction 都要写成“分数越高,回答越好”。这也是为什么上面的 Hallucination 任务评的是“有没有幻觉”,而不是“幻觉有多严重”。

每个任务的结果都包含 value 和 reason。评估记录和指标中的 SCORE 值都是 PPM,展示原始分数时除以 1000000 即可。你也可以自定义评估维度,并为 STRING 任务配置 allowedValues。

3. 接收 GenAI Trace

启动 OAP,并向 SkyWalking 上报 GenAI Trace,接入方法见 GenAI 可观测性接入指南。评估需要消息内容,而 SkyWalking Java 探针默认不采集。用 Java 探针接入 Spring AI 时,需要在业务应用的启动环境中显式开启:

1export SW_PLUGIN_SPRINGAI_COLLECT_INPUT_MESSAGES=true
2export SW_PLUGIN_SPRINGAI_COLLECT_OUTPUT_MESSAGES=true
3

通过 OTLP 或 Zipkin 接入时,请确认采集端会导出 gen_ai.input.messages 和 gen_ai.output.messages。缺少任一属性的 Span 不会进入评估队列。

通过 OTLP 接入时,OAP 11.1.0 默认原生存储 Span(otlpTraceStorage: otlp),并直接评估这些 Span,无需转换为 Zipkin 格式。

4. 查看评估记录

在 Horizon UI 中打开 Virtual GenAI > Evaluation records,可以按任务、值类型、Trace ID 等条件筛选记录。每条记录还保留了服务、模型服务商、模型、操作、任务、评估值、等级、原因、Judge 模型和评估时间。

5. 从评估记录查看原始 Trace

点击一条记录,查看评估详情:

记录来自 SkyWalking 原生 Trace 时,有 traces:read 权限即可点击右上角的 trace 链接,打开原始 Trace(如下图)。在 Trace 中可以查看采集到的 Agent 交互、LLM 调用和外部工具调用。

Horizon UI 的 main 分支目前还不支持从 OTLP 评估记录跳转到原生存储的原始 Trace。这项 UI 限制不影响评估记录的生成和查询。

6. 在 Dashboard 中查看质量指标

Virtual GenAI 的 Models 页面展示了 gen_ai_model_evaluation_score_ppm 指标。在 Virtual GenAI 中,模型服务商对应服务,模型对应服务实例,所以这里看到的是按模型和任务划分的 SCORE 趋势。你也可以基于这个指标配置告警。

另外,还要持续关注 OAP 自观测指标 ai_evaluation_dropped_count 和 ai_evaluation_error_count(存储名分别为 meter_oap_instance_ai_evaluation_dropped_count 和 meter_oap_instance_ai_evaluation_error_count),以免把评估本身的问题误判为模型回答质量下降。具体原因看 reason 标签:丢弃原因有两种,pipeline_capacity 表示队列已满,incomplete_span 表示缺少评估上下文或 Trace ID,或者 Span 缺少所需的消息、服务、模型服务商、模型或 Trace 关联信息;错误原因分为 rejected、timeout 和 invalid_response。


参考文档


《LLM 回答得好不好?SkyWalking 用 LLM-as-Judge 评估线上回答》 是转载文章,点击查看原文。


相关推荐


量化回测最危险的错误,不是程序报错,而是数据错了却正常运行
高频因子挖掘机2026/10/10

一句话结论:量化系统最难排查的故障之一,是程序没有报错、回测可以完成,但输入数据已经偏离了策略所假设的真实市场状态。HTTP 200 无法证明回测数据可信。 摘要 为什么有些量化程序能够顺利获取行情、计算指标并生成回测报告,最终结果却经不起复核?问题可能不在策略公式,而在数据链路:重复 K 线、缺失交易日、复权口径变化、错误时间对齐,都可能悄悄改变交易信号。本文从回测可信度出发,分析数据错误的传播机制,介绍如何建立数据质量约束,以及 QuantDash 这类金融数据 API 在整个流程中能够承


《代码随想录》刷题打卡day44:图论-part02
Coder-magician2026/10/1

文章目录 【99.计数孤岛】DFS版本BFS版本 【100.岛屿的最大面积】DFS写法BFS写法 【99.计数孤岛】 思路: 用遇到一个没有遍历过的节点陆地,计数器就加一,然后把该节点陆地所能遍历到的陆地都标记上。 在遇到标记过的陆地节点和海洋节点的时候直接跳过。 这样计数器就是最终岛屿的数量。 DFS版本 # include <iostream> # include <vector> using namespace std; int


綦江烟草系统学习
ZDN_is_beauty2026/9/25

一.一个系统由哪几块组成 前端画界面 + 收集用户操作后端处理业务逻辑 + 调数据库 + 调算法数据库存取数据算法专门算风险分 API(接口) 定义:前端和后端之间的约定。前端说"我要什么",后端说"给你什么"。 这个项目里:后端定义了 40 多个 API,比如: POST /api/auth/login —— 登录 GET /api/results/b —— 查 B 端结果 POST /api/tasks —— 创建算法任务 类比:菜单。服务员(前端)照着菜单(


【AI大模型接入SDK】LLMManager架构设计与实现
艾莉丝努力练剑2026/9/17

🎬 个人主页:艾莉丝努力练剑 ❄专栏传送门:《C语言》《数据结构与算法》《C/C++干货分享&学习过程记录》 《Linux操作系统编程详解》《笔试/面试常见算法:从基础到进阶》《Python干货分享》 ⭐️为天地立心,为生民立命,为往圣继绝学,为万世开太平 🎬 艾莉丝的简介: 文章目录 1 ~> 项目背景与设计目标1.1 现有模型接入方案1.2 现有方案存在的问题1.3 LLMManager 设计目标 2 ~> 核心抽象与数据结构2.1 LL


2024上半年,零售行业三大观察
2601_962099082026/9/9

字数:1563;阅读时间:4分钟 宏观层面增长放缓 将目光投至2024年上半年, 零售业相关数据有了体现, 增长速度变缓的景象慢慢明晰起来, 逐一被揭晓呈显出, 并且渐次清晰可见。 以国家统计局所给出的数据来看, 社会消费品零售总额尽管呈现出保持增长的态势, 不过, 其增速显著地放缓了, 同比增长为3.7%, 那么, 这一数字背后隐匿着零售业的哪些秘密呢? 不同零售业态的表现呈现出分化的态势。 便利店的零售额增长速度, 与专业店以及超市有所不同。其中, 便利店同比增长率以5.8%占


2.django - 项目结构和模板语法
Aa123456789_552026/9/1

静态文件要放在app/static目录中。Django会自动在这个文件中寻找对应模板 模板语法 本质上是django专属在HTML中的一些占位符。 list 取值 索引取值: 通过 “.”+索引 For循环取值 Dict字典取值 通过索引取值 获取所有key值。N3.keys 获取所有value值. N3.values 获取key和value值. N3.items 判断语句


深入理解 TCP 协议(二):TCP 可靠传输与高效通信机制详解
Mortalbreeze2026/8/24

目录 前言 一、确认应答机制 二、超时重传机制 2.1 理解丢包的本质 2.2 超时时间如何确定 三、滑动窗口机制 3.1 深度理解 send/write 和发送缓冲区 3.2 理解滑动窗口 3.3 理解结合滑动窗口发送报文的流程 3.4 滑动窗口机制的进一步理解——发送缓冲区的空间复用 3.5 滑动窗口机制的进一步优化——快速重传机制 3.6 滑动窗口的大小如何确定 四、流量控制机制 4.1 零窗口探测 4.2 16 位窗口大小的限制与窗口扩大因子 五、拥塞


如何使用GSAP实现一个 `pinned` 滚动楼层叙事?
Mh2026/8/11

准备工作 技术栈: vue + gsap 最近在做的一个动画,特意去网上查了一下叫 pinned 滚动叙事,感觉蛮有趣,分享给你们。 实现的动画如下: 对应的模仿网址是:www.vaporesso.com/series-prod… 思考过程🤔 多滚动几次上面的动画,感官上大致可以得出一个粗浅的感受。 页面滚到某一段时,画面突然停住了。你继续滚动,页面没有向下走,而是像一条时间线一样开始播放:卡片移动到中心、放大、图片和文字拉开距离,然后卡片退场,背后的内容一层一层覆盖进来。等这一段讲完,卡片


06|眼睛:LLM 的「视野」怎么拼出来,又怎么不爆
浪遏2026/8/2

这是《Agent全栈实战》的第 6 篇。整个系列以 catbuddy(一个本地优先的 AI 编程助手,约 3.6 万行 TypeScript)为案例,由浅入深拆解 harness 设计。前面我们讲了心脏(Agent Loop)和手脚(工具系统)。这一篇聊「眼睛」——模型每次开口之前,它到底看到了什么。你给 LLM 的那一长串 messages,不是随手拼的,而是一条五层流水线装出来的;而对话一长,这串东西就会撑爆上下文窗口,撞上窗口红线直接 context_length_exceeded。所以这


Java Jetty 实战详解:从嵌入式 HTTP 服务到 Spring Boot 容器替换
唐青枫2026/7/25

简介 Jetty 是 Eclipse 基金会维护的 Java Web 服务器,也是一个 Servlet 容器。 它主要能做这些事: 监听 HTTP 端口 处理 HTTP 请求和响应 运行 Servlet / Filter / Listener 部署 WAR 包 支持 WebSocket、HTTP/2、HTTP/3 作为库嵌入到 Java 程序里启动 作为 Spring Boot 的内嵌容器 一句话概括: Jetty 既能像 Tomcat 一样单独部署 Web 应用,也能像普通 Java 库一样

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读