从能读取到能研究:我们如何把 agent的 PDF tool升级为可追溯的多模态能力

作者:hpoenixf日期:2026/10/17

最初给投研 Agent 接入 PDF 时,我们要解决的问题很朴素:基金招募说明书、指数编制文件和财务报告经常以 PDF 发布,Agent 不能只看搜索结果里的几句摘要,就声称分析过原始资料。

所以第一版思路也很自然:取得文件,提取文字,把相关段落交给模型。

它足以回答一些简单问题,却很难应付真正的研究任务。例如,比较一份报告第一页和最后一页的指标、核对表格里的负号和单位,或者判断“报告没有提及某项风险”是否成立。问题逐渐不再是能否解析 PDF,而是模型拿到的材料,是否足以支持它正在作出的判断。

我们的 PDF 能力就是沿着这条需求逐步长出来的:先接入原始文件,再提供可继续的长文档导航,随后补上表格结构与页面视觉,最后把每一步变成可以核对的研究证据。

一、先复用研究链路,不为 PDF 另造一套 Agent

PDF 首先是一种资料载体。它可以来自公开网页、获准的研究文件,也可能是工具返回的附件。虽然入口不同,我们希望它们都沿用既有的资料身份、来源权限和研究结果交付方式,而不是每一种文件分别注册工具、分别维护引用、分别定义是否可信。

这项选择看似保守,却决定了后来的扩展方式:新增阅读能力时,主要改变的是同一份文档能提供哪些证据表示,而不是让 PDF 工具成为第二个研究系统。

最早遇到的障碍也说明为什么要这样拆分。一次读取约 3.85 MiB 的官方 PDF,在解析器工作之前就被通用网页的 2 MiB 响应限制拒绝。单纯提高全局上限可以暂时解围,却会顺便扩大普通网页的网络资源范围。

我们最终只在确认响应为 PDF 后,给文件取得、解码和解析输入采用相互一致的 10 MiB 上限;网页、解析时间、返回字符和模型上下文仍由原来的限制管理。这是当时版本对已知失败的修复,不意味着所有更大的 PDF 都能读取。

这里形成了第一个工程判断:资料可以共享研究接口,资源策略却应该按实际内容类型约束。 拿到文件,也不能自动获得无限解析、无限送模或越权阅读的资格。

二、从“搜到一句话”走向真正的长文档导航

文件可读之后,我们开始要求 Agent 处理几十页的报告。这时,直接抽取文本或者一次关键词搜索的局限变得明显。

一次 WMO 报告研究中,模型给出了目标数值,自动评审也认为通过。但复查调用过程发现,它把关键词命中的范围理解为已检查的文档范围,并把没有实际读到的部分推断为“报告不存在相关内容”。答案里的一个数值可能正确,研究过程却并没有支撑这么大的结论。

扩大一次返回的文本容量不是根本解法。报告越来越长,更多字符既增加上下文压力,也不能告诉模型哪些页被搜索、哪些正文真正返回、哪些地方根本没有检查。

我们于是把 PDF Reader 从“一次吐出文本”发展成可导航的阅读器:

  • 搜索提供查询命中与实际扫描范围,并在必要时通过绑定原查询的游标继续覆盖后面的页面。
  • 定位提供阅读器签发的有效页面或片段位置,而不是接受模型任意拼出的页码引用。
  • 读取返回实际可用的正文、来源身份与阅读范围;未读取的页面仍然是未读取。

这不是纯粹的接口形式变化。我们曾见过模型直接读取未获签发的页面,得到 INVALID_LOCATOR。后来沿合法搜索取得第 18、19 页的定位,再读取正文,路径才能继续。比起让无效引用悄悄生效,给出可行动的恢复步骤更符合研究需求。

还有一个更隐蔽的细节:解析器知道段落来自第几页,不代表模型最终看到的文字还保持原来的坐标。文本经过切片、容量裁剪或脱敏后,原始偏移就可能失效。我们曾看到真实回答把第 3 页引文标成第 2 页。后续修订让页码范围跟随最终实际交付的内容重新计算;如果正文发生无法保持坐标的改写,就不再暴露旧的偏移。

到这里,“文档已解析”“查询已覆盖”“页面已读取”“模型已收到”终于成为不同的事实。它们合在一起,才有资格支持跨页比较和页码引用。我们没有因此声称全文搜索过一遍就等于模型读懂了一遍。

三、让结构化证据与文本阅读互补

金融报告的下一个难题是表格。PDF 往往保存了字符和绘制位置,却没有告诉解析器哪几个数字属于同一列。正如 pypdf 的文本提取说明 所指出的,文本提取与还原表格语义不是同一件事。

我们没有选择用一条更强的 Prompt 要求模型“仔细看表”,因为模型无法可靠恢复已经在输入阶段丢失的行列关系。取而代之的是,在同一份 PDF 的文本读取之外,按需提供表格结构:表格属于哪一页、实际返回了哪些行列、因容量不足省略了多少内容。

这个补充能力并不取代文本。当结构识别器返回 no-tables 时,页面文本有时仍可用于回答;当表格结构成功交给模型时,模型依然可能算错。我们在指数资料验收中就遇到过后者:准确的五行表格内容进入请求,最终计数仍然错误。

这让我们在诊断时不再把所有错误扔回 PDF Parser。结构是否提取、字段是否送达、模型是否理解、答案是否有依据,各自都有需要检查的环节。

表格接入也带来新的资源约束。单个 Reader 的串行操作可以保护它自己的缓存和游标,却限制不了公开 PDF、研究资料和不同读取入口同时创建解析 Worker。我们随后将文本和表格解析统一接到进程级有界执行入口:共同管理活跃 Worker 和排队容量,等待仍服从调用方的取消与绝对期限,Reader 自己则继续负责查询、缓存和来源。

这个改动并不是为了追求某个未经测量的吞吐百分比。它解决的是职责问题:当能力成为多个入口共用的基础设施,资源上限就应由共同执行层持有,而不是分散在每个调用方。

四、从读文字扩展到按需看页面

即使具备长文档导航和表格结构,扫描件、图表和某些排版复杂的报告仍然无法依靠文本提取解决。需求于是升级为:必要时让视觉模型看到原始页面。

这里我们没有把“先渲染所有页,再全部送给模型”作为默认方案。对于文本清晰的报告,这既浪费解析和图像容量,也会让定位、页码与引用关系变得更难维护。

新能力采取按页补充的方式:文本读取仍是基础;表格结构和页面图像在任务需要、当前渲染环境获准时才加入。三种内容进入同一条研究证据链,但它们的实际覆盖范围独立记录。

1graph TD
2ApprovedDocument --> Reader
3Reader --> TextEvidence
4Reader --> TableEvidence
5Reader --> PageImage
6TextEvidence --> SourceProjection
7TableEvidence --> SourceProjection
8PageImage --> SourceProjection
9SourceProjection --> ModelResearch
10ModelResearch --> PublishedAnswer
11

图中的三条证据路径是可选能力,并非每次研究都要依次执行。

真正麻烦的是图像的身份与发送时机。渲染成功不等于图像进入了模型请求;取得页面时权限有效,也不保证异步等待之后实际发送时仍然有效。一次并发反例中,资料来源已经撤销,但旧图像仍被发送。后续修订把当前来源核验和物理发起绑定到原来源所有者的执行边界,同时要求已发出的请求留下真实派发事实,而不是因为后续事务失败就改写为“从未发送”。

另外一次扫描读取又暴露出纯视觉资料首次登记缺少内容哈希,导致后续一致性检查拒绝,真实模型输入中的图像数量是零。这种情况下,不能说视觉模型“看错了”:它根本没有收到图像。修复后的验收把页面渲染、当前来源、请求中的实际图像与最终识别结果逐层核对。

这也明确了能力边界:我们增加的是受控的按页视觉阅读,并没有因此建成独立的整篇 OCR 引擎,更不能把视觉接收成功等同于所有扫描数值都准确。

五、真正有用,必须由研究任务来证明

前面的机制让 PDF 从可读取的文件,逐步变成可导航、可定位、可补充视觉信息的研究来源。但它们是否改善回答,需要在真实模型任务中单独观察。

2026 年 10 月中旬,我们在受控环境中使用真实模型,检验一组公开金融资料和具有独立答案的合成文档。几项结果很有代表性:

研究问题实际观察仍不能证明什么
六页报告的日期、指标、结论与页码完成读取并通过目标字段核对不代表所有版式都能稳定处理
36 页报告的首尾指标比较在九次模型请求内给出正确页码、数值和差值不代表整份 36 页都经过深入语义审查
扫描财务表和图表真实页面图像进入请求,指定数字、单位和趋势大体正确扫描字符仍可能误读,解释仍可能超出原文

这些样本主要用于能力验收,不是大规模真实金融报告成功率统计。我们也看到扫描编号误读、表格解释越界、重复检索耗尽预算等局部失败。

更意外的是,一份短报告没有完成,真正阻断它的却不是 PDF Reader:旧测评脚本额外设置了四次模型请求限制,而产品 Runtime 当时允许更多请求。测评器先终止了合法研究。去掉冲突的外层限制后,该次六页任务才正常结束。

这让我们的验收顺序进一步改变:先核对资料是否取得、正文或图像是否实际送达,再检查模型解释、引用范围和最终交付;同时独立排查测评器是否用自己的资源限制改写了被测行为。工具执行、模型理解、研究完成,不能互相替代。

六、现在的 PDF Reader 与最初有什么不同?

最初我们要的是“把 PDF 的字交给模型”。现在我们关心的是“为具体研究问题交付可核对的证据”。

这段演进没有丢掉第一版的文本能力,而是逐层补齐:文件类别与资源限制、跨页导航与阅读覆盖、结构化表格、按需视觉、来源身份和最终内容坐标。新增的复杂度尽量放在原本拥有该事实的 Reader、解析执行器或来源所有者中,研究 Runtime 继续协调而不重新解释 PDF 内部语义。

已经有真实模型样本证明,部分多页阅读、跨页比较、扫描表格与图表问题能够完成;同样有证据说明视觉识别、解释覆盖和复杂任务收敛还不稳定。我们还没有得到长期生产成功率或整体成本收益的对照结论。

但最初的需求已经推动出一个可以持续扩展的设计:搜索决定下一步去哪里读,Reader 说明实际交付了什么,模型负责解释材料,而来源与覆盖事实不由模型自行补造。

当文档越来越复杂,这条边界比再加一个“更强的 PDF 工具”更值得保留。


《从能读取到能研究:我们如何把 agent的 PDF tool升级为可追溯的多模态能力》 是转载文章,点击查看原文。


相关推荐


《雷达原理》全套PPT课件(西安交通大学)
书阁酷2026/10/14

《雷达原理》全套PPT课件(西安交通大学) 课件内容: 第1章绪论.ppt 第2章 雷达作用距离.ppt 第3章雷达系统-ppt 第4章目标距离的测量.ppt 第5章角度测量.ppt 第6章运动目标检测及测速.ppt 获取 《雷达原理》全套PPT课件(西安交通大学)::https://download.csdn.net/download/m0_54748666/93537039


Metal 冷启动并发下,Pipeline Cache 为什么必须合并在途编译
茶底世界之下2026/10/6

问题与范围 图像处理、视频帧处理和实时预览通常不会在启动时把所有 Metal pipeline 一次性建完。某个 kernel、函数常量或输出组合第一次被请求时,系统才按需创建对应的 MTLComputePipelineState。 最直观的实现是一个字典:命中就返回,未命中就创建后写回。单线程下它足够正确;但冷启动恰好容易有多个请求同时发现同一个缓存键不存在。它们会一起进入创建路径,令同一份工作重复发生,也让 reset 与旧创建的交错难以解释。 本文讨论计算 pipeline 的并发缓存合同


我把 Agent 的 while 循环拆掉了:一种你可能没想到的 Agent 架构
GreenTea2026/9/29

当 Durable Execution 遇上 Agent,Agent 就该是个微服务 去年年底,我们的 Agent 平台遇到一个很朴素的麻烦:容器太贵,进程太脆,网络太乱。 具体来说是三件事叠在一起。线上跑着几千个会话,一个用户一个 Docker 容器,agent 的 loop(while 一直转,调 LLM、跑工具、再调 LLM)整个塞在这个容器里。第一个月我们发现,容器 CPU 平均利用率不到 5%——因为 agent 九成时间在等 LLM 返回、等工具执行、等用户点确认,但我们为这 5%


我用豆包 Seed-2.1-pro-0915 做了个「今天吃啥」,中午点菜这事终于不用纠结了
程序员晓凡2026/9/22

每天上午快到十一点四十,办公室里就会冒出一句「今天中午吃啥」。 我们几个中午基本在公司附近解决,来来回回就是那几家店。店面是固定的,菜点得越来越窄。我连着四天点了青椒土豆丝,第五天再报这个菜名的时候,同事看我的眼神有点不对。 难处不是没得选。附近几家馆子的菜单加起来少说上百道菜,谁都想不出新花样,也都不愿意花脑子想。 那就做个东西,把这事一次性解决掉。 先看做成了什么样 它的功能一句话能讲完。把常去餐馆的菜单拍成照片丢进去,它认出菜名和价格建成菜单库;中午打开点菜,点完自动汇总成一张订单卡片发到


【Linux】五种IO模型与非阻塞IO
好评1242026/9/13

本文主题内容 引言:网络通信中的很多性能问题,本质上并不是数据拷贝本身太慢,而是进程在等待数据到达。理解 IO 模型,就是理解操作系统如何通知进程数据已经就绪,以及数据最终由谁拷贝到用户空间。 一、理解 IO 1.1 一次 IO 的两个阶段 以网络读取为例,一次完整的 IO 通常包含两个阶段: 等待数据就绪:等待网卡接收数据,并由内核协议栈将数据放入 Socket 接收缓冲区。将数据从内核空间拷贝到用户空间:read、recv 等系统调用把数据交给应用程序。 所以,一次 IO 的总时间可以简


【Python编程—从入门到实践】(Python条件判断完全入门:从布尔表达式到列表中的if实战)
承渊政道2026/9/5

🔥承渊政道:个人主页 ❄️个人专栏: 《C语言基础语法知识》 《数据结构与算法》 《C++知识内容》 《Linux系统知识》 《算法刷题指南》 《测评文章活动推广》 《大模型语言路线学习》 《MySQL数据库学习》 《Python知识内容》 《cpolar知识学习》 ✨逆境不吐心中苦,顺境不忘来时路!✨ 🎬 博主简介: 编程时经常需要检查一系列条件,并据此决定采取什么措施.在Python中,if语句让你能够检查程序的当前状态,并据此采取相应


GitHub 热榜项目 - 周榜(2026-08-22)
CoderJia_2026/8/28

GitHub 热榜项目 - 周榜(2026-08-22) 生成于:2026-08-22 统计摘要 共发现热门项目: 16 个 Token赞助:siliconflow 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 本期热点趋势总结 这周gtihub热榜,明显聚焦 AI 基础设施与本地化部署:Agent 记忆、上下文数据库、模型路由与多供应商兼容成为主线,配套出现小模型端侧推理、Mac / Apple Si


TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
TDengine (老段)2026/8/20

分类:14.生态 | 篇章:04 第三方工具 免费详情 TDengine 通过 InfluxDB 兼容协议、JDBC、连接器等方式与主流数据生态对接。本文汇总 Telegraf、Kafka Connect、Flink、Spark、Logstash 等工具的集成方式。 集成方式速查 工具集成方式用途TelegrafInfluxDB output系统/IoT 采集collectdcollectd protocol服务器监控StatsDStatsD protocol应用指标Promethe


uni-app 项目目录结构全解:每个文件、每个文件夹的作用与配置详解
90后晨仔2026/8/7

📌 本文定位: 面向 iOS/Android/鸿蒙原生工程师,系统梳理 uni-app 项目的完整目录结构。基于 uni-app 官方文档 并大幅补充官方未覆盖的工程化细节、隐藏配置和实战经验。 一、标准项目目录全景图 使用 HBuilderX 或 CLI (npx degit dcloudio/uni-preset-vue#vite-ts my-project) 创建的标准项目结构如下: my-uni-app/ ├── pages/ # 📄 页面目


给 AI 装个“工具箱”:MCP 协议入门与 Node.js 实战
无情的西瓜皮2026/7/29

给 AI 装个"工具箱":MCP 协议入门与 Node.js 实战 你有没有想过一件事:AI 聊天模型很聪明,但它没办法直接读你的本地文件、查天气预报、更新 GitHub Issue,或者在数据库里跑一条 SQL。 这不是能力问题,是协议问题。大模型生在云端,活在自己的世界里。要让它们真正"动起来",你需要一个中间层——一个 AI 能理解和调用的标准接口。 MCP(Model Context Protocol)就是干这个的。它不是某个公司的私有方案,而是 Anthropic 推出来的开放协议,想

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读