大模型多模态、Harness 与 MCP:一个 Agent 开发者的技术笔记

作者:再吃一根胡萝卜日期:2026/10/7

一、大模型与多模态:底层到底发生了什么

很多人初学大模型时会有一个固有印象:大模型只能处理文字。这个说法在早期(GPT-3 时代)是对的,但现在早已过时。

1. 核心事实

大模型内部处理的从来不是"文字"或"图片",而是向量(高维数字) 。所谓多模态,本质是:

  • 识图:图片 → 视觉编码器 → 向量 → 喂入大模型
  • 画图:文字 prompt → 扩散模型 → 从噪点逐步去噪 → 图片

对大模型来说,它从来没有"看到"过图片,它读的是图片的数学表示。图片和文字在训练时被对齐到同一个向量空间中——"猫的图片"和"猫"这个词的向量表示是相近的。

2. 两种多模态实现路径

路径原理能力
外挂式​图片 → 视觉模型 → 文字描述 → 大模型有限,中间翻译会丢信息
联合训练式​图片 → 视觉编码器 → 向量 → 与文字向量一起训练精细理解图中细节关系

GPT-4V、Qwen-VL、Gemini 走的是联合训练路线,属于真正的原生多模态。


二、Harness:Agent 的运行时骨架

1. 概念

Harness 原意是"马具",DeepSeek 用它比喻套在模型外面的控制框架。DeepSeek 提出的核心设计理念是 Everything is a Plugin(一切皆插件) 。

2. Harness 管什么

Harness 不等于 tools list,它是整个运行时容器,职责包括:

职责说明
工具注册与发现管理当前可用的所有工具
工具调用调度模型决定调哪个工具后,harness 负责实际执行
上下文管理多轮对话历史、窗口压缩
循环控制模型 → 调工具 → 拿结果 → 再思考 → 再调(Loop)
权限与沙箱工具能否访问文件系统、网络等
记忆管理跨会话的用户信息持久化

3. 一个实际例子

假设你做了一个财务 BI Agent:

1# 传统写法:把复杂计算逻辑嵌在 agent 代码里
2def calculate_irr(cash_flows):
3    # 复杂的 IRR 计算逻辑
4    ...
5
6def generate_pnl(revenue, costs):
7    # 损益表生成逻辑
8    ...
9

在 harness 架构下,这些函数被封装成标准化的 tools,模型通过 prompt 被告知"什么时候该调哪个工具"。Harness 负责接收模型输出的调用指令、执行对应函数、将结果返回给模型继续推理。

4. 关键认知

大模型负责"想",Harness 负责"做"。

模型决定调不调、调哪个、传什么参数;Harness 负责真正执行并把结果喂回去。


三、MCP:工具调用的行业标准协议

1. 为什么需要 MCP

在没有标准协议之前,每个 Agent 项目都自己写工具调用逻辑:

  • 换一个模型 → 重写
  • 换一个工具 → 重写
  • 别人想用你的工具 → 拷代码

MCP(Model Context Protocol,模型上下文协议)由 Anthropic 提出,解决的核心问题是:让工具和模型之间的通信标准化,工具不再嵌在代码里,而是变成独立的标准化服务。

2. 架构

1┌─────────────────┐      MCP 协议      ┌──────────────────┐      ┌─────────────────┐
2│   AI 应用        │ ◄──────────────► │  MCP Server      │ ◄───► │  数据源/工具     │
3│  (Host/客户端)   │  JSON-RPC         │  (标准化接口)     │      │  (DB/API/文件)  │
4└─────────────────┘                   └──────────────────┘      └─────────────────┘
5

三个角色:

角色职责
MCP Host​AI 应用本身(Claude Desktop、Cursor、自研 Agent)
MCP Server​暴露 tools / resources / prompts 的标准化服务
数据源​数据库、文件系统、第三方 API 等

3. MCP Server 暴露的三类能力

Tools(工具) ——模型可以主动调用的函数:

1{
2  "name": "calculate_tax",
3  "description": "计算企业所得税",
4  "inputSchema": {
5    "revenue": "number",
6    "cost": "number",
7    "type": "string"
8  }
9}
10

Resources(资源) ——模型可以读取的数据(文件内容、数据库记录、API 响应等)。

Prompts(提示模板) ——预定义的 prompt 模板,直接供模型或用户调用。

4. 实际代码示例

1# mcp_finance_server.py
2from mcp import Server
3
4server = Server("finance-tools")
5
6@server.tool()
7def calculate_irr(cash_flows: list[float]) -> float:
8    """计算内部收益率"""
9    # 复杂计算逻辑
10    ...
11
12@server.tool()
13def generate_pnl(revenue: float, costs: dict) -> dict:
14    """生成损益表"""
15    ...
16
17# 启动服务后,任何支持 MCP 的 AI 应用都能自动发现并调用这些工具
18

5. MCP vs 自写 Harness Tools

对比维度自写 Harness ToolsMCP
工具位置嵌在应用代码中独立服务进程
通信方式函数调用JSON-RPC over stdio / HTTP
跨模型复用绑死特定模型任何支持 MCP 的模型都能用
工具发现手动维护 tools listServer 启动时自动声明
跨项目复用拷贝代码直接连接同一 MCP Server

6. MCP 与 Harness 的关系

MCP 不是替代 Harness,而是 Harness 的一种标准化实现方式:

1Harness(架构概念层)
2  ├── 自写 Tool 调用(传统方式)
3  ├── MCP 协议调用(标准化方式)
4  ├── OpenAI Function Calling
5  ├── Google Gemini Tools
6  └── 其他协议...
7

DeepSeek 的"一切皆插件"理念,MCP 是目前最接近其理想形态的标准化落地方案。


四、总结

概念一句话
多模态​图片/音频被编码为向量,与文字在同一空间中处理
Harness​套在模型外面的运行时框架,管工具、上下文、循环、权限
Tools​Harness 管理的可调用能力单元
MCP​工具与模型之间的标准化通信协议,实现"一次编写,到处调用"

Agent 开发的核心认知:模型负责推理和决策,Harness 负责执行和调度,MCP 让工具调用标准化、可复用。


如有理解偏差或需要补充的地方,欢迎交流指正。


参考文档


《大模型多模态、Harness 与 MCP:一个 Agent 开发者的技术笔记》 是转载文章,点击查看原文。


相关推荐


GitHub 热榜项目 - 周榜(2026-09-19)
CoderJia_2026/9/29

GitHub 热榜项目 - 周榜(2026-09-19) 生成于:2026-09-19 统计摘要 共发现热门项目: 21 个 Token赞助:siliconflow 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。 本期热点趋势总结 本期 GitHub 热榜清晰指向 AI Agent 工程化:代码审查、知识库 RAG、多代理编排、上下文压缩、Worktree 协同成为核心热点,配套涌现技能框架、插件生态与终


CentOS 7 下 Nginx 访问自定义目录报 403 的完整排查:从端口权限到 SELinux
小小的木头人2026/9/22

背景 在 CentOS 7 上用 Nginx 部署一个静态站点,root 指向非标准目录 /data/www,监听自定义端口 12000。过程中连续踩了两个坑: Nginx 启动失败:bind() to 0.0.0.0:12000 failed (13: Permission denied)启动成功后访问页面:"/data/www/index.html" is forbidden (13: Permission denied) 两个错误的共同点都是 13: Permission denied,但


我在 Anthropic ELI5 上加了5样东西,做成了更好用的 ELI5+
深小乐2026/9/14

上篇聊过 Anthropic 都在用的 ELI5 Skill。我用了一阵子,它有它的好,也有绕不过去的问题。 好的地方很明确。整个核心就一句话:给完全不懂的人讲,用 HTML,大图少字。它直接把输出从文字改成画面,一个比喻加几步拆解,概念就立住了,建立直觉特别快。 但用久了,三个问题越来越明显。 1,只有比喻,没有机制。 ELI5 的核心手段就是比喻。比喻天生只讲"像什么",不讲"是什么"。它能让你快速建立直觉,但经不起追问。LLM 比作超级自动补全,你懂了它在"猜下一个词",但解释不了模型为什


zynq中axi_dma的sg模式采集--裸机测试(还有bug)
王明列2026/9/6

参考 嵌入式终端AtShell.csdnzynq中axi_dma的四个实验-第1课:PL搭建.csdnzynq中axi_dma的四个实验-第2课:Vitis裸机测试.csdnzynq中axi_dma的四个实验-第3课:Linux寄存器方案驱动测试.csdnzynq中axi_dma的四个实验-第4课:Linux dmaproxy方案驱动测试.csdnzynq中axi_dma的sg模式采集–PL搭建.csdnzynq中axi_dma的sg模式采集–裸机测试.csdn 约定 PL部分参考


深入理解 Transformer:Transformer 究竟是什么?
渡我白衣2026/8/29

目录 一、先从一张经典结构图开始二、Transformer 不是一个模块,而是一组模块的组合三、什么是 Encoder?四、Encoder Block:Transformer 的基本积木五、第一部分:Multi-Head Self-Attention六、第二部分:为什么 Attention 后面还需要 Add?七、第三部分:Norm 又是什么?八、第四部分:Attention 之后,为什么还需要 FFN?九、现在,我们终于可以看懂 Encoder Block 了十、Encoder 到底输出了什


Go 编程实战:指针 Pointer——理解地址、取址与解引用
程序员爱钓鱼2026/8/21

上一篇我们学习了 Map,到这里已经接触了数组、Slice、Map 等常用数据结构。在继续学习函数之前,还有一个非常重要的基础概念必须掌握——指针 Pointer。 很多刚接触 Go 的开发者看到指针会觉得复杂,其实 Go 的指针相比 C/C++ 简单很多。Go 不支持复杂的指针运算,日常开发主要掌握三个概念即可:变量、内存地址、通过地址访问变量。 理解指针之后,后面学习函数参数、Struct、方法、接口以及并发编程都会更加容易。 一、什么是指针 先看一个普通变量: age := 20 程序


【Linux系统篇】Linux入门基础指令(一)
忧郁兔斯基2026/8/8

在上一篇文章中,我们已经谈过Linux的历史以及如何使用云服务器配置Linux环境和使用Xshell来使用Linux,那么我们在本篇文章中将要开始学习Linux的一些基础指令。 目录 一、关于图形化界面 二、Linux文件以及目录结构 2.1 怎么理解文件 2.2 Linux的文件结构 2.3 Linux的目录结构 2.4 路径 三、简单的指令学习 3.1 pwd 命令 3.2 ls指令 -l 列出文件的详细信息 -a 列出目录下的所有文件 指令选项的组合使用方法 l


500 个服务时快 6 倍:我们如何将 Kibana APM 服务地图从 Canvas 重构到 React DOM
Elasticsearch2026/7/30

作者:来自 Elastic Jenny Pavlova 每个服务节点都会显示告警、 SLO 和异常健康状态,因此你可以仅筛选违反阈值的服务,并将结果嵌入到任何 Kibana 仪表板中,同时支持在整个拓扑中使用完整的键盘导航。 我们基于 React Flow 重构了 Elastic Observability 中的 Kibana APM 服务地图。在拥有 500 个服务时,渲染时间仅为 64ms,相比之前基于 Cytoscape.js 的实现快约 6 倍,同时 JavaScript 体积减少了


京东零售组织新变革:取消两级管理岗,推全栈化开发
AIHR数智引擎2026/7/22

近日,京东零售的组织调整方案流传出来。 很多人第一反应是:大厂又在砍中层。但把方案里的三条细节放在一起看,你会发现这事和"裁员"关系不大,它真正改写的,是"管理者"这三个字的定义。 细节一:C4、C5 两级管理者的"管理者身份"被取消。人还在,但"管人"这顶帽子没了,他们直接挂靠到 C3;以后员工请假、调休,C3 一个人拍板。 细节二:创新零售业务的前端团队并进服务端,全员转做全栈开发。第三季度开始,首批全栈工程师就要直接介入业务。 细节三:C2 序列的团队规模必须大于 50 人,没达标


AI编程出海第一步:别急着写代码,先找到老外真正愿意付费的需求
卷福同学2026/7/14

最近在学AI编程出海的项目,简单说就是做海外网站,让老外们付费使用。而第一步就是要确定网站做什么,也就是找需求 1.伪需求 对于小白来说,可能会想到和AI对话,聊出来一个需求,然后就开始做站了。但是这种AI直接生成的需求,只是看起来可以做,却没考虑到真实用户需求,往往做出来后没人用,或者已有成熟工具站了 2.真实的用户需求 以工具站为例,介绍2种方式来找真实的用户需求 Google Suggest 谷歌自动补齐,填写一个关键词到谷歌搜索,接着在前中后尝试输入a…z,会自动带出搜索词下拉列表,

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2026 聚合阅读