
@bit::Shadow
✧(≖ ◡ ≖✿
目录
定义聊天模型
Page2
Page3
本地部署 LLM 演示(32)
本文介绍LangChain中聊天模型的定义与使用,通过ChatOpenAI和ChatOllama实现本地及云端大模型调用。利用LCEL(LangChain Expression Language)的管道符|组合模型与解析器,实现消息流式处理与结果解析。支持配置化参数(如model、max_tokens),并通过configurable灵活切换模型与参数。结合Pydantic定义工具输入输出,提升可读性与安全性。最后演示本地部署LLM(如Ollama)的调用方式,适用于私有化场景。
Runnable 接口: 提供一套统一、可组合、支持同步/异步/流式/批量的标准接口,让不同组件能像「乐高积木」一样用管道符 | 拼装成链。
LCEL:编排解决方案
.py
1model = ChatOpenAI(model="gpt-4o-mini") 2#1.定义openai模型 默认从环境变量中获取key 3 4messages = [ 5 SystemMessage(content="你帮我翻译为英文"), 6 HumanMessage(content="具体内容") 7] 8#注意:context本是上下文“角色content译”内容 9#2.定义消息 10#系统提示消息 SystemMessage “通常作为第一条消息传入” 11#用户消息 HumanMessage 12 13tempresult = model.invoke(messages) 14print(tempresult) # ① 15#3.调用大模型 16# 输入的是LangChain消息列表 17# 输出的是 LangChain 消息(AIMessage) 18 19parser = StrOutputParser() 20#4.定义"解析器" 21 22chain = model | parser 23print(chain.invoke(messages)) # ② 24#model.invoke后将result交给parser 25#的输出差异看出解析器的…作用 26
红笔批注:
|管道符,LangChain 消息到文本,输出的是 LangChain 消息 (AIMessage)
上述其实就是 LCEL(LangChain Expression Language):采用声明性方法从现有的 Runnable对象构建新的 Runnable对象。
定义聊天模型
1model = ChatOpenAI( 2 model="gpt-4o-mini", 3 temperature = 0, #温度,越大,内容越发散,常 [0,2]或[0,1] 4 max_tokens = None, #输出最大token 5 timeout = None, 6 max_retries =2, 7 api_key="...", 8 base_url="...", #指定前置请求路径,理解:我们直接访问 9 organization="...", #openai组织ID 10 # other prag… 11) 12
base_url:
deepseek:api.deepseek.com 出于兼容 openai,也可写为 https://api.deepseek.com/v1
2.init_chat_model
2.1 基础使用
1gpt_model = init_chat_model( 2 model="gpt-4o-mini", 3 model_provider="openai", 4 temperature=0.3, 5 # 其他常用可选参数: 6 # max_tokens=1024, 7 # timeout=30, 8 # max_retries=2, 9 # api_key="sk-...", # 或从环境变量 OPENAI_API_KEY 读取 10 # base_url="https://...", # 自定义代理/网关时使用 11)
2.2 invoke() 的config参数才真正意义上定义了模型
1print( 2 f"config-model: { 3 config_model.invoke( 4 input=messages, 5 config={"configurable": {"model": "deepseek-chat"}} 6 ).content 7 }" 8)
2.3 # 可配置 (configurable) 模型
1config_model = init_chat_model( 2 model = "gpt-4o-mini", 3 model_provider="openai", 4 temperature=0.3, 5) 6
Page2
第二种定义 docxstring 的方式:pydantic 方法
1class AddInput(BaseModel): 2 """两数相加""" 3 a:int = Field(..., description="第一个整数") #…表示该字段必填,无默认值 4 b:int = Field(..., description="第二个整数") 5 6@tool(args_schema = AddInput) 7def add(a:int,b:int)->int: 8 return a+b 9
注意:第二种定义方式较第一种
add.args拥有描述字段
第三种(对第一种的修订)pydantic 方法
1@tool 2def Add( 3 a: Annotated[int, ...,"第一个整数"], 4 b: Annotated[int, ...,"第二个整数"], 5)->int: 6 """两数相加 7 Args: 8 a:第一个整数 9 b:第二个整数 10 """ 11 return a+b 12
Page3
1max_tokens = 1024, 2configurable_fields = ("max_tokens", "model", "model_provider"), 3config_prefix="first", #配置前缀字段 4 5messages = [ 6 SystemMessage(content="需求…"), 7 HumanMessage(content="具体需求…") 8] 9 10result = model.invoke( 11 input=messages, 12 config = { #二次配置 13 "configurable":{ 14 "first_max-tokens": 10, 15 "first_model": "deepseek-chat", 16 "first_model_provider": "deepseek", 17 } 18 } 19) 20
本地部署 LLM 演示(32)
Ollama-model 与 openai-gpt 一致的方法,不过要使用 “本地”
1ollama_model = ChatOllama( 2 model="deepseek-r1:1.5b", 3 base_url="http://127.0.0.1:[端口号]", # 换成 Ollama 实际端口,默认 11434 4) 5 6# 注:代理影响 —— 若系统设置了 HTTP_PROXY / HTTPS_PROXY, 7# 访问 127.0.0.1 的请求可能被代理拦截,建议临时绕过本地地址。 8print(ollama_model.invoke("需求…").content)
欢迎关注,长期连载
感谢支持

参考文档
《LangChain定义聊天模型 基础问答》 是转载文章,点击查看原文。