AI创想

标题: langchain连接xinference并输出数据 [打印本页]

---

作者: RomaQ34306    时间: 9 小时前
标题: langchain连接xinference并输出数据
作者：CSDN博客
langchain连接xinference方法

不使用流式输出数据

1. from langchain_openai import ChatOpenAI
2. from langchain_core.messages import SystemMessage, HumanMessage
3. from langchain_core.output_parsers import StrOutputParser
4. from langchain_community.llms import Xinference
6. ## 使用langchain连接xinference
7. model = ChatOpenAI(model='qwen2.5-instruct',base_url="http://172.30.154.93:9997/v1/",api_key='fdfdsfasdf',temperature=1)
8. message =[
9.     SystemMessage(content="""
10.     请帮忙翻译用户说的中文翻译为英文"""),
11.     HumanMessage(content="""
12.     客户说：
13.     今天的天气真好，我好想去旅游""")]
16. paraser = StrOutputParser()
17. result = model.invoke(message)print(paraser.invoke(result))

复制代码

使用链的方式输出数据

1. from langchain_openai import ChatOpenAI
2. from langchain_core.messages import SystemMessage, HumanMessage
3. f

复制代码

原文地址：https://blog.csdn.net/weixin_43654613/article/details/143238147

---

欢迎光临 AI创想 (https://www.llms-ai.com/)

Powered by Discuz! X3.4