LangGraph 调用工具过程详解

作者：CSDN博客
一、Agent调用tool

定义tool函数，其中注释 “add two int number”，必须要有否则会报错；

1. @tool
2. def  add(a:int, b:int) -> int:
3.     """add two int number""" # 这个必须有，而且很重要，是要输入到LLM；
4.     return a + b

复制代码

完整代码：

1. from langchain_openai import ChatOpenAI
2. from langgraph.checkpoint.memory import InMemorySaver
3. from langgraph.graph import StateGraph, START, END
4. from langgraph.graph.message import add_messages
5. from langgraph.prebuilt import ToolNode, tools_condition
6. from langgraph.types import Command, interrupt
8. llm = ChatOpenAI(
9.     model="Qwen3-4B-Instruct-2507",  
10.     openai_api_base="http:/localhost:8000/v1",  # vLLM 服务的地址
11.     openai_api_key="EMPTY",  # vLLM 通常不需要 API key，但 LangChain 要求设置，可设为任意值如 "EMPTY"
12.     temperature=0.7,
13.     max_tokens=1024
14. )
16. class State(TypedDict):
17.     messages: Annotated[list, add_messages]
19. graph_builder = StateGraph(State)
21. @tool
22. def  add(a:int, b:int) -> int:
23.     """add two int number"""
24.     return a + b
27. tools = [add]
28. llm_with_tools = llm.bind_tools(tools)
30. def chatbot(state: State):
31.     message = llm_with_tools.invoke(state["messages"])
32.     assert(len(message.tool_calls) <= 1)
33.     return {"messages": [message]}
35. graph_builder.add_node("chatbot", chatbot)
37. tool_node = ToolNode(tools=tools)
38. graph_builder.add_node("tools", tool_node)
40. graph_builder.add_conditional_edges(
41.     "chatbot",
42.     tools_condition,
43. )
44. graph_builder.add_edge("tools", "chatbot")
45. graph_builder.add_edge(START, "chatbot")
46. graph = graph_builder.compile()
48. def print_stream(stream):
49.     for s in stream:
50.         message = s["messages"][-1]
51.         if isinstance(message, tuple):
52.             print(message)
53.         else:
54.             message.pretty_print()
56. while True:
57.     try:
58.         user_input = input("User: ")
59.         if user_input.lower() in ["quit", "exit", "q"]:
60.             print("Goodbye!")
61.             break
63.         print_stream(graph.stream({"messages": [{"role": "user", "content": user_input}]}, stream_mode="values"))
65.     except:
66.         user_input = "What do you know about LangGraph?"
67.         print("User: " + user_input)
68.         print_stream(graph.stream({"messages": [{"role": "user", "content": user_input}]}, stream_mode="values"))
69.         break

复制代码

执行的过程：
1、user输入 “1+1”，调用LLM
2、LLM返回调用工具说明 “Tool Calls”，
3、调用工具生成结果 “2”；
4、将结果输入到LLM；
5、LLM 返回最终的结果 “The result of 1 + 1 is 2.”
输出如下：

1. User: 1+1
2. ================================ Human Message =================================
4. 1+1
5. ================================== Ai Message ==================================
6. Tool Calls:
7.   add (chatcmpl-tool-2b1940050a9548d68a299f1a2ee88ede)
8. Call ID: chatcmpl-tool-2b1940050a9548d68a299f1a2ee88ede
9.   Args:
10.     a: 1
11.     b: 1
12. ================================= Tool Message =================================
13. Name: add
15. 2
16. ================================== Ai Message ==================================
18. The result of 1 + 1 is 2.

复制代码

二、LLM服务

从LLM服务的后台日志，查看Agent调用tool的流程；
1、第一次调用LLM

当客户端输入 “1+1”时，LLM服务端接受的输入，如下：

1. prompt: '<|im_start|>system\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n
2. <tools>\n{
3.         "type": "function",
4.         "function": {
5.                 "name": "add",
6.                 "description": "add two int number",
7.                 "parameters": {
8.                         "properties": {
9.                                 "a": {
10.                                         "type": "integer"
11.                                 },
12.                                 "b": {
13.                                         "type": "integer"
14.                                 }
15.                         },
16.                         "required": ["a", "b"],
17.                         "type": "object"
18.                 }
19.         }
20. }\n</tools>
21. \n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n
22. <tool_call>\n{
23.         "name": < function -name > ,
24.         "arguments": < args - json - object >
25. }\n</tool_call><|im_end|>\n
26. <|im_start|>user\n1+1<|im_end|>\n<|im_start|>assistant\n',

复制代码

上述输入包含了：
系统提示词 ：“system\n# Tools\n\nYou may ...”
函数定义的说明 <tools>...</tools>
函数调用返回的格式<tool_call>...</tool_call>
用户的输入 “1+1”
2、LLM的Response：

LLM的输出见下图：
content字段是None；
tool_calls 字段说明的调用的tool函数的名称、参数等；

3、第二次调用LLM

前端根据上述大模型的结果，调用tool后生成结果“2”，再次调用LLM，输入：

1. prompt: '<|im_start|>system\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>\n
2. {
3.         "type": "function",
4.         "function": {
5.                 "name": "add",
6.                 "description": "add two int number",
7.                 "parameters": {
8.                         "properties": {
9.                                 "a": {
10.                                         "type": "integer"
11.                                 },
12.                                 "b": {
13.                                         "type": "integer"
14.                                 }
15.                         },
16.                         "required": ["a", "b"],
17.                         "type": "object"
18.                 }
19.         }
20. }\n
21. </tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n
22. <tool_call>\n
23. {
24.         "name": < function -name > ,
25.         "arguments": < args - json - object >
26. }
27. </tool_call><|im_end|>\n<|im_start|>user\n1+1<|im_end|>\n<|im_start|>assistant\n<tool_call>\n
28. {
29.         "name": "add",
30.         "arguments": {
31.                 "a": 1,
32.                 "b": 1
33.         }
34. }\n
35. </tool_call><|im_end|>\n<|im_start|>user\n
36. <tool_response>\n
37. 2
38. \n</tool_response>
39. <|im_end|>\n<|im_start|>assistant\n'

复制代码

上述包含了除了之前的系统提示、函数说明等，还追加了调用具体函数的名称、参数以及返回的结果；
4、LLM第二次reponse

content字段是大模型输出结果

（完）

原文地址：https://blog.csdn.net/Mrhiuser/article/details/151760868