跳转至

流式传输

LangGraph 实现了一套流式系统,用于呈现实时更新,从而带来更灵敏、透明的用户体验。

LangGraph 的流式系统让你将图运行时的实时反馈呈现到你的应用中。
你可以流式传输三大类数据:

  1. 工作流进度 — 在每个图节点执行后获取状态更新。
  2. LLM 令牌 — 在生成时流式传输语言模型的令牌。
  3. 自定义更新 — 发出用户定义的信号(例如:“已获取 10/100 条记录”)。

使用 LangGraph 流式传输可以实现什么

  • 流式传输 LLM 令牌 — 可在任意位置捕获令牌流:节点内部、子图或工具中。
  • 从工具发出进度通知 — 直接从工具函数发送自定义更新或进度信号。
  • 从子图进行流式传输 — 同时包含父图和任意嵌套子图的输出。
  • 使用任意 LLM — 从任何 LLM 流式传输令牌;即使它不是 LangChain 模型,也可通过 custom 流式模式实现。
  • 使用多种流式模式 — 可在 values(完整状态)、updates(状态增量)、messages(LLM 令牌 + 元数据)、custom(任意用户数据)或 debug(详细跟踪)之间进行选择。