跳到主要内容

过滤器

过滤器​

Pipelines 中的 Filter 用来处理进入的用户消息，以及流出的助手（LLM）消息。

常见用途包括：

  • 将消息发送到监控或观测平台，例如 Langfuse、DataDog
  • 修改消息内容
  • 拦截有毒内容
  • 做实时翻译
  • 按用户做限流

参考示例可见 Pipelines repo。

Filter 既可以作为 Function 运行，也可以部署在独立的 Pipelines server 上。整体流程如下图：

Filter Workflow

当某个 Filter pipeline 被挂到模型或 pipe 上时：

  1. 用户输入（inlet）先进入 Filter
  2. Filter 在请求真正发往 LLM 前执行所需处理
  3. LLM 返回结果后，Filter 再对输出（outlet）做后处理

这让你可以在模型前后插入统一的治理、观测与增强逻辑。