跳到主要内容

vLLM

概览​

vLLM 提供 OpenAI 兼容 API（Chat Completions），因此可以直接接入 OPL 数据空间。本指南演示如何把你的 vLLM 服务连接到 OPL 数据空间。

提示

对于支持该规范的 provider， OPL 数据空间也支持实验性的 Open Responses。

第 1 步：启动 vLLM 服务​

先确保 vLLM 服务已经启动，并且可以访问。默认地址通常为：

http://localhost:8000/v1

如果在远程服务器上运行，请换成实际的主机名或 IP。

第 2 步：在 OPL 数据空间中添加 API 连接​

  1. 打开 ⚙️ 管理设置。
  2. 前往 连接 > OpenAI > 管理。
  3. 点击 ➕ 添加新连接。
  4. 如界面有标签页，请选择 Standard / Compatible。
  5. 填写：
    • API URL：http://localhost:8000/v1
    • Docker 用户：如果 OPL 数据空间在容器内运行，使用 http://host.docker.internal:8000/v1
    • API Key：none，或留空
  6. 点击 保存。

第 3 步：开始使用模型​

在模型选择器中选择 vLLM 服务暴露出来的模型，然后直接开始聊天。

连接超时配置

如果 vLLM 启动模型较慢，可以提高模型列表超时时间：

AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST=30

如果你保存了不可达 URL，导致设置界面难以恢复，请查看 模型列表加载问题。