AI 与本地模型待核验
LLM 推理服务
自建大模型推理 API。
种子数据，待核验。以下判断反映写作时点的评估，请以项目官方文档为准。
vLLM 高吞吐自建推理；个人用量下 API 几乎总是更省。
功能对比
完整部分不支持空格 = 不支持
| 功能 | vLLM |
|---|---|
| 开箱即用 | |
| 高并发吞吐 | |
| 按量计费 | |
| 数据不出域 | |
| 自定/微调模型部署 | |
| 弹性扩缩容 | |
| 低运维 |
部署与使用评估
按软件形态分服务端/客户端两组；seed 判断，待核验。
| 维度 | vLLM |
|---|---|
| 服务端 | |
| 鉴权 / 用户体系 | 无内置鉴权 本身无鉴权，生产需自配 API Key 网关 |
| 对外接口 | 官方 API OpenAI 兼容 API |
| 备份与导出 | 无 无状态服务 |
| 升级风险 | 升级注意 接口迭代快 |
| 客户端 | |
| 平台覆盖 | — |
| 界面语言 | — |
| 数据格式 | — |
| 离线可用 | — |
| 硬件门槛 | 内存 ≥ 32GB · 显存 ≥ 24GB |
同类商业产品的公开数据，仅作参照（灰色列）。
DeepSeek / GLM API
迁移：半天OpenAI 兼容接口，客户端只改 base_url
用户迁出的常见动机
- 月 token 消耗高且可预测
- 已有闲置 GPU 或能租到便宜卡
- 数据不能出域
常见的顾虑
- 个人轻度使用（API 几乎总是更省）
- 没有运维人力
与开源选项的功能对标
| 功能 | vLLM | DeepSeek / GLM API |
|---|---|---|
| 开箱即用 | ||
| 高并发吞吐 | ||
| 按量计费 | ||
| 数据不出域 | ||
| 自定/微调模型部署 | ||
| 弹性扩缩容 | ||
| 低运维 |
灰色列为商业产品参照；数据反映写作时点，以官方页面为准。
vLLM协议 Apache-2.0Python
高吞吐 LLM 推理服务引擎
功能 3/7 完整
定位与差距：只有高用量 + 已有显卡才回本；运维和稳定性责任全在自己。
Stars
96.8k
Forks
24.7k
最新版本
v0.33.0rc3
最近提交
今天
待处理 issue
10.3k
开源时间
2023-02-09
部署难度
较难 · 24GB 显存起
部署方式
Docker / pip
部署与月成本（估算）
软件免费；需 GPU 服务器，24GB 显存云机 ≈ ¥2000–4000/月。
DeepSeek / GLM API · 视用量，用现有计算器估算
视用量
vLLM 云 GPU 服务器 · 24GB 显存
¥3000
vLLM 自有显卡 · 电费
¥20
条形按同一坐标缩放（美元按 1:7.1 折算）；深灰=订阅、绿=自托管、黄=托管平台、蓝=API。估算锚点不是报价。
什么量级才划算？
一般日消费数百元级、有现成显卡时开始接近平衡；先用计算器算。
要什么显卡？
24GB 显存跑 32B 级模型较稳；更大模型多卡。
运维负担有哪些？
驱动/版本升级、显存管理、监控告警，都是你的责任。
来源与核验
尚未逐条核验；当前为种子数据。
← 全部开源软件先看开源，再决定买不买
数据有误或过时？告诉我们，带日期更新。