AI 与本地模型待核验
本地跑大模型
在自己的电脑上跑开源模型，离线可用。
种子数据，待核验。以下判断反映写作时点的评估，请以项目官方文档为准。
Ollama 是个人用户的默认解；llama.cpp 是性能极致派；Jan 提供桌面 GUI。
功能对比
完整部分不支持空格 = 不支持
| 功能 | Ollama | llama.cpp | Jan |
|---|---|---|---|
| 离线运行 | |||
| 开箱即用（一键跑模型） | |||
| 模型选择自由 | |||
| 提供 API 供软件调用 | |||
| 量化 / 性能可调 | |||
| 数据不出本机 |
部署与使用评估
按软件形态分服务端/客户端两组；seed 判断，待核验。
| 维度 | Ollama | llama.cpp | Jan |
|---|---|---|---|
| 服务端 | |||
| 鉴权 / 用户体系 | 无内置鉴权 本地默认无鉴权，建议仅绑定 127.0.0.1 | 无内置鉴权 本地服务需自管鉴权 | — |
| 对外接口 | 官方 API REST API | 官方 API | — |
| 备份与导出 | 手动备份 模型目录较大 | 无 无状态 | — |
| 升级风险 | 升级风险低 | 升级注意 | — |
| 客户端 | |||
| 平台覆盖 | macOS · Windows · Linux · CLI | CLI | Windows · macOS · Linux |
| 界面语言 | 仅英文 | 仅英文 | 仅英文 |
| 数据格式 | 开放格式 | 开放格式 | 开放格式 |
| 离线可用 | 是 | 是 | 是 |
| 硬件门槛 | 内存 ≥ 8GB · 显存 ≥ 8GB | 显存 ≥ 8GB | 显存 ≥ 8GB |
同类商业产品的公开数据，仅作参照（灰色列）。
ChatGPT Plus
与开源选项的功能对标
| 功能 | Ollama | llama.cpp | Jan | ChatGPT Plus |
|---|---|---|---|---|
| 离线运行 | ||||
| 开箱即用（一键跑模型） | ||||
| 模型选择自由 | ||||
| 提供 API 供软件调用 | ||||
| 量化 / 性能可调 | ||||
| 数据不出本机 |
灰色列为商业产品参照；数据反映写作时点，以官方页面为准。
Ollama协议 MITGo
一条命令把大模型跑在本地
功能 5/6 完整
定位与差距：一条命令把大模型跑在本地
Stars
186.8k
Forks
19.1k
最新版本
v0.40.16
最近提交
今天
待处理 issue
4.6k
开源时间
2023-06-26
部署难度
简单 · 8GB 显存起
部署方式
官方安装器
部署与月成本（估算）
免费；本地跑模型要 8GB+ 显存，云 GPU ≈ ¥300+/月。
llama.cpp协议 MITC++
性能与硬件覆盖极致的推理引擎
功能 5/6 完整
定位与差距：性能与硬件覆盖极致的推理引擎
Stars
134.8k
Forks
25.5k
最新版本
v0.9.0
最近提交
今天
待处理 issue
2.6k
开源时间
2023-03-10
部署难度
中等 · 8GB 显存起
部署方式
二进制编译 / Docker
部署与月成本（估算）
本机 ≈ 电费；GGUF 模型文件 5–50GB 磁盘
Jan协议 自定义协议Rust
离线 AI 桌面客户端，内置模型市场
功能 4/6 完整
定位与差距：离线 AI 桌面客户端，内置模型市场
Stars
45.7k
Forks
3.2k
最新版本
v0.8.8
最近提交
今天
待处理 issue
585
开源时间
2023-08-17
部署难度
简单 · 8GB 显存起
部署方式
桌面客户端
部署与月成本（估算）
本机 ≈ 电费
ChatGPT Plus · $20/月
¥142
本机 + 电费 · 8GB 显存起
¥20
条形按同一坐标缩放（美元按 1:7.1 折算）；深灰=订阅、绿=自托管、黄=托管平台、蓝=API。估算锚点不是报价。
本地模型和 ChatGPT 差距大吗？
日常问答/批量处理够用；前沿模型能力差距明显。
要什么显卡？
7B–14B 模型 8GB 显存起步；没显卡可跑小参数量化模型或走 API。
Ollama 和 Jan 的关系？
Ollama 是命令行/服务端，Jan 是带界面的桌面客户端；两者可共存，Jan 也能接 Ollama。
来源与核验
尚未逐条核验；当前为种子数据。
← 全部开源软件先看开源，再决定买不买
数据有误或过时？告诉我们，带日期更新。