Qwen3.8 开源版能本地跑的只有 27B 这一个。Ollama 一条命令就能起，4-bit 版本文件 18GB，24GB 显存的卡跑起来最稳；要给团队或程序提供接口，换成 vLLM。
先把预期放对：Qwen3.8 没有 7B、14B 这类小尺寸。开放权重的只有 27B（Dense，Apache 2.0）和 Max 级的 2.4T-A95B，后者是数据中心的东西。所以下面说的"各尺寸"，实际是 27B 的各档量化。
开放了哪些尺寸，各要多少显存
截至 2026-10-09，我查到开放权重的是这两个：
| 模型 | 架构 | 许可证 | 能不能个人跑 |
|---|---|---|---|
| Qwen3.8-27B | Dense，64 层，原生 262,144 上下文，可扩到 100 万 | Apache 2.0 | 能，单卡 |
| Qwen3.8-2.4T-A95B | MoE，总参数 2.4 万亿 | 自定义许可证 | 不能，至少一个 8 卡 B300 级节点 |
2.4T 版的许可证细节我只看到第三方说"自定义"，没有查到条款原文，商用前自己去官方仓库核对。本文后面只讲 27B。
Ollama 官方库里 qwen3.8 共 12 个 tag，上下文全是 256K，体积如下：
| 量化 | tag | 磁盘体积 |
|---|---|---|
| 4-bit（默认） | qwen3.8:27b、27b-q4_K_M、27b-nvfp4 | 18GB |
| 8-bit | 27b-q8_0 | 30GB |
| MXFP8 | 27b-mxfp8 | 32GB |
| 全精度 | 27b-bf16 | 56GB |
| Apple 芯片 MLX | 27b-mlx / 27b-mlx-bf16 | 18GB / 56GB |
| MTP 投机解码 | 27b-mtp-q4_K_M / q8_0 / bf16 | 18 / 30 / 56GB |
体积就是显存的底线，运行时还要加 KV cache。按这个关系选硬件：
- 24GB 显存（RTX 3090/4090）：跑 4-bit，最稳。KV cache 随上下文增长，长对话会多吃几个 GB，上下文别一上来就拉满。
- 32GB 显存（RTX 5090）：4-bit 很宽裕，8-bit 的 30GB 太紧，基本没有给 KV cache 留余地。
- Mac 统一内存：第三方指南的口径是 24GB 以上能跑 4-bit，用
27b-mlx这个 tag。想舒服一点，32GB 起。 - 48GB 以上或多卡：才轮到 8-bit 和 bf16。
一条经验：显存紧的时候，降量化比砍上下文划算。4-bit 留足 KV 空间，好过 8-bit 对话到一半 OOM。
Ollama 部署：一个人用，三步
适合个人电脑、Mac、想马上能用的场景。
# 1. 拉取（默认 4-bit，约 18GB）
ollama pull qwen3.8:27b
# 2. 对话
ollama run qwen3.8:27b
# Mac 用 MLX 版
ollama pull qwen3.8:27b-mlx
Ollama 自带 OpenAI 兼容接口，默认在 localhost:11434，现有代码只要改 base URL：
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen3.8:27b","messages":[{"role":"user","content":"你好"}]}'
上下文长度要自己设。Ollama 默认上下文远小于模型的 256K，需要长文档时设环境变量再启动服务：
OLLAMA_CONTEXT_LENGTH=32768 ollama serve
先从 32768 起步，观察显存再往上加。Ollama 最低版本我没有查到官方说明，如果 pull 时报模型不支持，先把 Ollama 升到最新版。
vLLM 部署：对外提供服务
适合 Linux + NVIDIA 显卡，要多人并发或接入 agent 的场景。最简命令（Qwen 官方模型卡给的）：
pip install vllm
vllm serve "Qwen/Qwen3.8-27B"
这条会按模型默认配置起，24GB 的卡大概率直接爆显存。单卡实用写法：
vllm serve Qwen/Qwen3.8-27B \
--max-model-len 32768 \
--gpu-memory-utilization 0.9 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
后三个参数来自 Qwen 官方 README 的示例：--reasoning-parser qwen3 把思考内容单独拆出来，两个 tool 参数让函数调用可用。官方示例用了 --tensor-parallel-size 4 和完整的 --max-model-len 262144，那是多卡配置，单卡别照抄。
注意：bf16 权重约 56GB，单张 24GB 的卡直接加载 Qwen/Qwen3.8-27B 装不下。单卡要用量化版权重（AWQ、GPTQ、FP8 之类），我没有逐个验证这些社区量化仓库是否可用，用之前看一眼仓库的下载量和说明。多卡或者 80GB 卡才能原样跑 bf16。
官方建议的采样参数：
| 模式 | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| 思考模式 | 1.0 | 0.95 | 20 | 0.0 |
| 非思考模式 | 0.7 | 0.80 | 20 | 1.5 |
vLLM 最低版本，Qwen 官方模型卡只写了"用最新版"，没有给版本号，所以直接 pip install -U vllm。
Ollama 还是 vLLM
| 场景 | 选 | 原因 |
|---|---|---|
| 一个人本机对话、写代码 | Ollama | 一条命令，自带下载和量化管理 |
| Mac 或 Windows | Ollama | vLLM 主要面向 Linux + NVIDIA |
| 团队共用、多并发 | vLLM | 为吞吐设计，批处理能力强 |
| 要用 8-bit 或 bf16 原版权重 | vLLM | 多卡并行更方便 |
| 要快速试多种量化 | Ollama | 换 tag 就行 |
常见报错
启动就 CUDA out of memory：先降 --max-model-len（vLLM）或 OLLAMA_CONTEXT_LENGTH（Ollama），再考虑换更小的量化。vLLM 上还可以加 --enforce-eager 关掉 CUDA graph 捕获，省一块启动时的显存。
对话几轮后变慢甚至 OOM：KV cache 随上下文增长，这是正常现象，不是泄漏。把上下文上限压低，或者换 4-bit。
输出里一大段思考过程：Qwen3.8 默认会思考，简单问题也想很久。vLLM 用 --reasoning-parser qwen3 拆开；要关思考，参照官方非思考模式的采样参数。
pull 下来的不是官方模型：Ollama 社区有很多同名 fork（比如带 Uncensored 的），用官方库的 qwen3.8:27b；vLLM 从 Qwen/ 组织下载，别从来路不明的仓库拿权重。
我的判断
个人用户别纠结，装 Ollama 拉 qwen3.8:27b，有 24GB 显存或 Mac 32GB 内存就够。vLLM 是等你要给第二个人、第二个程序提供服务的时候再上，它的门槛在于显存规划，而不是命令难。
这篇里有两处我没查到公开数字：vLLM 的最低版本，以及 2.4T 许可证的具体条款。这两处我宁可留白，也不拿猜的数字糊弄。27B 本身的素质，从 Simon Willison 的体验看，能力不错但默认想得太多，所以实际用时多半要自己控制思考。
相关阅读
参考
最后核对 2026-10-09。