先给结论:2026年10月本地跑大模型,预算分三档最好懂。入门看16GB显存,跑8B级量化模型;进阶看24GB,跑Qwen3.8-27B这类27B级模型;顶配看128GB统一内存的Mac或32GB的RTX 5090,能装下更大的量化模型。 Kimi K3这种万亿级模型,哪一档都装不下完整版。
价格是这次最大的变数。显存短缺还没结束,5090的价格比发布价高出一大截,所以下面每一档我都写了"为什么不是更贵的那张卡"。本文最后核对时间:2026-10-09。
先搞清楚:模型决定你要买多少显存
买硬件之前先定模型,顺序反过来必踩坑。我查到的几个主流数字如下,来源都是第三方实测或汇总,不是官方标称,仅作规划用。
| 模型 | 量化 | 大致占用 | 备注 |
|---|---|---|---|
| Qwen3.8 8B | Q4_K_M | 约4.6GB | 聚合站数据,需自己复测 |
| Qwen3.8 8B | Q8_0 | 约9GB | 同上 |
| Qwen3.8-27B | Q4_K_M | 约20到24GB | MindStudio实测,随工具和KV cache变化 |
| Qwen3.8-27B | Q4_K_M,默认大上下文 | 31GB以上 | llama.cpp默认设置 |
| Kimi K3 | 4-bit | 权重约1.4TB | 2.8万亿参数,激活约1040亿 |
两个要点:
- 27B级模型是个人用户的现实上限,24GB刚好够,32GB更宽裕。
- 上下文长度会吃显存。同一个27B模型,限制上下文和放开上下文能差出10GB。
入门档:16GB显存,跑8B级模型
这一档适合只想本地跑个助手、做文本整理和简单代码补全的人。 8B量化模型只要几GB,16GB显存的卡能同时放下模型和较长的上下文。
- 能跑:Qwen3.8 8B的Q4到Q8量化,7B到14B级别的其他开源模型。
- 跑不了:27B级别的模型,要么换更小量化,要么把一部分层放到内存里,速度会掉得很明显。
- 选卡思路:认显存,不认型号。同价位优先选显存大的,旧一代的16GB卡比新一代的8GB卡更适合跑模型。
我没有为这一档核对具体型号的10月实时价格,所以不给数字。本站8月的显卡推荐里列过入门卡,价格需要你下单前自己再看一遍。
进阶档:24GB显存,跑27B级模型
预算有限又想跑Qwen3.8-27B,24GB是性价比最高的一档。 这一档的关键是显存,不是新旧。
- 能跑:Qwen3.8-27B的Q4_K_M,上下文控制在合理长度即可。
- 参考速度:有一份指南称RTX 4090在开启多token预测头和量化KV cache后,能跑到每秒100个token以上,并能处理约19.7万token的提示。注意这是非默认设置下的成绩,默认设置会慢不少。
- 选卡思路:二手24GB卡每GB显存最便宜。本站8月稿提到二手RTX 3090约700到1000美元,这个数字我这次没有重新核实,请以实时行情为准。RTX 4090已经停产,二手价反而偏高,不划算。
这一档的风险在二手:矿卡、翻新、散热硅脂老化都有可能。买之前要求实拍满载温度,能当面测的话跑一轮模型比跑分更有说服力。
顶配档:RTX 5090还是128GB的Mac
预算到几万元的时候,真正的选择是"速度"和"容量"二选一。
RTX 5090:32GB显存,速度优先
- 发布价1999美元。据一份9月的美国价格统计,最便宜的新卡是Zotac Solid OC,4999.99美元,比发布价高出150%。
- 欧洲更夸张:据快科技8月报道,德国最低实际成交价已突破4250欧元,官方建议零售价是2099欧元。
- 国内:我没有查到可靠的RTX 5090国内实时报价。 能确认的只有间接信号:同一篇报道提到国内RTX 5080渠道起售价到了12000元,比8299元的公版指导价高出约44.6%。5090的涨幅大概率不会更低,但这只是推断,不是报价。
32GB显存装27B级模型很宽裕,上下文可以开得更长,但它装不下更大的量化模型。
M5 Max版Mac Studio:容量优先
- 苹果官方起价2499美元,配36GB统一内存和512GB存储。
- 128GB需要更高规格的40核GPU版。据第三方汇总引用AppleInsider的标价,128GB加512GB存储约5099美元,加1TB约5399美元,我没有在苹果官方配置页核对,价格以官网为准。
- 据报道这批M5 Max机型9月22日开售。
- 国内价格我同样没有查到可靠数据,不给数字。
统一内存的好处是同一块内存既当内存又当显存,128GB可以装下远超32GB的量化模型。代价是生成速度通常比同价位独立显卡慢,对话体验会有等待感。
两条路怎么选
| 比较项 | RTX 5090 | M5 Max Mac Studio 128GB |
|---|---|---|
| 可用于模型的内存 | 32GB显存 | 最高128GB统一内存 |
| 27B级模型速度 | 快 | 偏慢 |
| 超过32GB的量化模型 | 装不下 | 可以装下 |
| 噪音和功耗 | 高 | 低 |
| 生态 | CUDA,工具最全 | Metal/MLX,主流工具均可用 |
| 参考价(美国) | 新卡约5000美元 | 约5099美元(第三方报道) |
两边的价格在美国市场差不多,所以选择就回到需求:日常跑27B模型、追求速度,买5090;想试70B到100B级别的量化模型,或者希望整机安静省电,买Mac。
别为这两样东西买硬件
Kimi K3。 它是开放权重,但总参数约2.8万亿,权重仓库约1.56TB,纯权重下限约1.4TB。Moonshot自己推荐的是64张以上加速卡的超节点配置。网上有"8GB内存就能跑"的说法,实际是靠硬盘流式加载,据报道要1.7TB的SSD,生成一个token要半分钟。这不叫可用。想用K3,走API。
RTX Spark笔记本。 它不是显卡,是NVIDIA面向Windows笔记本的芯片。据Tom’s Guide报道,首批整机起价2599美元,预订价最高到5899美元,10月中下旬开售。我没有查到官方公布的统一内存档位和实测的大模型速度,所以现在预订它来跑模型,等于买了一个没有数据的东西。至少等到有人公开测了27B模型的实际速度再看。
我的判断
适合买独立显卡的人:已经有台式机、日常要跑27B模型、在乎生成速度、会折腾CUDA环境的人。这类人先看24GB二手卡,不要被32GB的5090带着走,因为5090现在的溢价大概率比它多出来的8GB显存值钱。
适合买Mac的人:想试更大的量化模型、桌面空间有限、怕噪音和电费的人。128GB版价格接近5090,但能装的模型大得多。
不适合花钱的人:每周只用几次、主要需求是写作和总结的人。这类需求用API每月几十元就够,硬件折旧加电费不划算。也不适合为Kimi K3或RTX Spark这类"听起来很强"的东西提前下单的人。
我的做法是先用云端API把模型试一遍,确认27B级的效果满足需求,再决定买哪一档。顺序错了,硬件就成了摆设。
相关阅读
参考
- Qwen3.8-27B本地部署指南(aicybr)
- How to Run Qwen3.8-27B Locally(Zima)
- How to Run Kimi K3 Locally(Zima)
- 德国RTX 5090价格与国内RTX 5080渠道价(游民星空转快科技)
- Mac Studio M5 Max起价与规格(iClarified)
- RTX Spark笔记本预订信息(Tom’s Guide)
最后核对:2026-10-09。