每月 20 美元的 Claude Pro,值回票价的主要是 Claude Code。但本地 AI 这一年进步很快,16GB 显卡到底能不能跑出像样的编程智能体?小编做了个对比:本地的 OpenCode 加 Qwen3.6-35B-A3B,对阵 Claude Sonnet 5.5,同一个任务、一个空文件夹、全程不插手。结论先说:就这个任务,两边都 6/6 通过,算平手;Claude 快约一分钟、更精致,本地方案电费只要零点几分钱。
本地这套是怎么跑起来的
AI 智能体有两半:“外壳”负责读文件、跑命令、改代码,“模型”负责做决定。Claude Code 是 Anthropic 的外壳加自家模型。小编的本地组合是:RTX 4070 Ti Super 加 Ryzen 5 7600X,外壳用开源终端智能体 OpenCode v2.2.0,模型用 Qwen3.6-35B-A3B 的 Unsloth UD-IQ4_XS 量化版,通过 llama.cpp 运行。
您可能会问:17.7GB 的模型怎么塞进 16GB 显存?因为它是混合专家(MoE)模型,简单讲就是每个 token 只调用其中约 30 亿参数。小编用 llama.cpp 的 –n-cpu-moe 参数把 12 层专家放在系统内存,剩下的显存就够跑 128K 上下文,约占 15GB。采样参数则按 Qwen 官方推荐的编程设置。
为了确保完全本地,小编先把 OpenCode 锁定到 llama-server,防止它偷偷切到云端模型,还在运行前断了电脑网络。实测生成速度大约 65 到 70 token/秒,提示处理最高 1,837 token/秒,整个会话用了不到五分之一的 128K 上下文。
本地智能体:零帮助做出可用工具
任务是做一个 GPU 记录器:每秒记录 RTX 4070 Ti Super 的功耗、温度、利用率、显存占用和核心频率到 CSV,支持 –duration 参数,结束后打印平均和峰值功耗,并保存功耗与温度曲线的 PNG,最后跑 30 秒自测。这个任务有明确的正确答案,便于验证。
Qwen3.6-35B-A3B 通过 OpenCode 用了 3 分 44 秒完成,小编一次都没提示。它自己找到了 nvidia-smi,写好脚本,测试前还修订过,满足了提示词的所有要求。它报告的平均 27.32W、峰值 74.83W,与它写出的原始 CSV 以及小编事后用 nvidia-smi 核对的结果一致。
不过也有小瑕疵:它在另一次运行中说显存占用稳定在约 15.7GB,“与带显示器和一些后台程序的桌面一致”,这就有点好笑了。它也没说明脚本需要 pandas 和 matplotlib,换台新电脑照着用会第一次就报错。
| 要求 | Qwen3.6(OpenCode) | Claude Sonnet 5.5 |
|---|---|---|
| 记录功耗、温度、利用率、显存、频率 | 通过 | 通过 |
| 每秒一行、带时间戳的 CSV | 通过 | 通过 |
| 平均与峰值功耗 | 通过 | 通过 |
| 功耗与温度图表 | 通过 | 通过 |
| 30 秒自测 | 通过 | 通过 |
| 结果 | 6/6 | 6/6 |
Claude 更快更精致,但差距主要在细节

Sonnet 5.5 在高强度模式下用 2 分 42 秒完成,也没要小编插手,快了约一分钟。它把 30 秒自测跑了三遍,因为不断发现自己图表标签的视觉问题并修正。

这些额外功夫对多数人是值得的:它对照 CSV 复核了数学,提示了图表需要 matplotlib,每行都保存日志,还把功耗和温度拆成独立面板。两边都做出了数字正确的工具,区别其实在于付出的精力和费用。Claude Code 的 /usage 显示这次会话约 0.37 美元,由 Pro 套餐覆盖;而按小编在同一设备上测得的每 token 功耗估算,本地运行的电费大约只有零点二美分。
结论:本地与前沿的差距不再是鸿沟
就实用性而言,小编认为是平手。Claude 在时间和精致度上略胜,但 Qwen3.6 只花了零头就完成了同样的活。如果您的工作流不需要旗舰模型,不妨想想那 20 美元到底买的是什么。如果您更在意额度和账单,还可以看看 Claude 额度总不够用?让本地显卡先写代码,能省近一半钱 里的“云端加本地”思路。想自己试试,可以参考 OpenCode 项目主页 和 Qwen 官方 Hugging Face 主页。
常见问题(FAQ)
16GB 显存真的能跑 35B 的模型吗?
能,前提是 MoE 模型加量化,再把部分专家放到系统内存。
本地方案适合复杂项目吗?
这次只测了一个边界清晰的小任务,复杂项目小编还没验证,不好下结论。
怎么确保完全不走云端?
把外壳锁定到本地服务器,必要时运行前直接断网,小编就是这么验证的。
还有 Claude Pro 订阅的必要吗?
要看您的需求:追求省事和精致,订阅仍有价值;任务简单、在意隐私和成本,本地方案已经够用。