8GB 显卡跑 27B 模型,能替代 ChatGPT 多少功能

每月 20 美元的 ChatGPT 能被 8GB 显卡替代吗?小编用 1 位压缩的 Bonsai 27B 加 LM Studio 预设、思考开关和本地文件处理,替换了大半日常用法。

每月 20 美元的 ChatGPT 订阅,买到的远不止一个聊天框:保存好的专用设置、可调的思考强度、丢文件让它总结,还有更强的模型。本地模型常被说成“只是私密版聊天框”,8GB 显卡更像是干不了这些活的硬件。但小编的结论是:用 1 位压缩的 Bonsai 27B,8GB 显卡真能把 ChatGPT 的大半日常功能替换掉。

8GB 显卡怎么塞下 27B 模型

靠的是训练阶段就做好的极限压缩

Bonsai 27B 由 PrismML 在 7 月发布,这家公司由加州理工的研究者创办。它是阿里 Qwen 3.6 27B 的压缩版,原作者用的 1 位版本,每个权重大约只占 1.125 位,原版是 16 位,体积小了约 14 倍。

和很多“事后硬压”的模型不同,PrismML 把压缩放进了训练过程,原作者觉得这是它表现不拉胯的原因。整个模型能完全放进显存,还剩些余量,上下文可以拉到 30-40K。

自定义 GPT 的替代品:LM Studio 预设

把常用设置存成预设

自定义 GPT 是 ChatGPT 里的“保存好的设置”,包含指令和参考文件。按原文的说法,OpenAI 将在 12 月 11 日下线它,Plus 用户也已经不能新建,剩下最接近的是 Projects。

本地的替代做法在 LM Studio 里叫预设(presets),每个预设保存一段系统提示词(模型每次聊天前都会先读的固定指令)和一组采样设置。这些设置 ChatGPT 并不让您碰:

  • 温度(Temperature):决定每次选词有多“放得开”。
  • Min P:把概率远低于首选词的选项直接剔除,让偏“热”的预设也不跑偏。原作者说 OpenAI 连 API 都不提供这项。

原作者的头脑风暴预设温度偏高,并把 Min P 设为 0.05;规则严格的预设则用低得多的温度,Bonsai 这时最听话。要是预设偏“热”又关了 Min P,聊几轮后规则就开始松动。预设不能像自定义 GPT 那样挂参考文件,文档得每次另外附到会话里,稍微麻烦一点。

思考模式:对应 ChatGPT 的强度滑块

finishing VPN privacy summary from Bonsai 27B

ChatGPT Plus 的输入框里有个思考滑块(Instant、Medium、High),决定模型回答前想多久。Bonsai 默认就会思考,但思考会吃掉宝贵的 30K 上下文,还拖慢每次回复,所以原作者大多数任务都把它关掉。

多步骤的问题才会打开,比如比较两份手机合约在优惠期结束后 24 个月的总花费。要注意,PrismML 的跑分都是开着思考测的,关掉以后掉多少原作者说不准,不过看起来数学最先受影响。

开着思考时,Bonsai 擅长“有标准答案、但要走几步”的题,比如数学或规则推理。难题上 ChatGPT 的 High 档大概率还是更强,但本地的好处是推理过程全都看得到,而 OpenAI 也没公布 Plus 每天能用多少次思考模式。

丢文件和截图:数据留在自己电脑上

going through design tool survey with Bonsai 27B

ChatGPT Plus 每三小时最多可传 80 个文件,LM Studio 则可以直接把 .docx、.pdf、.txt 拖进聊天。文件能放进上下文就整份读,太长就先检索,只把相关片段交给模型,30K 上下文下大多数长文件都是这样处理的。

文档是 Bonsai 的强项。它底层的 Qwen3.6 本来就为长文件设计,每四层里有一层用常规注意力来抓精确细节,埋在页面中间的日期和金额不容易丢。租约里的某一条或银行来信,它能用大白话讲清楚,对“哪段话出自哪一节”的记忆也比原作者用的 9B 模型好。

图片这块稍弱。视觉部分是单独加载的 4 位小模块,压得很狠。读截图里的文字没问题,但遇到更小的细节会有点含糊。

小编的看法:不必全面退订,但值得试一试

自定义 GPT 不到一个月就要下线,而本地预设会一直在您的电脑里,何况这一切跑在一张当年为打游戏买的显卡上。原作者没有彻底抛弃 ChatGPT,但既然 Bonsai 能搞定大部分核心功能,他觉得没必要再续费了。

想先看看这个模型的基础表现,可以读小编之前写的8GB 显存跑 27B 本地大模型:Bonsai 27B 实测体验。

常见问题(FAQ)

8GB 显卡真的能跑 27B 模型吗?

原作者用的是 1 位压缩版 Bonsai 27B,整个模型能装进显存,还剩余量,上下文可开到 30-40K。

预设能完全替代自定义 GPT 吗?

只能替代一部分。预设保存系统提示词和采样设置,但不能像自定义 GPT 那样附带参考文件,文档要每次单独附上。

要不要一直开着思考模式?

不用。思考会占上下文、拖慢回复,日常问答可以关掉,多步骤推理再打开。

能读图片和截图吗?

能读截图里的文字,但视觉模块压缩得比较狠,细小的内容可能识别得不太准。

上传的文件会发到云端吗?

不会。文件由 LM Studio 在本机处理,留在您自己的电脑上。

想了解工具本身,可以看 LM Studio 官网。