本地大模型用着用着又回去开 ChatGPT 或 Gemini,多半是因为它不能联网:问点新鲜事,它要么说不知道,要么一本正经地瞎猜。小编的结论先放前面:用 SearXNG、mcp-searxng 和 llama-server 三样免费工具,就能让本地模型自己上网搜资料,不用 API 密钥,也不用再多交一份订阅费。
下面小编把思路和步骤讲一遍,您照着做,花几分钟就能搭好。
本地大模型为什么总觉得“不如云端好用”
知识停在训练截止日
模型的知识来自训练数据,通常比今天晚一两年。您问它最近发生的事,它没法核对,也查不到新资料。这是很多人试了一周本地模型就转头回云端的主要原因。
说白了,需要实时信息的活儿,光靠权重是干不了的。好在这个问题不用花钱就能解决。
小编的效果:模型自己决定要不要搜

原作者用的模型是 Qwen3.6-35B-A3B,混合专家架构,总参数 350 亿,每个 token 大约激活 30 亿,采用 Apache 2.0 许可。他用的是 Unsloth 的 UD-IQ4_XS 量化版,权重约 17.7GB。
硬件是 RTX 4070 Ti Super(16GB 显存)、锐龙 5 7600X 和 32GB DDR5-6000,算是主流游戏配置。权重比显存大,所以把 12 层的专家权重放到内存里,上下文设 64K,生成速度约 57 token/秒,提示词处理约 1632 token/秒。
搭好以后,模型一遇到需要最新信息的问题,就会自己调用搜索工具。搜索用的是 SearXNG,一个可以自己部署的开源元搜索引擎,会把查询分发给 Google、Bing、DuckDuckGo 等,再把结果汇总给模型。中间靠 mcp-searxng 这座“小桥”接到 llama-server 的网页界面,还多了一个读取完整网页的工具。
三步搭建:容器、桥接、启动参数
第一步:用容器跑起 SearXNG
SearXNG 一条命令就能下载并启动,原作者在 Windows 上用 wslc 运行容器:
wslc run -d --name searxng -p 8888:8080 -v C:searxngconfig:/etc/searxng -v C:searxngdata:/var/cache/searxng docker.io/searxng/searxng:latest 要注意三点:先用 wsl –update 更新 WSL;提前建好 C:searxngconfig 和 C:searxngdata 两个文件夹;在 config 文件夹里放一个 settings.yml,设置密钥并打开 JSON 输出,这样其他程序才能读取搜索结果。
第二步:用 mcp-searxng 做翻译
mcp-searxng 是个基于 Node.js 的小程序(Node.js 可以从 nodejs.org 下载),负责把搜索和读网页变成模型能调用的工具。在 PowerShell 里运行:
$env:SEARXNG_URL="(您的 SearXNG 地址)"
$env:MCP_HTTP_PORT="3000"
$env:MCP_HTTP_STATELESS="true"
npx -y mcp-searxng 原文里 SEARXNG_URL 后面的地址在转载时丢了,一般填您本机 SearXNG 的访问地址,也就是上一步映射的 8888 端口。
第三步:给 llama-server 加两个参数
启动 llama-server 时加上 –webui-mcp-proxy,再加上工具调用必需的 –jinja。然后打开网页界面的 MCP 服务器页面,添加刚才的服务,打开“Use llama-server proxy”开关,最后在输入框的 + 按钮里启用 SearXNG 就行。
测试时,原作者没写系统提示词,也没提“搜索”,直接问 CES 2027 什么时候举行。模型自己判断要联网,搜了日期并给出正确答案,网页界面还会显示每次工具调用,什么时候上网一目了然。
小编的看法:少一个订阅,多一份自在
想让本地 AI 真正顶用,得先把“逼您回云端”的那几个毛病一个个补上。联网搜索就是最大的一个。花点时间折腾,换来每月少付 20 美元,还不用把每个问题都交给云端,小编觉得挺值。
如果您想了解更轻量的做法,可以看看小编之前写的用本地 4B 模型加联网搜索做研究。
常见问题(FAQ)
搭这套东西要付钱吗?
不用。SearXNG、mcp-searxng、llama-server 都是免费的,也不需要搜索 API 密钥或账号。
一定要用 Qwen3.6 吗?
不一定。只要模型支持工具调用,并且 llama-server 开了 –jinja,原则上都能接上,效果因模型而异。
没有 16GB 显存能用吗?
联网这部分和显卡关系不大,主要看您选的模型能不能跑起来。小模型也能接搜索,只是答得没那么细。
SearXNG 没返回结果怎么办?
先检查 settings.yml 里有没有打开 JSON 输出,再确认 mcp-searxng 里的地址和端口填对了。
模型每次都会自己上网吗?
它会自己判断。问到最新信息时才会去搜,普通问题直接回答,调用过程在界面里能看到。
想了解项目本身,可以去看 SearXNG 官方文档和 llama.cpp 项目主页。