AI模型本地部署

[健康百年]

站长，写一篇大数据模型本地化的文章，当然是你自己实践后写的！

[寂默心流]

　　我确实部署过，看着B站的视频整的，但我又删了。理由是显卡太低档了，运行速度很慢。而且访问DeepSeek也不卡，没必要本地部署。

　　有一种情况本地化部署有用，那就是打起仗来，断网了。不过，那时候还有电吗？呵呵。

[健康百年]

换个显卡再来一次

[寂默心流]

为啥呢，好像没必要吧？

[寂默心流]

一、下载lmstudio
　　链接：https://lmstudio.ai/
　　我下载的是for Windows版本。

二、安装
　　下载后，右键选exe文件，在属性条目中点解除锁定。我直接缺省安装。

三、设置
　　主界面右下角有个齿轮，点进去，我主要设置了界面语言和代理，红线划出的代理非常重要，大陆用户一定要选。

四、下载大模型
　　点左上角放大镜，打开选模型，文本框输DeekSeek R1或其它模型，可以通过下拉框选择最佳匹配、最多下栽和最新更新等。我选择的是8B的模型，我的配置最大下载过32B的，再大程序会红字提醒你模型对于你的机器太大了。

五、对话
　　点屏幕左上角的聊天标签。

六、安全
　　可以用windows自带的防火墙限制软件联网，主要是为LMstudio自带的elevate.exe、LM Studio.exe和lms.exe（用windows搜索一下它们的位置）三个程序建立进站和出站的禁止防火墙规则。我的已经建好了，全新安装要新建规则。

　　打开这六条规则可以防止lmstudio联网，虽然不影响使用，但也没法更新模型了。所以，在有更新软件和模型需要的时候要记得关上这六条防火墙规则。

　　如果你问这样做真的就安全了吗，我只能说这题超纲了，呵呵。

　　have fun！

[寂默心流]

　　我真诚地建议大家别玩儿本地部署了，安全性先不说，关键是本地部署模型的表现实在太差了。

　　下图是我用ollama本地部署8B模型的表演：

　　开始根本没理解七律是啥意思，所以整出了六言。提醒改正后字数对了，但韵脚不对，后两联还是押仄声。我用lmstudio部署的8B模型更奇葩，让它写七言律诗，它给我写了4副对子，每句八个字，整一个散装。

　　我于是登录DS的官网，用足版的模型做同一件事，这就像样多了，高下有云泥之别。

　　平仄、沾对、对仗和押韵都到位，诗的意境也挺好的，当然首联的口气有点儿太大了，感觉是在说观音大士。瑕不掩瑜。

　　一言以蔽之：本地部署的阉割版大模型不堪大用。

[寂默心流]

　　这两天我用ollama本地部署了阿里系的32B参数qwq模型，表现很不错，至少比7B、8B参数的DeepSeek R1模型表现强太多了。关键是它还不吃资源，我1650 super的弱鸡显卡4G显存都能用，输出每秒2~3token，慢是慢了点，内容不打折就行。

　　百花齐放才是春，有竞争才有竞争力。

东南大学率先上线阿里QwQ-32B模型，消费级显卡即可本地部署！

https://www.msn.cn/zh-cn/news/other/%E4 ... f8363&ei=8

[健康百年]

等我换个主机和显卡再来试试，目前还是核显

[寂默心流]

等我换个主机和显卡再来试试，目前还是核显

　　现阶段的AI处于这么个尴尬的情况。搞上的人已经搞不动了，每天花着大把的钱，搞出一堆垃圾，非但没有成就感，还有愧疚感，甚至罪恶感；而还没搞上的人那是急得嗷嗷叫，百爪挠心，分分钟就要进场。围城啊。

[健康百年]

等我换个主机和显卡再来试试，目前还是核显

　　现阶段的AI处于这么个尴尬的情况。搞上的人已经搞不动了，每天花着大把的钱，搞出一堆垃圾，非但没有成就感，还有愧疚感，甚至罪恶感；而还没搞上的人那是急得嗷嗷叫，百爪挠心，分分钟就要进场。围城啊。

哈哈，我捉急的是电脑换代还没有到好时候哦，哈哈

[寂默心流]

　　贸易战了，股市暴跌，要过紧日子了，还耍啥子电脑哦。

[健康百年]

越是这个时候越要消费，等着贬值可不好受！把你的电脑换了，5060Ti很香，360Hz的高刷更适合吃鸡

[寂默心流]

越是这个时候越要消费，等着贬值可不好受！把你的电脑换了，5060Ti很香，360Hz的高刷更适合吃鸡

　　再好的电脑也不敢玩了，脑阔打暴家人淌不起。

[寂默心流]

　　用i9 9900+华硕Z390主板+64G 2666内存+铭鑫3060 Ti 8G显卡，在ollama下跑gemma3 4.3B参数的大模型速度飞快，大概每秒接近10 tokens。

[健康百年]

这是你升级的电脑吗