相信大家从过年到现在，朋友圈被各种DeepSeek一体机刷屏了。确实对于IT从业人员来说，能在自己的电脑跑最强大的模型真的是个梦想。仅仅是个梦想而已啦。要跑满血DeepSeek对一般人来说可望不可及。在零基础用DeepSeek-r1搭建私密智能助手一文里面教了大家怎样在自己的电脑部署DeepSeek，不过只是以1.5B作为例子。对于一般的笔记本电脑来说，部署个8B的模型就顶天了，当然性能和满血671B的差距甚远。不管怎样，部署完后我马上贴上DeepSeek标签，虽然小但也是DeepSeek一体化笔记本了嘛。最近，阿里开源的QWQ 32B模型据说性能堪比满血DeepSeekQWQ又重燃了我的希望。我的电脑32G内存，理论上也能跑。不过之前跑8B模型的缓慢经历还是劝退了。昨天在某个大群里面看到某人的AMD 7840的机器也跑起了QWQ 32B，我的7845还比他强几分呢！他行我也行，下定决心玩玩！如上，联想小新14,32G内存，就是这样的4000元出头的原价，加上平台补贴和国补，4000以下就能拿下。再啰嗦两句，先上Ollama官网https://ollama.com/search下载模型，按popular排序，qwq已经在DeepSeek前面啦。点进去，看到32B只有20G大小，理论上有20G内存就能跑起来，点右边的按钮复制安装指令，在系统命令行粘贴进去，回车就自动下载安装了。笔者是用自己的手机开热点下载，5G状态下最快可有14M/S，大概半小时下载完成。先不要着急运行，把烫手的山芋，不，烫手的IPhone放到一边，在启动前，先做以下步骤。深呼吸三声，迎接史上最强大的模型之一在你的笔记本上面跑起。首先，无关应用请退出。你的微信、企业微信、钉钉、飞书、QQ，统统退出，即使老板或者女朋友的消息一律都只在手机上回复。浏览器、Office也退出，除非你是个有64G以上内存的土豪。当然你可以仅仅保留截屏工具或者录屏软件，辛辛苦苦折腾半天，不在朋友圈和抖音发条视频怎么对得起你即将烧成灰烬的机器呢？然后，你跑跑清理内存的程序，确保内存清理得干干静静。最后，也是最重要的一步，不要把电脑放到你大腿上，这里温度过高不利于男性健康，如果发生烫伤事件笔者拒不负责。确保你的散热风扇运转正常，我知道很多技术人员的风扇比女厕所的排气扇还要脏，否则，你的响成洗衣机那样的风扇吵醒你午睡的同僚是小事，被你老板误以为你在上班时间打黑悟空可大大不妙了。好，当你把上面的事情都确认好之后，再调整一下电源设置，确保你的电脑接上电源，然后在“电源和电池”那里把“电源模式”调整成“最佳性能”。然后打开AnyThingLLM，在设置里面，把模型设置成qwq:latest我输入：“我是支部的宣传委员，请帮我写份党员总结，字数300字”这里仅做演示，实际工作肯定不会这样写提示词的。私有部署大模型就是有这样的好处，如果用公网上的模型，问敏感的问题多半拒绝作答。好了，现在是最激动人心的时刻，点发射按钮，不，发送按钮。发送之后，你以为他马上给你一篇脍炙人口的文章，谁知屏幕居然一动不动，你只听到你的散热风扇气喘吁吁的救命声，就像你上学的时候被老师罚跑1000米那样。这时候不用着急，去上个厕所或者泡一壶咖啡，回来之后文章就写好啦。第一次启动可能要1分钟的时间才开始吐字，后面就会相对快一点。 大家可以看到，他还有深度思考的过程，大概1秒钟蹦三个字。比一般人打字还是快多了。以我业余作家的手速，一小时最快只能写2000字，平均一分钟就三十多字，qwq已经比我写得快多了，而且没有我这种错别字病句百出的坏毛病。磁盘还好。幸亏内存仅仅够。如果你是16G内存的机器，请确保一定是固态硬盘，如果是机器盘的话恐怕写到200字就转出几个坏区了！而GPU就是一个吃瓜群众，休休闲闲在一旁看热闹，温度也就58度，比起平时的40几度不算高太多。感觉很可以了，就一句提示词写出这样的水平，比很多技术人员写的好多啦。在自己电脑部署大模型其实真的没有太大用途，主要就是满足一下好奇心。尤其是这种模型，跑起来速度太慢，实用性不高。但随着模型的发展，估计很快就会有更小参数的性能比得上32B的模型了。本次实验，基本没做任何调优，CPU没跑满GPU更是空闲状态，相信经过调优速度还有很大的提升空间。
相关文章：
文章已关闭评论！
