一、序言：腹地部署大模子 不依靠显卡其实也可以

Deepseek大模子横空出世以来，以其高效和开源的特色赶紧火爆出圈，是当今当之无愧最为驰名的AI大模子。

Deepseek-R1不但径直开源了其671B参数限制的满血模子，还同步开源了六个不同限制大小的蒸馏模子，区分是DeepSeek-R1-Distill-Qwen-1.5B/7B/8B/14B/32B，以及DeepSeek-R1-Distill-Llama-70B，这就至极便捷用户凭证我方开发的成立情况，选定合适限制的模子进行腹地部署。

在各大厂商纷繁上线AI办事的今天，咱们为什么还要在腹地部署一个AI大模子呢？

其实原因也很粗浅，领先是幸免云办事不结识，Deepseek上线初期的网罗故障王人照旧成一个梗了；其次是一些数据不允许公开或者上云，这就必须要在腹地完成处理，确保数据和秘密安全。

临了就是玩家的心态了：\"我花了这样多钱，买的新硬件有这样高的算力，不充分诈骗多销耗？\"

再加上新硬件也照实可以撑执AI大模子的腹地部署运行，是以也就贼人胆虚的要在腹地部署一个AI大模子了。

另一方面，腹地部署大模子其完毕在也照旧莫得什么不毛，网上很容易就能找到多半的部署教程和决策，以致照旧有东谈主制作了傻瓜式部署的一键包，只需要下载之后解压运行就可以取得一个腹地运行的AI大模子，真的让东谈主东谈主王人可以松懈上手。

但这些教程决策中，王人会提到腹地算力的要求，不绝王人需要一块相比强的显卡，才能相比好的在腹地运行AI大模子。

选定模子限制时，时时是要求一定的显存容量，这就对莫得寂然显卡的浮滑条记本不太友好，可能会有使用浮滑本的用户径直就废弃了腹地部署的狡计。

莫得大显存显卡真的就不成领有我方的AI大模子了吗？天然不是。

咱们此次就找来一台使用Intel酷睿Ultra 9 285H处理器的浮滑条记本，来尝试在腹地部署大模子并应用，望望不依靠寂然显卡，充分阐述CPU、iGPU核显以及NPU的算力资源，能不成真的应用上腹地AI大模子。

二、Ollama：高效轻量化 爽朗到硬核的进程

既然是在并不以性能见长的浮滑本上部署大模子，咱们天然要尽量从简系统资源，那么轻量化的开源AI模子部署器用Ollama就是咱们的首选。

领先咱们证据系统已安设最新版驱动门径，然后从浏览器中大开Ollama的主页（https://ollama.com/），下载Ollama的安设文献。

动作一个开源免费的部署器用，Ollama的主页作念的至极爽朗，用户只需重点击Download按钮就可以下载到最新的安设门径。

安设门径大小约1GB，不需要非凡的网罗树立，径直下载速率就相称快。

固然Ollama的安设界面莫得华文，但和等闲安设门径并无区别，点击Install之后选定安设目次位置，即可完成安设。

这里咱们莫得修改安设位置，径直在默许安设目次完成安设。

安设完成之后，Ollama运行时会在托盘区显现一个可人的小羊驼图标，同期会自动掸出一个Windows PowerShell窗口。

这就吵嘴凡轻量化的Ollama运行的恶果，连图形界面王人欠奉，径直在号召行中运行。

按照Ollama给出的教导，咱们输入号召运行Deepseek-R1:1.5B模子进行测试。

可以看到模子下载速率相称快，应该是使用了国内的镜像站，Deepseek-R1:1.5B模子只须1.1GB的大小，很快就可以完成下载启动运行。

下载完毕之后，咱们就可以在号召行中启动和Deepseek进行对话了。

关于最新的Intel酷睿Ultra 9 285H来说，通用的Ollama目下还只可调用CPU资源，更强盛的iGPU算力资源被销耗了，这亦然开源部署器用的粗心，软件跟不上硬件的发展速率。

好在开源器用的分支盛大，针对Intel iGPU非凡优化的Ollama版块也可以从网上找到，而且相似亦然免费开源，任何东谈主王人可以下载使用。

Intel ipex-llm优化版可以充分诈骗Intel iGPU的算力，诈骗iGPU中包含的XMX 矩阵加快单位，可以加快大模子推理速率，提升遵守。

Intel官方提供的ipex-llm优化版Ollama的GitHub下载地址：https://github.com/intel/ipex-llm/releases。也可以从https://www.modelscope.cn/models/ipexllm/ollama-ipex-llm/summary这里下载。

由于Intel优化版Ollama目下如故测试版，功能翌日会整合到郑再版的Ollama中，而且目下如故免安设的绿色版软件，使用起来比官方版Ollama要稍稍贫乏少量。

咱们从GitHub或者镜像站下载Windows版块的压缩包之后，先将其解压至腹地目次，咱们在C盘树立一个新的文献夹定名为‘AI’动作解压缩认识目次使用。

在解压目次中找到\"start-ollama.bat\"批处理文献，双击运行，启动Intel优化版Ollama办事，此时就和官方版Ollama运作歹果一致，惟一需要慎重的即使Ollama办事启用时，会有一个号召行窗口，不要偶然关闭，关闭这个号召行窗口就会关闭Ollama办事。

此时可以用Win+R输入\"cmd\"启动一个新的号召行窗口，先使用\"cd\"号召，转到Intel优化版Ollama的解压目次，在咱们测试电脑上，就是输入：

cd C:AIollama-ipex-llm-2.2.0b20250328-win

回车之后就可以和官方版Ollama一样启动下载模子和对话了。

三、通过浏览器插件使用图形化界面：Page Assist插件粗浅便捷

固然号召行中照旧可以和Deepseek进行对话，但关于等闲用户来说，每次和Deepseek对话王人要启动号召行如故太硬核了少量，是以咱们接下来给Ollama部署的大模子树立一个更合乎用户习气的图形界面。

Page Assist（https://github.com/n4ze3m/page-assist）相似是一个开源免费的浏览器插件，可以在谷歌浏览器、微软EDGE浏览器和火狐浏览器的插件商店中找到。

安设好Page Assisr插件之后，点击插件图标，咱们就可以看到插件教导Ollama正在运行，无需很是成立，插件可以自动识别到Ollama。

点击右上角的齿轮图标，参预树立页面，咱们可以把插件的说话修改为华文。

左侧的惩办模子这里可以看到扫数已下载的模子。

也可以点击添加新模子，然后在弹出窗口中输入模子称呼，点击拉取模子，就可以启动下载。

Page Assist本人并莫得大模子关系的功能，只是Ollama的一个图形界面，一切功能其实王人如故Ollama提供的。

扫数可下载的模子列表，王人可以在Ollama网站找到。

在Ollama首页左上角，点击Models，就可以检察扫数可下载的模子信息。

之后就可以在上方选定模子，然后输入笔墨和大模子对话了。

图形界面使用起来愈加便捷易用，而且也增多了不少更直不雅的功能。

四、ChatBox AI客户端：让AI大模子更智谋

如若需要更多的功能，咱们也可以使用ChatBox AI客户端来运行大模子。

在Chatbox AI客户端的主页（https://chatboxai.app/zh），可以看到Chatbox AI官方的教导，官方有提供免费下载，慎重不要上当上当。

Chatbox AI软件安设之后，因为咱们照旧安设了Ollama，是以就选定使用腹地模子。

Chatbox也支执使用在线AI办事，由云狡计办事商提供更强盛的算力。

选定Ollama API之后，Chatbox AI就可以自动收受Ollama照旧部署好的大模子。

之前下载完成的模子王人可以径直加载调用，无需重新下载。

Chatbox AI软件中，除了径直和大模子进行对话以外，也提供了一些模版，比如神气价值拉满的AI夸夸机，或者小红书爆款案牍生成器，可以阐述出AI大模子更丰富的功能，而且界面也愈加好意思不雅易用。

五、LM Studio部署器用：更便捷易用的器用 但遵守不如Ollama

动作一个部署器用，Ollama最大的上风是它的轻量化，系统资源包袱小，引申遵守更高。

天然过错也很彰着，就是功能太简易，不要说高档AI功能，连图形界面王人莫得，下载模子的时候不但看不见下载速率，万一输错了模子的称呼，启动下载之后连取消下载王人不行。

所幸还有功能更强盛的AI部署器用：LM Studio。

在LM Studio主页（https://lmstudio.ai/）上，咱们可以径直下载Windows版块的安设门径。

安设完成之后，LM Studio就会换取用户下载第一个腹地AI大模子，如若不需要默许推选的模子，也可以点击右上角的跳过按钮来取消下载。

在主界面的右下角，点击齿轮图标参预树立界面，就可以调治软件说话为华文。

点击左侧的放大镜，参预模子搜索页面，可以看到LM Studio提供了至极至极多的模子供用户选定。

咱们径直搜索Deepseek，就有好几页不同限制不同版块的Deepseek模子。

在LM Studio中，咱们可以径直看到每个模子关系的参数和先容，更便捷选定合适的模子。

一些莫得过程蒸馏的高大模子也在其中，比如Deepseek-V3模子，体积高达347GB，LM Studio也会教导关于本机来说可能过大无法顺利运行。

在一些LM Studio的教程上会提到无法径直下载的问题，教程中会给出替换国内镜像源的花式，但咱们当今实测下载速率全王人莫得问题，应该是新版门径照旧树立了国内更快的镜像源，使用起来愈加便捷。

模子下载完毕之后，就可以在主页上方选定模子，然后等模子加载完毕后，启动对话了。

六、腹地AI应用1：结合千里浸式翻译插件 使用腹地AI大模子翻译网页

在腹地部署AI大模子，天然也不成只是知足于同AI对话，或者让AI襄助写首诗什么的，腹地AI还能作念好多事情。

咱们可以让腹地AI大模子结合浏览器的千里浸式翻译插件，完毕翻译资源腹地化，不依赖网罗办事，也可以取得更好更精确的翻译办事。

千里浸式翻译插件相似是免费的，在谷歌微软或者火狐浏览器的商店中王人能径直找到并安设使用。

千里浸式翻译插件本人也提供付费的AI大模子翻译办事，同期它的翻译办事中也提供了用户自行购买AI办事后的接入功能。

咱们在这内部找到Ollama，激活之后参预树立，就可以成立腹地AI大模子的翻译功能了。

翻译办事并不需要很大限制的模子，相对而言反映赶紧更进击，谁也不念念点击翻译之后还要等上半天才能看到驱散，是以咱们先选定Deepseek-R1:1.5B模子进行测试，望望翻译恶果若何。

在成立页面只需要选定模子是咱们准备好的模子，然后在APIKEY中输入之前用号召行启动Ollama的号召就可以了，保存树立之后可以点击树立页面右上角的测试办事按钮，望望是否能盛大启动翻译办事。

显现绿色的考证告捷，就代表咱们成立的腹地AI大模子翻译办事照旧上线可以职责了。

咱们大开一个英文网页（尼康英文臣网的一千零整宿，华文臣网的这个专题灭亡了，至极缺憾），测试Deepseek-R1:1.5B大模子的翻译恶果，可以看到Deepseek-R1动作一个推理模子，在说话翻译这一方面并不擅长，翻译速率很快但恶果至极不睬念念，这时候咱们就需要换一个大模子来提升翻译恶果。

咱们此次选定阿里的通义千问Qwen2.5模子，它不但愈加善于聚首说话，况兼支执29种不同的说话，还提供了0.5B、1.5B和3B这样小限制的版块。

咱们重迭之前的体式，将Qwen2.5:1.5B模子部署在Ollama上，然后成立给千里浸式翻译调用，就可以顺利体验到更强的AI大模子翻译办事了。

从资源惩办器中可以看到，在翻译页面的时候CPU占用率会快速高潮到60%傍边，但翻译速率很快，简略不到半分钟就可以完成通盘页面的翻译，翻译的质料也很可以。

如若不是浮滑本的硬件条款截止太严，部署3B限制的模子翻译恶果还能更好。

七、腹地AI应用2：树立腹地常识库 通过AI大模子快速处理海量数据

关于最需要腹地部署AI大模子的用户来说，最大的事理笃定是为了数据安全，即即是等闲公司以致个东谈主，笃定王人会有一些不便捷上云的数据尊府，这时候使用腹地常识库来惩办海量数据就是一个至极好的选定。

咱们诈骗Ollama搭建的腹地Deepseek-R1:14B大模子，就可以很便捷的树立并使用腹地常识库，松懈在腹地惩办数据，确保数据安全。

领先咱们在Ollama中拉取文本镶嵌模子， Deepseek等大模子是无法径直读取腹地文献的，必须先使用文本镶嵌模子将尊府处理成大模子可读取的固定长度向量，下载文本镶嵌模子自需要在Ollama运行窗口中输入：

ollama pull nomic-embed-text

也可以在图形UI中的模子惩办中下载

文本镶嵌模子nomic-embed-text体积只须262MB，却是树立腹地常识库所必需的。

咱们在Page Assist插件中，找到RAG树立，在文本镶嵌模子处选定刚刚下载的nomic-embed-text，就完成了树立腹地常识库的前期准备职责，除了Page Assist插件外，也有其它可以支执树立腹地常识库的AI大模子器用，操作花式也王人雷同。

RAG（Retrieval-Augmented Generation检索增强生成）是一种结合了信息检索和说话模子的本事。它通过从大限制的常识库中检索关系信息，并诈骗这些信息来带领说话模子生成更准确和真切的谜底，是树立腹地常识库的必要本事。

底下就可以树立腹地常识库了，咱们使用B站UP@行星股东器 制作并共享的镜头大全表格，收录了800余款镜头的参数信息，至极稳妥使用腹地常识库检索信息。在Page Assist左侧找到惩办常识，点击添加常识，粗浅定名和上传文献后，就树立了一个新的常识库。

Page Assist支执这些体式：pdf、csv、txt、md和docx，是以咱们先将xlsx文献调治为csv文献。

上传文献之后文本镶嵌模子就会自动会文献进行处理，需要一小段时候。

文本镶嵌模子处理完毕之后，就可以启动使用常识库进行信息检索和查询了。

点击输入框中常识库的图标，就可以选定刚刚树立好的\"镜头大全\"常识库。

选定常识库之后，可以看到输入框中少了一些功能，上传图片和联网的秀雅遮掩了起来，在常识库中，是不成使用联网和识图功能的，但不影响常识库本人的功能使用。

屏幕上方可以看到\"镜头大全\"常识库已被读入，这时就可以使用Deepseek-R1:14B模子来检索常识库，Deepseek-R1:14B模子对用户发问和常识库内的语句聚首和推理才调远超限制较小的模子。

此时向Deepseek-R1:14B模子发问，它就会用上传的尊府内容进行修起，比我方翻找表格愈加便捷快捷。

八、追念：浮滑本莫得显卡一样能部署腹地AI大模子 而且还很好用

Intel酷睿Ultra 9 285H处理器基于Arrow Lake架构，领有6个性能核，8个能效核和2个低功耗能效核，一共16中枢，但不支执超线程本事，是以总线程数亦然16， 性能核最大睿频频率为5.4GHz，领有24MB高速缓存。

它内建Intel锐炫140T显卡，包含8个Xe中枢，同期还内置NPU，概况提供高达13 TOPS的算力。CPU+GPU+NPU全平台总算力达到99 TOPS，为腹地运行大模子提供了很好的撑执。

AI PC并不是预装几个AI软件提供云办事就算AI PC了，如若只是购买云表AI算力办事来使用，那几年前的电脑以致手机也一样能作念到。

AI PC最强盛的方位就在于腹地算力，购买了全新的AI PC，就领有了这些算力，能陪着你走遍海角海角，能在断网等环境下使用腹地算力执续运行，这亦然腹地部署AI大模子的意旨。

成绩于Intel酷睿Ultra 9 285H处理器的强盛性能和极高的能效，让浮滑本也能松懈在腹地部署AI大模子，运行14B参数限制的Deepseek-R1大模子也不在话下。

腹地部署大模子，亦然要凭证本体用途来选定合适的模子来部署，当今开源的模子这样多，咱们也不成念念着径直部署最强的模子就能包打天地，也要凭证本体用途选定来选定。

咱们为翻译办事选定了Qwen2.5:1.5B模子，看起来限制和Deepseek-R1:1.5B模子限制相称，但在翻译质料上差距十分彰着，但如若是编程或者写稿之类的需求的话，Deepseek-R1:14B模子才是更好的选定。

Intel当今正在赋闲彭胀AI硬件，酷睿家眷处理器的AI性能在一次次AI翻新应用大赛中被深度发掘，Intel OpenVINO推理框架也越来越收到心疼，浮滑本的AI性能也越来越好，即使莫得显卡的AI PC，翌日也会也会越来越好用。