让那个最没用的NPU也忙起来通过openvino跑大模型缘起看过很多电脑评测视频都会有一句这个cpu自带一个没什么用的npu……就是这个我实在不信intel搞了这么多年真的一无是处于是就想着能不能通过openvino跑大模型挑选大模型npu的算力其实并不大想试试只能找他自己优化过的https://huggingface.co/OpenVINO就这个吧安装openvino# 创建一个虚拟环境conda create-nvinopython3.13# 激活虚拟环境conda activate vino# 安装openvinopipinstall--upgradepip pipinstallopenvino openvino-genai参考官方文档openvino 安装特别注意只能通过pip安装不能通过conda因为conda环境中不包括npu的插件如官方文档的下图下载大模型抱脸下载太慢了好在在魔搭找到了镜像不知道二者差异的推荐刚写的Hugging Face vs ModelScope两大开源模型平台深度对比与高效下载指南小试牛刀直接用模型介绍页面的代码试试importopenvino_genai model_pathD:\\model\\openvinodeviceNPUpipeopenvino_genai.LLMPipeline(model_path,device)configopenvino_genai.GenerationConfig()config.max_new_tokens25600historyopenvino_genai.ChatHistory()history.append({role:system,content:You are a helpful assistant.})defstreamer(subword):print(subword,end,flushTrue)returnFalsewhileTrue:try:promptinput(\nquestion:\n)exceptEOFError:breakhistory.append({role:user,content:prompt})resultpipe.generate(history,config,streamer)history.append({role:assistant,content:result.texts[0]})print(f\nanswer:\n{result.texts[0]})看看效果速度还可以第一个token有点慢后面速度跟上阅读不难。启动服务接入Cherry-Studio直接问ima他给我推了一个star为0的项目https://github.com/prskid1000/intel-npu-llm不过还是能用的试试效果看看是不是npu在跑小结NPU的算力还是很低的但是对比GPU来他的功耗也是很低的笔记本上能省很多电再等等小模型的发展还是足够用的至少是给本地龙虾聊聊天足够的。欢迎关注让那个最没用的NPU也忙起来通过openvino跑大模型
