在科技日新月异的今天,人工智能正以前所未有的速度向边缘计算领域迈进,而Copilot+ PC在这一进程中占据了举足轻重的地位。近日,随着DeepSeek R1模型的横空出世,微软也敏锐地捕捉到了这一变革的先机。
微软官方近日宣布,已正式推出针对NPU(神经网络处理器)深度优化的DeepSeek-R1模型。该模型现已在Azure AI Foundry和GitHub平台上架,首批将针对搭载高通骁龙X系列芯片的Copilot+ PC进行适配,随后将逐步扩展到英特尔酷睿Ultra 200V等其他平台。
据悉,DeepSeek-R1的首个版本——DeepSeek-R1-Distill-Qwen-1.5B,将率先在AI Toolkit中亮相。而7B和14B两个更大规模的版本也将紧随其后,助力开发者充分利用Copilot+ PC中强大的NPU性能。
微软方面表示,Copilot+ PC上的NPU开启了一种全新的工作模式。在这种模式下,生成式AI不仅能够按需执行,还能够支持半连续运行的服务。这一特性使得开发者能够利用AI推理引擎,打造出更加主动、持续的用户体验。
微软在Phi Silica项目上的研究成果,为DeepSeek模型的NPU优化提供了宝贵经验。通过高效的推理技术,DeepSeek在首次生成token的时间和吞吐率方面均表现出色,同时对电池续航和PC资源消耗的影响降到了最低。DeepSeek还借鉴了多项关键技术,包括模型分离以实现性能与效率的最佳平衡、低比特率量化以及Transformer到NPU的映射等。同时,微软还利用Windows Copilot Runtime(WCR)通过ONNX QDQ格式在Windows生态系统中实现了广泛扩展。
对于想要体验DeepSeek的用户来说,只需下载AI Toolkit VS Code扩展即可。而经过ONNX QDQ格式优化的DeepSeek模型也将很快出现在AI Toolkit的模型目录中,用户可以直接从Azure AI Foundry中拉取。下载完成后,用户只需打开Playground加载“deepseek_r1_1_5”模型,并给出提示词,即可开始体验DeepSeek的强大功能。
除了为Copilot+ PC优化的ONNX模型外,用户还可以在Azure Foundry中尝试云托管的源模型。只需点击“DeepSeek R1”下的“Try in Playground”按钮,即可轻松上手。
为了直观展示原始模型与NPU优化模型之间的差异,微软还提供了以下示例图。从图中可以看出,在相同提示下,原始模型与NPU优化模型的响应虽然大致相同,但在推理能力等方面仍存在微小但确实存在的差异。