【本地满血体验】RTX 4090 / Mac M3 Max 跑 DeepSeek-R1 蒸馏版与 Qwen2.5-Coder：Ollama + llama.cpp 极速推理与上下文量化优化

模型评测师

深度求索（DeepSeek）开源 R1 权重之后，开源模型在数学和编程逻辑上首次真正具备了与顶级闭源商业模型一较高下的实力。

对于不想花钱调 API、或者对代码隐私要求极高的开发者，如何在本地个人电脑上实现满血高速推理？本文整理了不同硬件平台下的最优部署选型指南。

1. 硬件显存（VRAM）与模型版本匹配天梯

本地硬件配置	推荐模型版本	量化精度	预期显存占用	推理速度 (Tokens/s)	综合体验评价
RTX 3060 / 4060 (8G~12G)	`deepseek-r1:8b`	Q4_K_M	~6.5 GB	45~55 t/s	轻快流畅，适合基础代码补全
RTX 4070Ti S / 4080 (16G)	`deepseek-r1:14b`	Q5_K_M	~11.5 GB	35~42 t/s	综合性价比之王，逻辑扎实
RTX 3090 / 4090 (24G)	`deepseek-r1:32b`	Q4_K_M	~20.5 GB	28~34 t/s	️ 真正接近 o1-mini 水准
Mac M 系列 (36G~64G 统一内存)	`deepseek-r1:32b`	Q5_K_M	~24.0 GB	18~25 t/s	纯静音低功耗，长上下文稳定
双卡 4090 / Mac 128G+	`deepseek-r1:70b`	Q4_K_M	~42.0 GB	12~16 t/s	满血推理，大段代码架构重构

2. 5 分钟极速部署步骤 (以 Ollama 为例)

第一步：启动并拉取最佳量化权重

# 安装 Ollama (Linux/Mac)
curl -fsSL https://ollama.com/install.sh | sh

# 显存 24G 推荐拉取 32B 版本
ollama run deepseek-r1:32b

第二步：定制 Modelfile 调教最佳参数

为了防止本地推理时回答“胡言乱语”，必须按官方推荐调整温度（Temperature）与思维链配置：

FROM deepseek-r1:32b
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 32768
SYSTEM "You are an expert software engineer. Provide concise and rigorous code implementations."

运行 ollama create my-r1:32b -f Modelfile 完成构建。

第三步：接入 Cherry Studio 开启思维链折叠展示

打开 Cherry Studio -> 设置 -> 模型服务 -> Ollama：

地址填写 http://localhost:11434
勾选思维链支持：这样 DeepSeek 的 <think> 标签会在客户端优雅折叠展示，既能看到推理逻辑，又不干扰最终代码复制！

Cursor老玩家

实测 4090 跑 32B Q4 版，在 Cursor 里配置本地 OpenAI 端点写日常业务逻辑，延迟低到令人发指，而且再也不用担心公司代码泄漏给外部了，体验极佳！

全栈小白求带

请问大佬，MacBook Air M2 16G 跑 8B 还是 14B 合适呀？会不会发烫很厉害？

模型评测师

@全栈小白求带 16G 内存建议选 deepseek-r1:8b（实际占用约 5G 内存），留出足够的系统内存给日常应用。M2 跑 8B 发热非常轻微，基本温热，续航也能维持很久。