DeepSeek R1 Distill 本地部署相关资料

本文阅读 1 分钟
首页 技术控 正文

注意事项
建议使用 NVIDIA 卡,体验会好不少,AMD 显卡未做测试,但应该也是能跑的
欢迎各位在本文档评论区反馈各自运行情况,这样可以帮到更多人
LM Studio
官网下载:https://lmstudio.ai/
夸克网盘:https://pan.quark.cn/s/f7f610d2ac7a

显存大小推荐模型备注
32GBDeepSeek-R1-Distill-Qwen-32B-Q6_K.ggufQ6 勉强也能跑,但速度会比较慢
24GBDeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf
24GBDeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf比较推荐第Q5
16GBDeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf
12GBDeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
11GBDeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
8GBDeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf
6GBDeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
4GBDeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf
3GB、2GBDeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
显存大小对应N卡型号
2GBGTX 1050、GT 1030
3GBGTX 1060 3GB
4GBGTX 1050 Ti
6GBGTX 1060 6GB、RTX 2060 6GB、RTX 3050 (6GB)
8GBGTX 1080、GTX 1070 Ti、GTX 1070、RTX 2080 SUPER、RTX 2080、RTX 2070 SUPER、RTX 2070、RTX 2060 SUPER、RTX 3070 Ti、RTX 3070、RTX 3060 Ti、RTX 3060 (8GB)、RTX 3050 (8GB)、RTX 4080、RTX 4060 Ti 8GB、RTX 4060、RTX 5070
11GBGTX 1080 Ti、RTX 2080 Ti
12GBRTX 2060 12GB、RTX 3060 (12GB)、RTX 4070 Ti SUPER、RTX 4070、RTX 5070 Ti
16GBRTX 4060 Ti 16GB、RTX 5080
24GBRTX 3090 Ti、RTX 3090、RTX 4090
36GBRTX 5090

如何查看自己的显存

查看自己的显存

解压密码: detechn或detechn.com

免责声明

本站所有资源出自互联网收集整理,本站不参与制作,如果侵犯了您的合法权益,请联系本站我们会及时删除。

本站发布资源来源于互联网,可能存在水印或者引流等信息,请用户自行鉴别,做一个有主见和判断力的用户。

本站资源仅供研究、学习交流之用,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担。

安卓AutoTask自动化任务
« 上一篇 02-06
InputShare – 电脑与安卓设备共享键鼠 共享剪贴板
下一篇 » 02-06

发表评论

惪特博客
  • 文章总数:
    18496 篇
  • 评论总数:
    53295 条
  • 标签总数:
    8869 个
  • 总浏览量:
    22473961 次
  • 最后更新:
    3月15日

最多点赞

随便看看

标签TAG