问题是什么？

大家都知道 deepseek 开源大模型，有些人想在本地 ollama 或者 lm-studio 部署试试效果如何，去各个大模型平台看了一遍，这时候部分人可能会很奇怪，为什么这些平台推荐的 deepseek 大模型都是“DeepSeek-R1-Distill-Qwen” 这种？deepseek 和 Qwen 有什么关系？什么是 Distill？

什么是DeepSeek，Distill，Qwen？

  • DeepSeek-R1，是幻方量化旗下AI公司深度求索（DeepSeek）研发的推理模型 。

    • DeepSeek-R1的强项之一是具有很强的推理能力。

  • Qwen，阿里巴巴的大模型.

    • 强项是具有较为丰富的参数。

  • Distill，蒸馏这个过程，就是结合两者的优势，组合成一个新的大模型。

    • 强大的数据集 + 强大的推理计算能力

综上，DeepSeek-R1-Distill-Qwen 类似一种果树的嫁接技术，将deepseek的推理能力嫁接到Qwen的数据里。

怎么选择适合自己硬件大模型？

  • DeepSeek-R1-Distill-Qwen-32B-IQ3_M.gguf, 14.81GB
  • DeepSeek-R1-Distill-Qwen-7B-f16.gguf, 15.24GB

以这两个模型为例，它们大小相近，但大多数情况下，2优于1。

  • 1具有320亿参数，IQ3_XS代表了一种平衡性能与效率的量化策略，量化过程可能会导致一定的精度损失，但是它仍然保留了大量的原始信息。
  • 2只有基于70亿参数，没有经过裁剪或量化处理。理论上可以提供最接近于原始训练模型的性能，特别是在准确性和细节处理方面。但是由于参数量较少，它可能在理解和生成复杂文本时不如32B版本。

这其实是个复杂、需要综合考虑的问题。一般而言，越接近原始大模型的版本最好，但是普通用户受限于显卡算力，只能选择修剪后的版本。

16GB显存的显卡，一般选择7b，14b参数，跑32b会有压力。因此如果你是最新的5090显卡，就可以更大参数的。

对于普通用户而言，自己部署的 DeepSeek R1 本地模型，效果不会太好，生成质量最高的往往是各种大模型的在线网页版。