近年来，大规模语言模型（LLMs）技术迅猛发展，随之而来的是对计算资源的巨大需求，令众多个人研究者和小型团队不得不面临算力瓶颈。然而，清华大学KVCache.AI团队联合趋境科技日前发布的KTransformers开源项目，给这一挑战带来了突破性的曙光。最新的更新显示，只需一块24G显存的4090显卡，就能在本地无障碍运行DeepSeek-R1和V3的671B 满血版，极大地降低了进入门槛。

　　此次技术革新的关键在于KTransformers所采用的多项先进手段，包括异构计算、量化技术和稀疏注意力机制等ip地址代理服务器设置，提升了计算效率，同时还能处理长上下文序列。开发者们在接收到该框架更新后，纷纷进行测试，发现显存消耗远低于预期，仅为14G，内存占用也仅约380G。这一结果无疑让人耳目一新！

　　在成本方面，用户经过细致分析后发现，仅需不到7万元的预算，即可实现DeepSeek-R1的本地运行，若与A100/H100等高价云服务器的200万元成本相比，直降95%！以往671B参数的DeepSeek-R1模型在推理时易宕机，而依靠KTransformers，资源紧张的小团队现在也能高效运作。

　　值得一提的是，KTransformers项目自DeepSeek-V2推出以来，便因其“专家卸载”技术声名远扬，甚至支持236B参数的大模型在仅24GB显存的消费级显卡上流畅运行，显存需求直接被降低了九成。

　　技术团队指出，KTransformers框架的基本原理是将复杂的MLA注意力计算分配给GPU，而相对简单的FNN（MOE）计算则让CPU来处理。得益于其稀疏性，每次推理时仅激活部分模型参数，从而显著减少了单次推理所需的计算资源，随之增大了模型可用的上下文范围。

　　用户反馈中提到，本地部署的生成速度可达6-8 tokens/s，与现有市面上的解决方案相当，然而相较于高价服务器的并发能力，仍存在局限。不过，考虑到市场趋势，这一方案的发布或将推动消费级显卡的需求飞涨，特别是高显存型号的产品。

　　虽然KTransformers目前仍依赖于英特尔的AMX指令集，其他品牌CPU的兼容性仍有待突破，但这一技术的陆续推广无疑为普通开发者打开了一扇新窗口。整体来看，KTransformers不仅在提升算力上成为助推器，也在资源利用效率上作出了划时代的改进！返回搜狐，查看更多