在本地部署大模型,顺便感慨
前言
其实早在去年DeepSeek-R1开源那会儿,有朋友就和我聊可以本地部署大模型玩玩。不过那时我对本地部署不太感兴趣,虽然我知道可以用Ollama部署,但没有付诸实践,因为我觉得本地只能部署一些参数量很小的大模型,其能力较满血版 差多了,直接用API调用简单又方便,何必费那个劲呢?
现在看来,这理由没错,但是也不全对。我当时可能不只是拒绝尝试本地部署这件事,而是变得不想折腾的感觉。毕竟工作比较忙,没多少时间折腾,渐渐地就开始用是否值得、有没有意义等理由来衡量一切,而与折腾的初心渐行渐远。
所以这篇博客,本来去年就可以有的,现在补上,既是技术记录,也是响应下喜欢折腾的初心。