跳到主要内容

3 篇博文 含有标签「LLM」

查看所有标签

在本地部署大模型,顺便感慨

· 阅读需 5 分钟

前言​

其实早在去年DeepSeek-R1开源那会儿,有朋友就和我聊可以本地部署大模型玩玩。不过那时我对本地部署不太感兴趣,虽然我知道可以用Ollama部署,但没有付诸实践,因为我觉得本地只能部署一些参数量很小的大模型,其能力较满血版差多了,直接用API调用简单又方便,何必费那个劲呢?

现在看来,这理由没错,但是也不全对。我当时可能不只是拒绝尝试本地部署这件事,而是变得不想折腾的感觉。毕竟工作比较忙,没多少时间折腾,渐渐地就开始用是否值得、有没有意义等理由来衡量一切,而与折腾的初心渐行渐远。

所以这篇博客,本来去年就可以有的,现在补上,既是技术记录,也是响应下喜欢折腾的初心。

SQLBot:智能问数系统初体验

· 阅读需 4 分钟

最近在 GitHub 上看到了 DataEase 开源的 SQLBot,一个基于大模型和 RAG 的智能问数系统:用自然语言提问,它自动生成 SQL、执行查询,结果既能出表格也会自动生成图表。实际体验下来感觉还挺实用,下面分享下我的初体验,顺带分析一下它的执行流程和提示词。

项目相关链接:

环境搭建​

SQLBot 的部署非常简单,用 Docker 直接起:

Stagehand:大模型驱动的网页自动化

· 阅读需 9 分钟

最近在GitHub Trending上发现了一个比较有意思的项目:Stagehand,它是个大模型驱动的网页自动化工具。官网:Stagehand: A browser automation SDK built for developers and LLMs. 看到可以使用本地浏览器,于是乎我稍微尝试了下,下面分享下我对于Stagehand的初体验。

环境搭建​

Stagehand提供了TypeScript和Python两种语言的接口,考虑到我对Python更为熟悉,于是选择了后者。安装还是比较简单的,直接pip 安装就行,不过我默认的清华源没有,临时换源到阿里源就行😂。

pip install stagehand -i https://mirrors.aliyun.com/pypi/simple/

然后就是启动浏览器并打开调试端口了,这里需要指定用户目录,不能使用默认的用户目录,这一点官方文档没有提到。