跳到主要内容

在本地部署大模型,顺便感慨

· 阅读需 5 分钟

前言

其实早在去年DeepSeek-R1开源那会儿,有朋友就和我聊可以本地部署大模型玩玩。不过那时我对本地部署不太感兴趣,虽然我知道可以用Ollama部署,但没有付诸实践,因为我觉得本地只能部署一些参数量很小的大模型,其能力较满血版差多了,直接用API调用简单又方便,何必费那个劲呢?

现在看来,这理由没错,但是也不全对。我当时可能不只是拒绝尝试本地部署这件事,而是变得不想折腾的感觉。毕竟工作比较忙,没多少时间折腾,渐渐地就开始用是否值得、有没有意义等理由来衡量一切,而与折腾的初心渐行渐远。

所以这篇博客,本来去年就可以有的,现在补上,既是技术记录,也是响应下喜欢折腾的初心。

SQLBot:智能问数系统初体验

· 阅读需 4 分钟

最近在 GitHub 上看到了 DataEase 开源的 SQLBot,一个基于大模型和 RAG 的智能问数系统:用自然语言提问,它自动生成 SQL、执行查询,结果既能出表格也会自动生成图表。实际体验下来感觉还挺实用,下面分享下我的初体验,顺带分析一下它的执行流程和提示词。

项目相关链接:

环境搭建

SQLBot 的部署非常简单,用 Docker 直接起:

H5网页接入飞书:免登与OAuth登录

· 阅读需 7 分钟

最近做的 H5 页面需要在飞书里直接打开就能免登录访问,在浏览器里打开则走飞书 OAuth 授权。整体是前端 + Java 后端的组合,简单记录下。

整体思路

登录分两种场景,最后都统一走后端同一个接口换 token:

  1. 飞书内打开:通过飞书 JS-SDK 的 requestAccess 免登接口,静默拿到 code,用户无感知。
  2. 浏览器打开:跳飞书 OAuth 授权页,用户点同意后回调页拿到 code。

拿到 code 后统一调后端 feishuLogin:后端用 code 换 user_access_token,再拉取用户信息,校验通过就给前端发业务 token。

Ubuntu 26.04安装EasyConnect

· 阅读需 4 分钟

今天在Ubuntu 26.04上安装EasyConnect遇到了些问题,不过好在都解决了,所以记录一下,免得后面又碰到这样的问题。

首先下载安装EasyConnect,下载地址根据自己实际的地址来。我的EasyConnect版本为7.6.3.7

$ wget -c http://download.sangfor.com.cn/download/product/sslvpn/pkg/linux_01/EasyConnect_x64.deb
$ mv EasyConnect_x64.deb /tmp/
$ sudo apt install /tmp/EasyConnect_x64.deb

然后就可以在开始菜单里找到EasyConnect的快捷方式了,不过此时应该打不开,没有什么反应。

可以从控制台打开,不过此时报错:

$ /usr/share/sangfor/EasyConnect/EasyConnect --enable-transparent-visuals --disable-gpu
/usr/share/sangfor/EasyConnect/EasyConnect: error while loading shared libraries: libdbus-glib-1.so.2: cannot open shared object file: No such file or directory

基于Redis Zset的轻量级延迟任务调度器

· 阅读需 4 分钟

不知不觉又有好久没写了,于是还是抽空写篇。

最近项目里有个数据统计的需求,在用户提交数据后就更新下统计结果,但是,用户可能批量提交,为了性能考虑,需要稍微延迟下再进行统计,并且短时间内的重复提交只统计一次即可。

为了实现简便,最后基于本地缓存+Redis ZSet实现。