想搭建个本地AI,有没有那种精简版的?

加了一堆QQ群,每天几万条消息,想筛选一些可能是客户需求的消息出来,这样子能最大限度提高效率,找到有需求的客户,目前用的是关键词,但还有很多无用的消息,人工每天看起来,相当费劲~
想找个AI本地搭建后,用来筛选这些没用的消息(官方API,如果干这活,有点贵,毕竟每天消息太多,每条消息请求一次,一天也不少钱呢)

23 个赞

QwQ-32b和DeepSeek-R1的小模型在本地运行基本上可用了,你本地搭建一个知识库,应该可用了。

那个更简单点呢?
毕竟喂食知识也挺费时间的

抱歉,我也没有实践过呢。等别的大佬来解答吧。

:bili_040: 反正你能本地做到的最好的的效果也远比不上轻松免费白嫖的 API。除非是有特别隐私需求的(GCP Vertex 是商用的只有不违约那隐私也是没啥问题的,除非你公司研究的是航母核心零件技术)

没啥隐私~~
只是没找到白嫖的API
我看官方API挺贵的,想找个省钱的路子~
主要消息太多了,大部分都是聊天的,没啥用,需要AI去摘里面重要的信息

:bili_040: 叫你员工来论坛多水水就好,这论坛用顶级模型都不用钱的至于中杯的 Qwen、硅基流动 Key 那些更是随地捡。

本地的模型能力都不太行,无法满足你的需求

1 个赞

你要是嫌费用太贵的话,硅基的免费模型可以试试,毕竟那些7b、9b的基本都是免费。一般的电脑也就能部署这样水平的模型,而且并发一上来就吃不消,更何况你还需要付电费。

1 个赞

先看配置……目前的技术本机还是不如线上API……可能省的钱连电费&折旧费都不够

我就自己一个人~~
没员工, :joy:赚点辛苦亲~~

好的,感谢

你是一个人的公司?

:face_with_medical_mask:
老板,我可不敢当~~这年头不好赚钱,一个人赚点辛苦亲
平常还得去别的地方跑业务,这种,只是偶尔也能找点小单子

你看看,这样行吗?

还有,咸鱼上面35块钱可以给你刷1400,付费模型应该能用很长时间吧!

“求购”、“需要”、“寻找”、“合作”、“报价”这种反向的关键词呢?筛出来应该大多是有用的消息了吧?

可以试试部署ollama

例如:你求购的那些不一定买的到?
这种消息没啥用,好多都是这种,所以想对接AI分析一下,过滤那些没用的
还有很多没啥用的群,沾点边的,我都加了一遍,相当多的跟我业务没啥关系

本地Docker搭建一个dify和ollama,把你的信息做成excel喂给知识库,用BGE向量化,用deepseek-r1或者qwen2.5对知识库进行检索,我相信配上合适的提示词,应该能够满足您的这些需求。