最近想部署本地的chatGPT相关的功能（脱离官方api，非在线调用api的方式），并训练自定义的语言模型

[fu_yu (蜜雪冰城)]

最近想部署本地的chatGPT相关的功能（脱离官方api，非在线调用api的方式），并训练自定义的语言模型，现在一点头绪都没有

[neo]

准备好显卡，抱抱脸上很多模型，你拿回来微调试试看。上手不建议重新训练模型。

[sucat1997 (llqpllqpllqpllqpllqpll)]

推荐ChatGlm2，清华大学质谱AI，他们家只开源到GLM3，最新的GLM4他们停止了开源计划。
ChatGLM2-6B-int4量化 支持GPU推理，平均6~7G显存可本地离线推理，最好是N卡，多轮对话可能爆显存 30系显卡用cuda118为好

[coinscat]

可以看看这个 RWKV-Runner/README_ZH.md at master · josStorer/RWKV-Runner · GitHub

[zzl (arlong)]

准备上好的显卡和服务器吧，不然吃不消

[zefeng_lin (不知所以的人（可以叫我188大佬）)]

你可以看看jan这个项目他可以让你低成本玩玩本地

[fu_yu (蜜雪冰城)]

我去瞅瞅

[linduda]

可以考虑一下Chatchat