哪个本地部署的大模型适合养龙虾

[JerseyWeak (Xiaolou)]

龙虾的token消耗太多了，养不起，本地部署的模型哪个合适呢

[zzq]

具体是什么配置呢？如果不是H100、A100这个级别，基本上用qwen3.5会好一些。

[GGbig]

同意楼上，建议先发配置再适配本地模型。

[kawayiyo (kwyo)]

本地除了qwen3.5 全家桶你还有别的选择？

[cool_cola]

本地的比较笨 不好用

[sicko]

Qwen3.5-35B-A3B 去审核 焚诀版本 NSFW

[JerseyWeak (Xiaolou)]

还有nsfw版啊，我试试

[nianzhibai]

什么配置，普通显卡跑的模型不适合小龙虾

[36.AI]

我使用的千问，感觉还行

[velsa (致远舰队)]

qwen3.5-27b-claude-4.6-opus-distilled

[JerseyWeak (Xiaolou)]

这个是什么模型？融合了qwen3.5-27b和claude-4.6-opus吗？

[velsa (致远舰队)]

[xiang0731 (にたま懂个じば)]

@zzq @GGbig @sicko @velsa 请教一下，如果mac 128G内存的话，有什么本地大模型推荐吗

[velsa (致远舰队)]

你下载个OMLX，它上面有根据内存推荐部署什么模型
github。com/jundot/omlx

[cervantes]

是的本机确实比较笨 但是其他模型不好用啦 GPT claude都不好使用了 我没搞定 不用API 没前

[zpmljzzc]

qwen3.5有哪些是多模态的啊，我觉得如果养虾的话，本地部署，也是多模态的好点啊

[Glory]

qwen3.5原生就是多模态模型

[zpmljzzc]

谢谢，谢谢啊，我一直本地部署过llama和之前的qwen，貌似只是能文字工作，我觉得龙虾这种，还是多模态的话，使用起来，更畅快点，不过我用这些，也就是做做小程序，解决手头的小问题罢了，别的也没有啥了

[nanosleep (人不能至少不应该)]

这个模型 32G的mac跑4bit量化有戏不

[Az0809 (河南祁厅长)]

感觉qwen3.5-27B版本不错