本地AI部署模型有什么推荐的？主要用来写小说，配置是32G内存、RTX 3070 12G
写小说对ai能力要求极高， 现在的线上大模型都没几个能写好的
本地的还是算了
我还是喜欢看短剧 ，哈哈哈哈 ，上头
本地能跑的模型没几个，现在Qwen3.8 27b是本地最高水平了吧
去ai味，过朱雀ai模型还行，但是正文生成不太现实。
线上的都写不好，没必要折腾本地吧？不咋花钱的方式咱们站里有人买过Google pro 18个月的好像不到10块钱，用那个写的，或者也有从网页版对话中写的。而且还有code buddy这种提供免费模型的工具即使是HY3也比自己本地部署的好吧？除非说你要破甲的版本，也可以折腾下破甲的提示词。
12g显存32g内存就做不了什么，写小说又是特别需要大模型的直觉和世界知识的东西。
这个配置可以考虑一下qwen3.6 35b的occamy 1.0微调，这个在文本方面还不错
写正文的话，一个能打的都没有。
讨论剧情和伏笔设计，人物性格有没有漂移，Gemini和GPT可以，国产的就算了，问9次有9次不同的结果，同一种手法同一个模型，问一遍说是败笔，换个对话框再问一遍就说是神来之笔，根本不可信，没有参考价值。本地模型就更别想了。
本地模型就帮忙找找错别字吧。找病句都够呛能行，按照它的观点改完病句就只剩下一股ai味了。