想部署一个本地的语言模型来代替Claude3.5，3.5的api实在是贵的不行啊 
我是win11，显卡是2080ti 11gb 内存是32g 12600kf
还希望显存占用少一点，可能后期还得跑sd来生图
求求各位佬啦
刚注册的萌新，回复上限了，我大概看了一下各位佬的评论，看来参数是不太可能差不多。
那我想问的是，参数决定的是什么呢？
我比较在意上下文窗口长度和中文能力，让我们说中文 
2 个赞
比肩？公开的 GPT-3.5 1750 亿参数，后来的更强的大模型没公布具体参数但只多不少。本地模型的 B 数都是按个位数算的。
1 个赞
你的要求不太可能，Claude3.5 的参数量是本地模型能比拟的吗？
1 个赞
没有，本地小模型为了冲分，文字这种没法量化刷不了分的项目优先度很低。民间微调中文圈也没人干，基本都是拿英文语料训的。换用Gemini比较现实，官价大概是Claude三分之一，中转还能压到很低
1 个赞
我倒是很奇怪，你说的3.5是 GPT3.5 吗？这个 API 不是非常便宜吗？
1 个赞
不是啊，只是拿GPT3.5来比较，本地模型的参数量连这个模型都比不过
比肩 Claude sonnet 3.5 的本地大模型不存在。这模型这么吃 Claude 的算力，参数量一定不小，少说几千亿。
GPT3.5 已经被 gpt-4o mini 淘汰了，LLAMA 3.1 比它强太多了
2 个赞
参数决定什么，说个通俗易懂的，约等于智商，越大的参数量级往往意味着越高的智商，其次，在参数量级上是有质变效应的，也就是涌现，本地跑的都很一般
1 个赞
B是10亿，你多算了一个数量级。
而且现在14B打以前的72B甚至100+是可能的
1 个赞
比肩可太难了
1 个赞
为啥我感受不出Claude3.5文学能力很好。。
你缺一个好的提示词啊