本地部署的8B模型效果可以追上gpt4o吗

[handsome (大帅哥)]

肯定不行

[Linon (超大的行李箱)]

想多了，肯定不行

[Qiner (林黛玉倒拔垂杨柳)]

405b 都感觉不如御三家。。

[leafingreen (青叶西城)]

异想天开了

[Ferrari (F1)]

你对b前面的数字有什么误解吧

[lsolol (韩老魔)]

用现成的吧

[MergeC]

楼主可以先去拿在线的8B试试效果，体验体验再说，GROQ和NVIDA都有提供，8B效果不行，70B还能用用，405B本地部署，一般设备估计跑都跑不起来。

[prya (pry周内不在！！！)]

可以先体验一下
sk-DIT9XeNYBrus4dEwibTwMnStjRKckPR8fOZ6VVhjVJISLLMz
https://api.gptgod.online/
模型名：llama-3-8b 可联网模型名：net-llama-3-8b
500次对话

[kkkpppp (liming)]

谢谢哥哥，大善人
真的没有想到

[wo_zu_long (我秦始皇？)]

参数量跟御三家差距太大了，405b才能吃上尾气，8b只要能简单处理归纳一下文本就谢天谢地了

[liu731 (BTC)]

8B真不行，可以Ollama部署一个试试。

[quin181a (quina)]

怎么都这么异想天开，8b也就cf开源那几个的水平

[wangqazwsx (朴实无华)]

??国产不是很多万亿大模型嘛，够打不，1000B以上~ 哈哈哈哈

[xzhuxian]

本地自己搞搞rag，公司私有数据不适合弄上网。

[K_Martin]

8B玩得多，是因为正好是很多消费级显卡单卡跑得起来的模型

[nnas]

求教御三家是哪些？

[Qiner (林黛玉倒拔垂杨柳)]

OpenAI GPT4/o 系列、Anthropic Claude 3/3.5 系列、Google Gemini 1.5 系列，三巨头

[Qiner (林黛玉倒拔垂杨柳)]

国产系列参数大是够大，但有个严重问题就是稍微涉敏就直接寄，问秘塔 GPT-4 相关对比都直接给我把问题屏蔽了白打一堆字。

[nnas]

感谢，学习了。