想本地部署一个，但是配置太差了，我的笔记本才3070显卡，只能跑8B左右的。
不知道这个大小的模型效果如何
有没有知道的哥哥
4 个赞
不知道是水，还是逗啊。
4 个赞
认真的，因为看B站整 Ollama的还挺多的，都是8B左右的模型
如果效果不好，那么折腾的意义是什么，所以好奇嘛
3 个赞
80b都不够打的
1.赚钱，引流。
2.自己部署玩一下，学习一下技术（微调，嵌入等，需要本地模型支持）。
3.隐私安全。
4.有些功能离线免费，在线版收费（代码辅助）
1 个赞
让8B追上4o的感觉就好像昨天奥运会要求索伦打赢石宇奇…
不要想了，效果很差的，70B的可能效果勉强使用。
你想象一下，用4o一次对话解决问题了，然后使用8B的模型，多轮对话也没有理解你的意思。
原来如此，那幻灭了~~~
如果只是简单的处理数据，有特定的使用场景，比如给短文本加标签，也许用8B模型不错。日常对话，解决问题，不建议使用。
网上说gpt4是1.8T参数
是啊，我就是看到现在这么多免费的
但是还是有B站还是有很多折腾Ollama，我以为可以用呢
8B肯定是追不上的，如果8B都能追上gpt4o，那405B的版本岂不是超越一切了
部署过llama3，凑合用吧，都是为了给产品贴金，我选择gpt
肯定是不行的
1 个赞
不能，llama系列模型吹得天花烂坠，实际效果不要说逻辑性、准确性了，就连输出通顺的句子都够呛
1 个赞
现在自媒体人拿gpt对比，才有热度，不是吊打gpt-4就是持平。8b，怎么打啊。自行车追川崎。。
2 个赞
- 本地模型，可以突破模型的道德底线，搞 nsfw
- 搞文本嵌入、rag，基于私有数据集微调
- 串联别的模型搞应用
一些定制化要求搞本地，常规的就gpt吧，折腾半天效果还差
405B都才摸到4o的边，8b还在吃奶呢
原来如此，那看来和一般用户没什么关系了