本地部署的两个模型,为啥差别这么大?

好想法 明天整

爆显存了呗

不了 不了 明天把公司那个暴漏出来在家里用就够了。 不在这个上面折腾了

哈哈哈 是的 还是配置太低了

佬 像这样本地部署的 有什么办法联网使用不, 除了 page Assist插件的方式

有 会写代码用langchain加载ollma模型 自己写网络检索工具 相当于自己半手搓Agent

没法比啊…

模型部署机不能联网吗?内网穿透出来不就用了

记得改一下默认11434端口,不然就被人fofa了

本地部署,哎,非必要——没必要。哈哈哈。

在家的,你没发现风扇呼呼呼呼。。。糊糊糊糊。。tieba_006

太高端了 我今天找找看有一键docker工具不 :joy:

哈哈哈 没法用

我说的意思是 我问它问题的时候联网搜索

欸 没必要 没必要

昨晚我差点起飞了

ollama 可以查看 cpu/gpu 混合比例的,大概率是 gpu 显存不足

估计是硬件性能问题,你跨越太大了

本来我不想再买硬件了的 现在又想买了

emmm也是蛮奇怪的,那只能说推荐不是按照效果,纯看理论计算,毕竟q4km量化的70b理论上无占用设置好的情况下短文本还是能正常蹦字