好想法 明天整
爆显存了呗
不了 不了 明天把公司那个暴漏出来在家里用就够了。 不在这个上面折腾了
哈哈哈 是的 还是配置太低了
佬 像这样本地部署的 有什么办法联网使用不, 除了 page Assist插件的方式
有 会写代码用langchain加载ollma模型 自己写网络检索工具 相当于自己半手搓Agent
没法比啊…
模型部署机不能联网吗?内网穿透出来不就用了
记得改一下默认11434端口,不然就被人fofa了
本地部署,哎,非必要——没必要。哈哈哈。
在家的,你没发现风扇呼呼呼呼。。。糊糊糊糊。。
太高端了 我今天找找看有一键docker工具不
哈哈哈 没法用
我说的意思是 我问它问题的时候联网搜索
欸 没必要 没必要
昨晚我差点起飞了
ollama 可以查看 cpu/gpu 混合比例的,大概率是 gpu 显存不足
估计是硬件性能问题,你跨越太大了
本来我不想再买硬件了的 现在又想买了
emmm也是蛮奇怪的,那只能说推荐不是按照效果,纯看理论计算,毕竟q4km量化的70b理论上无占用设置好的情况下短文本还是能正常蹦字