尝试用GTX 1650跑本地大模型belike:

rt,显存只有4GB的GTX 1650,尝试了:

NAME ID SIZE MODIFIED
huihui_ai/deepseek-r1-abliterated:1.5b d536977cfb9e 1.1 GB 3 hours ago
huihui_ai/llama3.2-abliterate:3b 2ffe056672b5 2.2 GB 3 hours ago
huihui_ai/qwen2.5-abliterate:3b 7eac36b0fdba 1.9 GB 3 hours ago
qwen2.5-coder:1.5b d7372fd82851 986 MB 3 hours ago
qwen2.5-coder:3b f72c60cabf62 1.9 GB 3 hours ago

其中qwen2.5出现一直重复问题,用opencode调用所有模型均有上下文丢失问题

还是没钱买新电脑,跑跑api得了(虽然api也很贵)

4 个赞

4G 玩玩翻译模型都够呛
顶多 OCR 模型跑的起来 :joy:

1 个赞

是这样的,ocr和vlm也只能用点qwen2.5-3B的,还要量化

2 个赞

我1070ti 8g的都放弃了,只有语音转文字,总结视频跑跑本地模型
ocr 翻译都算了,速度起不来的

1 个赞