目前有一个128G显存的算力盒子，用的Ubuntu系统，部署了Ollama配套对应的webUI，用起来还行，但是看到有佬友说LM Studio不错，还了解到有llama.cpp，想咨询下各位佬友用哪个会比较友好，并且我打算将本地部署的模型接入到codex或者claude code中
顺带一问除了cpolar外还有哪些免费的内网穿透软件，现在没公网ip，没域名，所以比较倾向于cpolar，但是带宽又不支撑十几个人一起用
3 个赞
这个用着爽，可能性能不如llama.cpp，但爽
1 个赞
佬，听说这个相比于ollama的优点是设置镜像源等比较方便，llama.cpp是否有对应的webui界面,相较于ollama哪个更方便点
1 个赞
哈哈你问我我自然是没那么清楚，我没有好的硬件都部署一下，只是随便玩玩
你可以上b站看看情况
我觉得你可以先LM Studio玩上半个月，然后再试试llama.cpp，或者其他的
好嘞，谢谢佬，我去找B站看看有没有对比视频
128GB 那我要推荐 sglang 了，当然没有 llama.cpp 方便
之前在本地Ubuntu v100的节点上部署过千问3.5（102b和27b，都是q80），从我个人经验来说比较推荐llama，llama兼容性挺好而且支持各种量化，效率也不错；vllm对gguf量化支持的不是很完善碍于我手头只有v100这老登显卡后面就没继续琢磨了；sglang在v100上报错需要sm75以上且对gguf支持也不咋地，且更新没llama快
1 个赞
cloudflared 问题就是得绕圈喵
ngrok也行，就是单账号只能有一个
佬，我想咨询下llama.cpp有接口能和codex或者claude code对接吗
message API 有了
Responses API 还没有加上
谢谢佬，我明天用ngrok试试，不然每天回家玩不了模型就很难受
还有llama并行效率远没有说的那么不堪，实测v100 16G8在读图能做到8并发，32G8能做到20并发
记得没错的话，LM Studio 的 运行时就是 llama.cpp 吧(除开 Apple )
抱歉佬这我就不清楚了，我这边只是之前实验室部署过拿来做别的任务，至于和cc、codex的接口这块我就没试过了
是的，但是我在网上看到有一点点差距，前者是闭源软件也搞不清楚
我反正懒得折腾随便玩玩LMStudio真的够了，用起来也比较简单，简单设置一下参数没毛病
谢谢佬，这样的话起码可以对接claude code了，明天我换成llama.cpp部署一个试试
其实无所谓的，简单点仅支持补全接口，然后用其他软件转换就是了，这都不是问题
好的佬，主要是第一回整这个，等我明天实际换成llama后试试，如果说能解决这个问题，小组就可以多个选择了
自己用就 llama.cpp , 多人就vllm或者sglang
差不多有10个人左右会用，但是最多并发估计也就6-7个，128G显存我打算文字、生图、视频模型都利用上