llama-sever的启动参数一般都用哪些?
性能参数:-ngl, -t?
上下文参数-c?
api服务参数–host, --port, --api-key?
还有哪些?
llama-sever的启动参数一般都用哪些?
性能参数:-ngl, -t?
上下文参数-c?
api服务参数–host, --port, --api-key?
还有哪些?
还有--cache-type-k和--cache-type-v,KV cache的类型,常设q8_0,省显存
其他忘了,我经常都是叫AI弄启动参数
显卡加载层数ngl
指定 CPU 加载的 MOE(Mixture of Experts)专家层数 -n-cpu-moe
预测推理相关的mtp dflash dspark
sm tensor多卡并行
tensor-split 多卡分层占比