wget https://git.apad.pro/github.com/onllama/Onllama.LiteGateway/releases/latest/download/Onllama.LiteGateway.linux-x64 -O /usr/bin/Onllama.LiteGateway
wget https://git.apad.pro/raw.githubusercontent.com/onllama/Onllama.LiteGateway/refs/heads/main/[email protected] -O /etc/systemd/system/[email protected]
chmod +x /usr/bin/Onllama.LiteGateway
systemctl enable onllama-litegateway@sk-just-for-example --now
# 请替换 'sk-just-for-example' 为你想要设置的 apikey。
# curl http://127.0.0.1:22434
20 Likes
感谢分享
3 Likes
感谢大佬 ！
2 Likes
我个人的实践是，设备都通过 tailscale 组网，然后服务器上的 ollama.service 设置 HOST 为 tailscale 提供的ip，其他设备通过这个ip:11434 访问即可。
这样应该也是相对安全的？
5 Likes
感谢大佬分享
20250226 更新
- 支持按照 Deepseek 官方推荐的最佳实践，剥离
<think/>前的思考过程，节省上下文并减少混淆 - 支持了通过
ipratelimiting.json配置请求频率控制 - 手动 HTTPS 支持
1 Like
感谢大佬分享
内网肯定是最安全的了
但是好像会有个问题，就是命令行无法直接操作ollama了 
敲什么命令都问我 is ollama running
只好曲线救国都用API操作 
也许可以试试看修改 OLLAMA_HOST 吧？
1 Like
是的，改成 0.0.0.0 或者 localhost 也可以！
Ollama能用的已经很少了，都是些小模型，70b吐字都很慢，只有32b会快些，现在还有很多fake Ollama，溜了溜了，实在没用了才考虑Ollama毕竟有那么大善人服务可以用
mark, 之后部署
20250228 更新
- 支持设置覆盖 num_ctx
- 支持通过 llamaguard/shieldgemma 进行输入内容安全审查