70b比较慢,不过32b的跑的还是可以的
32B好快
这个怎么用啊! 求教。
装个类似openwebui或者dify之类的前端rag就可以用了,但假如并不强依赖api的话,groq是真的快
cherry-studio可以用吗
groq也有api但我没对接过cherry,佬可以自己去申请个免费的key试试看,我看cherry的github帮助文档里写的支持groq
32b很快。但是似乎没有思考过程的输出
{“models”:[{“name”:“deepseek-r1:32b”,“model”:“deepseek-r1:32b”,“size”:23088674816,“digest”:“38056bbcbb2d068501ecb2d5ea9cea9dd4847465f1ab88c4d4a412a9f7792717”,“details”:{“parent_model”:“”,“format”:“gguf”,“family”:“qwen2”,“families”:[“qwen2”],“parameter_size”:“32.8B”,“quantization_level”:“Q4_K_M”},“expires_at”:“2025-02-05T23:51:33.060975445+08:00”,“size_vram”:23088674816}]}
刚才跑了下70b是很慢
感谢大佬!
感谢分享!
感谢大佬分享
谢谢分享
cherry-studio都是需要url和key的,好像
官网免费注册申请的
这个意思是,用他提供的url,和我申请的key,就可以用这个deepseek70b的Ollama,我刚入门,这个key和url不应该是一个地方提供的吗
佬先去看看groq的官网说明,现在翻译软件这么多了读个大差不差应该没什么压力。你想想硅基、openai是不是也有一个官方的api,然后你去开账号申请个key,那groq的套路是一样的啊
我再看看先
佬们,这要咋用