本地的大模型 怎么调用tools calling？

开发调优
1

小白求学，小模型。

同样的代码：
换成api调用的就行，本地用LLM跑的deepseek 不行，是为什么呀？
是不是需要额外的安装，还是模型不够大？笔记本跑的，4G显卡吃满了 :joy:

completion = client.chat.completions.create(
    #base_url="https://api.deepseek.com/beta/v1",
    # model="deepseek-chat",
    
    # base_url="http://localhost:1234/v1"
    model="TheBloke/deepseek-llm-7B-chat-GGUF",
    messages=messages,
    tools=tools,
)
2

本地只能自己实现

1 个赞
3

你API调用的模型和你选的模型都不是同一个，要等官方开源0724的版本才好支持，但是api的版本是236B的，不算小模型了

1 个赞
4

官方开源的模型应该还不支持 tools calling. API 的tools calling 7月底才支持，估计还要等一段时间吧

1 个赞
5

谢谢各位大佬的回复，看起来要等待tools calling的模型才行 :joy:
昨天看到prompt格式化输出的。
是不是可以用prompt来格式化返回“函数”和”调用的参数“，然后来做本地调用。
还没尝试,有高手是这样弄的吗？