唉……也是又一次在改写完草稿前把文章发出来了……不过既然如此,干脆就写完好了。
之前不是答应各位佬友要把Infinite Search搬到Lobe Chat上吗?我一看Lobe Chat现在还是很卡,并且Web版还特别过分地把自定义API设为了付费功能。
更正:
他们把README里的官网换成了商业版,GitHub仓库的About面板里那个链接还是能正常使用自定义API的社区版。
因此,我决定使用Open WebUI。
可以说这是一个 高度自由、美观、性能优化良好 的WebUI,你可以通过它的“函数”功能自行实现一些你需要的东西。也可以使用非常自由的工具调用功能——一个工具里可以有很多个链接、参数,甚至可以自定义处理格式和文本、向上下文中添加信息等等……
虽然部署经历了一些挫折(被大忽悠Gemini 1.5 Pro 0801坑了好多次),但总归还是成功了。因为系统提示和工具的一部分内容由Claude 3.5 Sonnet和GPT-4o生成,所以我放在了下方的WPS智能云文档里,大家也可以自己初步试一下,部署的话非常简单,跟着文档走就行!不过这个版本暂时还没有实现全部的目标功能,原因在下文讲。
Infinite Search For Open WebUI
问题来了,当前Open WebUI的函数调用似乎并不是按照OpenAI的那种来的,导致以下几点问题:
- 模型会因为添加上下文的位置不对、对系统提示关注度不够高导致不遵循输出(不按格式添加引用来源)。
- 一次回复中模型只能进行一次函数调用,模型不能自行在查看搜索结果后选择它觉得有价值的文章点进去看全文。
- 完成一次函数调用后,模型的上下文会变得混乱,导致经常无法遵循指令。
综合以上原因,Infinite Search For Open WebUI虽然在很大程度上已经超越OpenAI那个基于限制繁多的GPTs Action的GPT了,但暂时还无法实现理想中的效果:
一个依靠API里100%实力的,可以相对自由,甚至因为私有化部署可以尝试使用Cookies和代理访问各个网站以实现 完全自由访问信息 的Agent。
不过别担心!我在GitHub上提出相关issue后,社区与官方迅速回应,并将其纳入计划,目前已经有一个大佬开工了!相信我们很快就可以用上完美的Infinite Search了!
有进一步进展以后我也会第一时间通知各位佬友!
114 个赞
加油加油~我挺喜欢openwebui的,希望越来越强大
2 个赞
就是很大,镜像就超过一个G了,毕竟有用户管理和数据保存,不像nextchat那种纯前端
1 个赞
lobechat本地部署的话没觉得很卡,现在付费的是lobechat cloud,chat-preview里还是可以添加api的,不过不知道啥时候就废了。
lobechat的问题是啥rag功能也没有,纯粹当个chat工具算了,好处是导出聊天记录很方便。
ragflow跟dify里都有很好用的search workflow,部署也不难。这是ragflow的。
7 个赞
本身带了数据库,还有一个很小的embedding模型,这些都非常占用资源的呀
waffie
15
@Cook_Sleep
没搞懂怎么导入tools?我看官方的要json啊
启动WebUI后在“工作空间”中选择“工具”,新建一个,然后粘贴进去
2 个赞
目前效果有限,因为官方和社区还在制作更好的函数调用方式,不过应该不会超过一个月
2171
(唐三藏)
19
现在openwebui还卡顿吗,我是说打开要加载很久那样
1 个赞