现在的这些ai联网搜索,感觉太大力出奇迹了,搜索的结果都不判断是否真的和主题相关,有的也不获取搜索结果中的网页内容,只看搜索引擎返回的省流版title和content,比如
受限于上下文,搜索结果一般都不多(deepseek官方的挺多的),从r1的思考过程看,有些和主题不相关的结果都塞进资料了,浪费token并且容易干扰ai
自己试着做了个ai联网搜索,大概的思路是这样的,经济实惠效果还不错,不过缝合的有点太狠了
现在的这些ai联网搜索,感觉太大力出奇迹了,搜索的结果都不判断是否真的和主题相关,有的也不获取搜索结果中的网页内容,只看搜索引擎返回的省流版title和content,比如
自己试着做了个ai联网搜索,大概的思路是这样的,经济实惠效果还不错,不过缝合的有点太狠了
不得不说,谷歌真是大善人,又快给的上下文又大,100token/s的速度
有成品吗?
生产线agent都出来了,佬太有实力了
没,有些复杂,不好封装
蹲一蹲后续
这肯定慢的多, 这种东西难点应该在于快
为什么一开始不能也是Gemini呢
中文感觉一般
没,甚至比大部分厂商都快,速度瓶颈在两个地方,一是llm提取网页内容,这个我做了多线程并发加上gemini输出很快,一般20s内就能完成,另一个就是最后总结了,这个看模型,qwen max快,r1就慢了,中间判断是否相关的延迟都是1s以内
看着流程复杂,实际上一分钟左右就能输出完
蹲一波,期待大佬的产品
蹲一波,先判断一下是否和主题相关还是很有必要的。
一分钟已经很慢了,都是在秒级的 , 比如智谱的 Web-Search-Pro,非流输出基本都是1-3秒之内完事。
我的意思是,试想一下当对话的时候需要等网页搜索一分钟然后才进行流式输出是什么概念,目前没有哪家厂商是等那么久的吧
佬,最近在针对ai联网搜索做seo ,比如网站被deepseek推荐, 能提供些思路吗
这感觉像写好的工作流吧 写死的workflow。 Agent应该是自己判断下一步往哪里走吧。但我感觉这两个有点分不清。
一分钟是整个过程,包括输出,质谱的我没用过,千问要40s左右,元宝,密塔,选r1得一分钟多
不懂啊,ai肯定是调用的搜索引擎api,那首先要让搜索引擎能够推荐你的网页,这和传统的方式一样了
不用考虑输出的过程, 这部分流式输出对于用户来说时间长短无所谓。
只需要考虑搜索过程耗时就好,假设需要20s, 对比下其他厂商是否有优势呢?
除了智谱的也可以看看博查 (成本 0.036/次),当然秘塔、元宝之类的都可以,只看检索过程不会超过5秒。
当然,我最终的意思是这种方式行得通,但不是最优解,也许可以找找更好的解决方案,因为我在考虑本身加载20秒,或十几秒的等待时长,这种体验不够好(自用除外随意)。
我再想,能否直接找到快照页面的数据,这会不会快速很多
最终,只是想探讨下为何这些厂商能做到这么快。
联网搜索得分两种方案,一是直接使用搜索引擎给的结果,这个很快,不到1s,当时效果肯定是最差的,信息太少了,另一个就是接着访问结果中的网页url,搜集具体的网页信息,我知道密塔,deepseek官方都是这种情况的,千问好像是方案1,我套他的网页资料发现资料很少,不知道是不是他骗我,关于网页内容提取,我看了cherry知识库的添加网页内容的代码,是使用一个库embedjs-loader-web,大概逻辑就是移除js,css,然后用正则提取各个节点的内容
我用的firecrawl,这个优势在于能够获取动态加载的网页,速度不慢,一般都是2s内,获取网页内容的逻辑应该和embedjs-loader-web一样。
单纯用正则的话,获取的结果信息密度低,而且随便一个网页就是5000字符,大模型看不了几个网页就爆上下文了。gemini2flash上下文超长,速度还快,用它对初步获取的内容进行一遍提取,提纯有效内容,能降低30-50%,但是缺点就是耗时了。
如果把用gemini提纯内容的步骤去掉,和其他厂商应该是一样的了,速度也差不多其实
总结一下我这个方案的特点
1.先用大模型判断搜索引擎中的相关网页,这个肯定是很好的办法,耗时不到1s,还能提高质量
2.再用大模型提纯网页内容,优点是质量高,能给最后总结的模型输入更多的有效信息,缺点就是慢
有一说一,这种方法确实耗时,只能自用,或者做成plus版,耗时但是质量高,
蹲个后续