qwen3怕不是不敢出了，都多久了，多半是能力不行，估计还在加强训练
4 Likes
然而最近最大的一次模型作弊就是开源模型搞的，模型好不好用大伙都知道，现在顶级的闭源模型哪个不强？大伙又不是傻子，难道感觉不出来？
3 Likes
“不一定”“可能”，你这话的不确定性未免太高，存在拉胯的大参数模型≠大就不好
llama4拉胯不代表其他模型就拉胯，r1跟新v3同样是开源大模型，效果难道不好吗，大参数做不好，说到底就是菜，本身就没那个能力整出来效果好的模型。
qwen现在最大的问题之一就是泛化拉胯至极，因为参数太小，牵连的问题一堆，联网也解决不了数据量小的问题，还搞得思维链又臭又长。
到底是创新还是走错了路线，看他们迟迟拿不出qwen3就知道问题所在。
2 Likes
我说的作弊的含义你没理解，开源模型是裸模，闭源模型是服务，闭源在使用的时候，通过检索或知识库往上下文塞东西等大量技巧来赢开源模型。开源模型是拿着一支笔的考生，闭源模型是拿着联网笔记本电脑的开卷考生。
1 Like
怕开放了大家失望。
你是想说模型联网还是什么，模型的能力跟检索或者知识库有什么关系？不管是开源还是闭源都能联网链接知识库，但这些跟模型能力没一点关系啊，本质上就是外置数据库，往上下文塞大量东西又是什么意思？官方预置提示词？这玩意开源模型也有啊。按你这么定义裸模，那接入各家api，或者ai studio里的模型也能叫做“裸模”了。但这些跟是不是开源有啥关系，本身就是各种模型都有的可选项
2 Likes
我猜他的意思应该是, 你调闭源模型api, 能得到的只有最终的输出, 中间经过了什么环节是完全不清楚的, 极端的来说如果这个问题是个阿三程序员手工打的也没法分辨, 所以你得到未必是模型本身的能力, 可能还有中间的各种agent/私有知识库/联网搜索等的加持. 而开源模型你能确保它的输入输出是直接连接模型本身的
qwen3估计是效果不好，小模型还是moe太吃亏了，也没什么技术突破。
那他不就是对现在的大语言模型完全没有认知吗，联网不联网，知识库什么的，这些本身就能选择，有点莫名其妙
接下来如果卷多模态就是符合预期，再搞出啥特别不一样的估计短时间也难啊
你还是没理解…简单说如果你在测试一个开源模型A和一个闭源模型B, 你的测试集是一堆医学问题. 测试A的框架是你自己搭的, 你能确保你的测试问题是直接给到模型A, 然后也是直接拿A的回答去测试集里打分. 但是你测试B的时候只能调B公司提供的api, 假如B公司的api后面有一个检测到医学相关名字就自动连接上一个医学知识库的流程, 那么你得到的B的回答就不止是模型B本身的能力, 还有加上医学知识库的能力, 但如果B公司不公开这个流程作为外部调用者你就没法知道. 然后结果你发现B的得分比A高, 这就未必是B模型本身比A好. 所以他之前才说
我说的作弊的含义你没理解，开源模型是裸模，闭源模型是服务，闭源在使用的时候，通过检索或知识库往上下文塞东西等大量技巧来赢开源模型。开源模型是拿着一支笔的考生，闭源模型是拿着联网笔记本电脑的开卷考生。
2 Likes
这个逻辑不成立啊，现在的测试题跟这些外部知识库压根就关联不大，测定的是模型的基础能力，数学能力测试题目都最新的，这种哪来的题库，自造创新编码怎么写？文笔，执行度，这些只跟模型本身能力挂钩，你说的这种根本就不属于现在的模型测试
4 Likes
我相信用api调用flash2.0 、4o那种快速而平庸的模型应该是裸模啦，但是调用pro2.5 api 那种反映巨慢无比，我相信除了思考之外也会有些其它的东西，比如利用谷歌巨大的知识图谱数据库检索一下，放入上下文里，增强效果，以达到所有榜单第一名，最终目标提高谷歌市值
2.5pro调用api反应慢是因为思维过程不展示，实际上调用相同问题思考时间跟ai studio上相差无几，这些我早就测试过了，而且最近调用api反而会降智，ai studio里展示思维过程的反而不降智，跟你说的不透明化完全相反
至于你说的这个靠什么知识图谱打入所有榜单第一名，这个我都懒得吐槽了
毕竟闭源api是在家里考试，上不上网作不作弊纯靠自己，开源模型是到考场拿着一支笔考试，想临时查资料作弊也是没有可能。
测试题也是可能在网络上查到的，要不怎么有llama 4训练的时候针对题库微调的丑闻
qwen3跳票啦 
所以根本原因在你不知道目前模型测试跟连不联网，接不接知识库压根就没什么关系，才让你觉得外接知识库对模型得分有影响
测试题也是可能在网络上查到的，要不怎么有llama 4训练的时候针对题库微调的丑闻
1 Like
那你觉得llama4是开源模型还是闭源模型，根本在于他们上传的那个模型压根就不是llama4，在其他测试榜单上的分完全就不符合，所以刚出来没多久暴死，一个榜单的错误≠所有榜单都能作弊
1 Like
其实测试包括纯逻辑的测试和结合知识的测试，加起来算总分，结合知识的部分和知识库没有关系吗？
1 Like