感觉是训练数据覆盖的问题而已，你拿这么一个单例来测试 没啥意义吧（）好歹也测试个十来个概念啥的
12 个赞
感觉可能只是tool的调用的问题？
这也不能说gemini flash本身强于Claude opus，感觉
如果测试的时候没有给联网搜索权限的话，甚至可能仅仅是训练数据的问题
你要这么测的话，拿个小模型垂直微调下不得封神
15 个赞
理论有一堆，及其垂直分布各大领域的问题。
市面上不可能存在模型能看到完全答得出来。
目前回答正确率最高的是Gemini 3 Pro，其次是Gemini 3 Flash
4.5 OPUS和2.5 Pro差不多
1 个赞
只要模型知识在2024年10月
理论上覆盖全的话，就应该知道小众知识。
1 个赞
我都不知道这啥意思 
1 个赞
去年9月火遍全网的爷叔
在7月，预测股市上涨
看来小米还挺厉害的。300B就能知道这些知识。
或者说是A社，数据这块不太行？没国内数据？
也许是数据侧重点不一样？
因为今天在和小克聊股市
刚好想到爱着深秋，它不知道，试了一下flash居然知道，感觉很神奇。
1 个赞
你得关闭联网，用API
100％ Grok 4答不出来。
小米，能答出含义，并不知道是个人。
不过说明，小米刚好覆盖了那部分数据集。
1 个赞
你就说按你的逻辑，小米是不是比4.5opus强吧？
只能说opus 比我想象中 要弱很多
甚至非常失望
gemini 3 的simple QA就是很强啊，但也不一定是参数大，那个几千b的GPT-4完全体还很大呢
2 个赞
GPT-4是1.7T，用3年后眼光看，确实挺拉的。（压缩技术算法在进步）
我觉得如果假设3 Pro超过4T，那么3 flash 应该超过1T了。Opus理论应该也是超过1T，但是或许比flash小？