想出来一个LLM 文本一致性测试题,快来试试吧

LLM很难重复这么长的吧
好奇 写100个连续的A上去,他能数得过来吗

感觉设置低温度会显著增强?直接给gemini开0试试嘞?

1 个赞

如果把base64这个,改成随机的ABCD选项,他还能重复出来吗,我记得论坛里以前有人测试过,非思考模型基本上都不行,当时gpt-5还没出

1 个赞


试过多次后最好的结果,mimo-v2-flash-thinking

1 个赞


qwen/qwen3-next-80b-a3b-instruct一次的结果


qwen/qwen3-coder-480b-a35b-instruct 一次的结果


bytedance/seed-oss-36b-instruct 一次过

感觉墨子佬可以专测思考模型了,因为这个考验对是不丢东西,我感觉考验思考模型就是如何不丢东西

智谱glm-4.7

1 个赞

这个要申请吗

今天下午智谱飞书群发了邀请问卷,不过已经结束了,就200名额 :joy:

更正一下,我昨天测的是内测版本的glm-4.7-coding-preview,那个效果好。今天正式推出的glm4.7降智明显,第三个极难做错了

第一天就降智,从此变成智谱黑

刚需去试试的