【无用功】不科学不严谨的 AI 翻译手动对比

原文取自 James R. Doty MD 的《Into the Magic Shop》一书的作者自序。国内引进为《走进魔法店》,译者皛琳。

具体测试步骤是:

  1. 在不同平台中以对话方式对全文进行「翻译为中文」操作,未添加额外提示词。
  2. 在原文中取了三个位置,基于个人阅读习惯制定了简单标准。
  3. 手动对比并重新排序(也想问问这种东西有没有更简便的方法 :tieba_087::tieba_087::tieba_087:
日期 平台 模型 魔术贴>尼龙搭扣>维可牢>Velcro>其他/源头>来源>其他/扯开>撕开>撕裂>其他 勇士>冠军>其他/伙计>伙伴>其他 骤停>停搏>停跳>停止>其他
2017-02-14 Into the Magic Shop James R. Doty MD(作者) like a large piece of Velcro tearing away from its source Champ/Buddy He’s in full arrest!
2019-01-01 走进魔法店 皛琳(译者) 很像尼龙搭扣撕开的声音 冠军/伙计 他的心跳停了!
2024-10-20 SiliconCloud deepseek-ai/DeepSeek-V2.5 就像一大块魔术贴从其源头撕开一样 冠军/伙伴 他心脏骤停了!
2024-10-20 SiliconCloud deepseek-ai/DeepSeek-Coder-V2-Instruct 就像一大块魔术贴从其源头撕开一样 冠军/伙伴 他心脏骤停了!
2024-10-20 ChatGPT GPT-4o 像是一大块魔术贴从它的来源处撕开的声音 勇士/伙伴 他心脏骤停了!
2024-10-20 SiliconCloud Qwen/Qwen2-57B-A14B-Instruct 就像大块的尼龙搭扣被扯开一样 冠军/伙伴 他心跳停止了!
2024-10-20 SiliconCloud Qwen/Qwen2-VL-72B-Instruct 就像一大块尼龙搭扣从源头撕开一样 冠军/伙伴 他心脏骤停了!
2024-10-20 腾讯元宝 元宝 就像一块大块的魔术贴从其源头撕裂开来的声音 冠军/伙伴 他心脏停跳了!
2024-10-20 智谱清言 ChatGLM 就像一大块魔术贴从源头撕开 冠军/伙伴 他的心脏停跳了!
2024-10-20 SiliconCloud deepseek-ai/DeepSeek-V2-Chat 就像一大块魔术贴从其源头被撕开一样 冠军/伙伴 他完全停止了!
2024-10-20 DeepSeek DeepSeek-V2.5 就像一大块魔术贴从其源头撕开一样 冠军/伙伴 他完全停止了!
2024-10-20 SiliconCloud Vendor-A/Qwen/Qwen2.5-72B-Instruct 就像一大块魔术贴从其来源处撕开 冠军/伙伴 他完全停止了!
2024-10-20 SiliconCloud Qwen/Qwen2.5-72B-Instruct 就像一大块魔术贴从其来源处撕开的声音 冠军/伙伴 他完全停止了!
2024-10-20 Kimi Kimi 就像一大块维可牢尼龙搭扣从其源头撕裂开来 冠军/伙计 他完全停止了!
2024-10-20 SiliconCloud TeleAI/TeleChat2 就像一大块维可牢被从源头上撕开 小冠军/伙伴 他心跳停了!
2024-10-20 SiliconCloud Qwen/Qwen2.5-14B-Instruct 就像一块大尺寸的维可牢尼龙搭扣从其源头被撕扯下来 小家伙/朋友 他心脏停搏了!
2024-10-20 SiliconCloud Qwen/Qwen2.5-32B-Instruct 就像一块大型维可牢尼龙搭扣从其来源处被撕开的声音 小伙子/伙伴 他心脏停搏了!
2024-10-20 文心一言 文心大模型3.5 就像一大块魔术贴从其源头上撕下 小家伙/伙伴 他心脏停搏了!
2024-10-20 通义千问 通义千问2.5 就像一大块魔术贴从源头撕开时发出的声音一样 冠军/伙伴 他完全停止心跳了!
2024-10-20 VecMul Claude3.5-Sonnet 像一大块魔术贴从源头撕下来的声音 小冠军/小伙子 他完全心跳停止了!
2024-10-20 SiliconCloud Qwen/Qwen2-72B-Instruct 就像一大片维可牢尼龙搭扣从其源头撕开一样 冠军/伙伴 他完全停止了心跳!
2024-10-20 SiliconCloud Vendor-A/Qwen/Qwen2-72B-Instruct 就像一大片维可牢尼龙搭扣从其源头撕开 冠军/伙伴 他心脏完全停搏了!
2024-10-20 SiliconCloud 01-ai/Yi-1.5-34B-Chat-16K 就像一大块Velcro从其源头撕裂开来 冠军/伙伴 他完全停止了!
2024-10-20 零一万物 yi-large 就像一大块魔术贴从其来源处被撕开一样 冠军/伙伴 他已经完全停止心跳了!
2024-10-20 SiliconCloud Pro/google/gemma-2-9b-it 就像一块大 Velcro 从其来源上撕下来 小伙子/伙伴 他完全停止了心跳!
2024-10-20 豆包 豆包 就像一大块魔术贴从其附着处被扯开一样 小冠军/小伙伴 他的心脏完全停止了!
2024-10-20 SiliconCloud meta-llama/Meta-Llama-3.1-405B-Instruct 就像一块大型的魔术贴从其表面撕开时一样 冠军/伙伴 他已经完全心脏骤停!
2024-10-20 SiliconCloud OpenGVLab/InternVL2-Llama3-76B 就像撕裂大块的尼龙粘扣 冠军/伙伴 他处于全身心脏骤停!
2024-10-20 SiliconCloud OpenGVLab/InternVL2-26B 就像一块大号的魔术贴被从其源头撕开 小家伙/小兄弟 他正处于完全心搏骤停!
2024-10-21 cxm.us.kg gemini-1.5-pro 就像一大块魔术贴从它的附着物上撕开 宝贝/小家伙 他心跳骤停了!
2024-10-20 零一万物 yi-lightning 就像一大块魔术贴从它的附着面上被撕开一样 冠军/伙伴 他完全停顿了!
2024-10-20 SiliconCloud nvidia/Llama-3.1-Nemotron-70B-Instruct 就像一大块Velcro从其固定点上撕裂下来一样 勇士/朋友 他全身心地停摆了!
2024-10-20 SiliconCloud Pro/internlm/internlm2_5-7b-chat 就像一大块魔术贴从它的源头被撕下 Champ/Buddy 他心脏骤停了!
2024-10-20 SiliconCloud Pro/OpenGVLab/InternVL2-8B 就像一块巨大的尼龙搭扣从它的来源处撕裂开来 Champ/Buddy 他心脏骤停了!
2024-10-20 SiliconCloud Pro/THUDM/glm-4-9b-chat 就像一块大的Velcro从其源头被撕开 冠军/buddy 他处于完全停搏状态!
2024-10-20 SiliconCloud meta-llama/Meta-Llama-3-70B-Instruct 像大块的Velcro从来源处撕裂开来 Champ/Buddy 他已经心脏停搏!
2024-10-20 SiliconCloud Pro/01-ai/Yi-1.5-6B-Chat 就像一块巨大的橡皮贴从其来源处被撕下一样 Champ/Buddy 他已经完全停止了!
2024-10-20 SiliconCloud Pro/Qwen/Qwen2-VL-7B-Instruct 就像一大块Velcro从源头上撕下来一样 冠军/巴迪 他完全停止了呼吸!
2024-10-20 SiliconCloud Pro/THUDM/chatglm3-6b 就像一大块Velcro从源头撕扯开 Champ/Buddy 他处于完全休克状态!
2024-10-20 SiliconCloud meta-llama/Meta-Llama-3.1-70B-Instruct 好像是大块的Velcro从其来源上撕裂下来一样 Champ/Buddy 他正在全身抽搐!
2024-10-20 SiliconCloud Pro/meta-llama/Meta-Llama-3-8B-Instruct 像是一大块 Velcro从源头上被撕下一样 Champ/Buddy He’s in full arrest!
2024-10-20 SiliconCloud internlm/internlm2_5-20b-chat 就像一块大的魔术贴从其源头撕下一样 他心搏停止了!
2024-10-20 SiliconCloud Pro/Qwen/Qwen2.5-7B-Instruct 就像一块大型维可牢尼龙搭扣从源头剥离时发出的声音 他心脏停搏了!
2024-10-20 SiliconCloud google/gemma-2-27b-it 就像一块巨大的魔术贴从它的来源上撕下来一样 他完全心跳停止了!
2024-10-20 SiliconCloud Qwen/Qwen2.5-72B-Instruct-128K 就像一大块魔术贴从其源头撕开的声音 他完全停止了!
2024-10-20 SiliconCloud Pro/Qwen/Qwen2-7B-Instruct 会发出类似大块魔术贴撕裂的声音 他全心全意地停止了呼吸!
2024-10-20 SiliconCloud Pro/01-ai/Yi-1.5-9B-Chat-16K 就像一大塊Velcro從其來源撕下 勇士/朋友
2024-10-20 SiliconCloud Pro/meta-llama/Meta-Llama-3.1-8B-Instruct 听起来像是一大块Velcro从它的源头上撕裂开来 孩子/好朋友
2024-10-20 SiliconCloud Pro/Qwen/Qwen2-1.5B-Instruct
1 个赞

基于上述测试,我配置了沉浸式翻译中的 SiliconCloud 翻译服务为 deepseek-ai/DeepSeek-V2.5——当前的价格是 ¥1.33/1M Tokens—— AFF 而通过我的邀请注册,你我都可以得到 ¥14 的配额,相当于超过 1000 万 DeepSeek-V2.5 Tokens,可以用好久好久好久!:beers::beers::beers:

前排围观支持一下

1 个赞

貌似没有人评测翻译水平

1 个赞

这个挺好,测翻译

1 个赞

https://livebench.ai/ 榜的 Language Average 列(往右拉)好像还比较靠谱,不过是 8 月底的资料,有些模型不在榜上面


非人工机翻评测好像可以用古老的 bm25 及 bertscore 等等

1 个赞

这个厉害了!好多没见过的! :tieba_087: :tieba_087: :tieba_087: