GPT4o 使用全新的 tokenizer

资源荟萃
, , ,
1

image
image932×786 29.9 KB

https://platform.openai.com/tokenizer

8 Likes
2

是省 token 的意思？

3 Likes
3

是的，专门练了个新的，吞吐量更大，词元数更少，估计是做了压缩了，deepseek也是这个思路

8 Likes
4

应该是

2 Likes
5

和之前啥区别

2 Likes
6

哇，这么好的吗

2 Likes
7

不知道，coming soon

2 Likes
8

那不是更nice了

3 Likes
9

那这些oneapi也得更新吧？
去给oneapi提issue，省点钱:joy:

4 Likes
10

哈哈哈哈哈！！对啊

2 Likes
11

要是用的4-turbo的tiktoken去计费4-o的，就给号商赚到了 :crazy_face:

3 Likes
12

发现商机
官转官转 :laughing:

2 Likes
13

新 tokenizer 中有很多垃圾 o200k_base

2 Likes
14

这个先开源了？

2 Likes
15

看不懂 :joy:
这个有什么优势或劣势吗

2 Likes
16

topic/86477 没有清洗，影响不大。

2 Likes
17

#gpt-4o添加

1 Like
18

哦哦，这样

2 Likes
19

如果新的 tokenizer 切分的词元数少了也许会影响模型的收敛性，如果使用压缩虽然量小了，速度就会慢。需要折中或者找到一种新的方式。

2 Likes
20

不知道有没有色色限制