请注意有些k带有空 南非电话号码 格前缀。 词汇概览词汇表专门用于英语以至于它有个专用于“的k！遗憾的是其他语言在这个K大小的词汇表中没有获得应有的k份额。这至少表明英语对于模型来说是多么占主导地位。 的,个k词汇表中有个k代表 写作效率 ! 提示效率 对语言的编码凸显在了在k的使用效率上。例如中文字符“猫由个k十六进制值表示而英语单词“则仅需个k表示。 字符如何分解为字节并转换为 k这种标记化差异强调了中写入效率和提示效率之间的重要区别。 当面临k限制例如 --的 ,个k上限时英语成为比中文或韩语更有效的提示语言。各种语言“猫的k效率比较 英语 猫 个k 中文猫 个k 韩语고양이猫 个k 在向表达“猫这个狭义的例子里英语的效率是中文的倍是韩语的 倍。
在的-编码中字符通常为到个字节而世界上大多数语言字符占用到个字节。因此非英语语言的标记长度往往平均每个单词有到个k与英语相比提示效率较低。 考虑到的扩展上下文长度最多支持,个k语言效率的差异会变得更加明显。 k个k大概是多少个单词下面是个平均值 英语约 , 个单词 简体中文约,个字符 韩语约 , 个字符 英语在提示词效率方面是中文的倍韩语的倍综上所述英语是最高效的提示语言其提示效率是K中日韩语言的约倍。 两个其他语言的例子克林贡语(K)和爪哇语()大语言模型对个语种的支持取决于该语种是否被包含在标准字符编码系统 中。