用户工具

站点工具


information:chatgptdata

看openai公布的GPT-3训练数据集的语言占比,中文语料只占总训练量的|0.1%

下面是详细数据1)

lang 语言名 训练集 占比
en 英语 181014683608 92.65%
fr 法语 3553061536 1.82%
de 德语 2870869396 1.47%
es 西班牙语 1510070974 0.77%
it 意大利语 1187784217 0.61%
pt 葡萄牙语 1025413869 0.52%
nl 荷兰语 669055061 0.34%
ru 俄语 368157074 0.19%
ro 罗马尼亚语 308182352 0.16%
pl 波兰语 303812362 0.16%
fi 芬兰语 221644679 0.11%
da 丹麦语 221551540 0.11%
sv 瑞典语 220920577 0.11%
ja 日语 217047918 0.11%
no 挪威语 212193299 0.11%
zh 中文 193517396 0.10%
cs 捷克语 139918438 0.07%
hu 匈牙利语 127224375 0.07%
id 印度尼西亚语 116930321 0.06%
tr 土耳其语 116141938 0.06%
hr 克罗地亚语 101613675 0.05%
vi 越南语 83077650 0.04%
el 希腊语 61607673 0.03%
ar 阿拉伯语 60839973 0.03%
sr 塞尔维亚语 52875283 0.03%
zh-Hant 繁体中文 38583893 0.02%
ca 加泰罗尼亚语 35126650 0.02%
ko 韩语 33147663 0.02%
sk 斯洛伐克语 27957963 0.01%
th 泰语 26806557 0.01%
sl 斯洛文尼亚语 26037337 0.01%
et 爱沙尼亚语 20718080 0.01%
fa 波斯语 16731301 0.01%
iw 希伯来语 15027640 0.01%
uk 乌克兰语 14905898 0.01%
ms 马来语 13389340 0.01%
lv 拉脱维亚语 13290098 0.01%
bs 波斯尼亚语 13160941 0.01%
lt 立陶宛语 12921255 0.01%
is 冰岛语 12792837 0.01%
hi 印地语 9434632 0.00%
sq 阿尔巴尼亚语 9253803 0.00%
tl 菲律宾语 8650331 0.00%
gl 加利西亚语 6947527 0.00%
jw 爪哇语 6604056 0.00%
bg 保加利亚语 5919807 0.00%
af 南非荷兰语 5461216 0.00%
ta 泰米尔语 5163171 0.00%
mr 马拉地语 3660217 0.00%
cy 威尔士语 3459671 0.00%
ml 马拉雅拉姆语 3227746 0.00%
bn 孟加拉语 3003033 0.00%
ga 爱尔兰语 2878943 0.00%
az 阿塞拜疆语 2496202 0.00%
kn 卡纳达语 1913389 0.00%
my 缅甸语 1853421 0.00%
te 泰卢固语 1638366 0.00%
uz 乌兹别克语 1458861 0.00%
rw 卢旺达语 1430208 0.00%
ceb 宿务语 1329456 0.00%
ne 尼泊尔 1120450 0.00%
ku 库尔德语 1091032 0.00%
eu 巴斯克语 1048905 0.00%
km 高棉语 1041164 0.00%
ka 格鲁吉亚语 924256 0.00%
gd 苏格兰盖尔语 841970 0.00%
hy 亚美尼亚语 840171 0.00%
mt 马耳他语 748610 0.00%
si 僧伽罗语 708343 0.00%
pa 旁遮普语 703086 0.00%
ur 乌尔都语 689768 0.00%
kk 哈萨克语 670231 0.00%
sw 斯瓦希里语 585858 0.00%
st 塞索托语 538257 0.00%
be 白俄罗斯语 533405 0.00%
mk 马其顿语 529413 0.00%
mg 马拉加斯语 507043 0.00%
gu 古吉拉特语 494798 0.00%
lo 老挝语 449476 0.00%
ht 海地克里奥尔语 430911 0.00%
lg 卢干达语 261217 0.00%
yi 意第绪语 227609 0.00%
tg 塔吉克语 210167 0.00%
su 巽他语 208819 0.00%
hmn 苗语 175972 0.00%
ny 齐切瓦语 161994 0.00%
or 奥里亚语 131688 0.00%
dv 迪维希语 112819 0.00%
ky 吉尔吉斯语 91289 0.00%
bh 比哈尔语 48094 0.00%
xx-Goth 切罗基语 48025 0.00%
xx-Runr 因纽特语 37558 0.00%
iu 叙利亚语 31142 0.00%
syr 蒙古语 21482 0.00%
mn 哥特文 7779 0.00%
xx-Phnx 古北欧文 4343 0.00%
xx-Qaai 腓尼基文 4185 0.00%
xx-Egyp 古南阿拉伯文 3395 0.00%
xx-Nkoo 古埃及文 3338 0.00%
xx-Tfng 楚瓦文 3277 0.00%
xx-Cakm 茅艾文 2608 0.00%
xx-Yiii 查格特文 2357 0.00%
chr 彝文 2315 0.00%
xx-Phag 八思巴文 1750 0.00%
xx-Tavt 傣泰文 1622 0.00%
xx-Dsrt 沙漠文 1504 0.00%
xx-Java 爪哇-巽他文 1448 0.00%
xx-Sund 修南文 780 0.00%
xx-Copt 科普特文 707 0.00%
xx-Glag 格拉哥里文 673 0.00%
xx-Olck 欧鲁奇利文 573 0.00%
xx-Shaw 萧伯纳式文码 542 0.00%
xx-Samr 撒玛利亚文 313 0.00%
xx-Avst 阿维斯陀语 213 0.00%
xx-Bopo 注音符号 188 0.00%
xx-Linb 线性文字B 156 0.00%
xx-Ogam 欧甘文 84 0.00%
xx-Cham 占城文 49 0.00%
information/chatgptdata.txt · 最后更改: 2023/08/20 19:59 由 Linglingfa