MNBVC-Wiki

对原始语料进行直接修改处理，例如转码成utf8、脱敏手机号、删除版权广告等信息。 本小组和数据清洗小组的区别是，本小组会直接修改语料，数据清洗小组只打标签，不直接修改语料。

当前只列出急需解决的任务

1. 列举所有编码名称集合和MNBVC需要检测和转换的编码名称集合
2. 设计并讨论新的编码检测机制
   1. 重构常规编码检测机制
   2. 建立PPL小模型用于编码检测

1. 将所有unicode控制符加入筛选判断
2. 添加基于Python CP936的支持
3. 添加给予Python CP950的支持
4. 添加基于Python CP960的支持
5. 处理文本中故意加入干扰混淆的数据

编码检测和转换工具：https://github.com/alanshi/charset_mnbvc

版权和广告信息识别样本和工具: https://github.com/alanshi/chaos_dataset_mnbvc/tree/master/adcleaner

Github Codespaces使用教程说明

1. GBK 欧元符号的兼容性问题
2. GBK 乱码合集
3. BIG5 兼容性问题
4. 短文本无法正确检测编码的问题
5. windows-936-2000编码问题
6. 锟斤拷的问题
7. GBK和UTF8互转出现的问题
8. 单个字节丢失导致的GBK转换编码出错的研究
9. Linux环境下file命令的magic文件的内容解析

1. UTF8,UTF16,UTF32的区别
2. UTF8字符集范围
3. UNICODE控制符范围
4. CJK中日韩越共用汉字
5. 中文标点符号字符集范围
6. CJK符号范围
7. ASCII字符范围

1. icu
2. CJK中文需求