MNBVC-Wiki

需要把 里屋论坛 的数据转化为jsonl的格式存入mnbvc数据集中。

在里屋数据库导出的帖子中，发现存在\u200e以及\u200f这种unicode乱码(或许可以识别，但是我的vscode报红)，在里屋论坛上找到原始帖子的html源码，发现该地存在‎以及\rlm;这样的html转义字符。

python做一个简单的测试： import html print(html.unescape('‎'))

输出为\u000e，发现是因为html的特殊转义字符无法识别编码。 所以过滤掉所有\u200e以及\u200f字符