踩坑记录:20230727里屋论坛数据存在乱码
差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 后一修订版 | 前一修订版 | ||
| 踩坑记录:20230727里屋论坛数据存在乱码 [2023/07/27 14:56] – 创建 MNBVC项目组 | 踩坑记录:20230727里屋论坛数据存在乱码 [2025/06/02 15:35] (当前版本) – 外部编辑 127.0.0.1 | ||
|---|---|---|---|
| 行 1: | 行 1: | ||
| ==== 里屋论坛数据存在乱码==== | ==== 里屋论坛数据存在乱码==== | ||
| === 背景 === | === 背景 === | ||
| - | 需要把里屋论坛的数据转化为jsonl的格式存入mnbvc数据集中。 | + | 需要把[[liwu:liwu | 里屋论坛]] 的数据转化为jsonl的格式存入mnbvc数据集中。 |
| === 经过 === | === 经过 === | ||
| 在里屋数据库导出的帖子中，发现存在\u200e以及\u200f这种unicode乱码(或许可以识别，但是我的vscode报红)，在里屋论坛上找到原始帖子的html源码，发现该地存在& | 在里屋数据库导出的帖子中，发现存在\u200e以及\u200f这种unicode乱码(或许可以识别，但是我的vscode报红)，在里屋论坛上找到原始帖子的html源码，发现该地存在& | ||
踩坑记录/20230727里屋论坛数据存在乱码.1690441013.txt.gz · 最后更改: (外部编辑)