将图文结合的网页、PDF、WORD文档等转换成多模态语料。
新人文档：https://v61g3vcxy7.feishu.cn/wiki/G0OAwqhA2iNYGrkFOPUc2CpvnIh?from=from_copylink
小组组内wiki (飞书)：https://v61g3vcxy7.feishu.cn/wiki/H8D1wqyIXim3wcktxgqc0IIlnAf
1. 对纯中英文的PDF进行抽取，形成纯文本数据集
2. 对论文抽取成多模态数据集
3. 对复杂的PDF进行抽取
4. 更多多模态数据（文本，音频，视频等）
扫描PDF文件夹然后对其进行采样：https://github.com/wanng-ide/scan_copy_pdfs_mnbvc
PDF语言分类器：https://github.com/Lu-Tan/pdf_CN_EN_filter_mnbvc
Chinaxiv抓取：https://github.com/wyzhangyuhan/chinaxivCrawler_mnbvc
Arxiv抓取：https://github.com/wanng-ide/arxivSpider_mnbvc
Arxiv Tex抽取：https://github.com/wanng-ide/arxiv_tex_mnbvc
PDF元数据的lda分类：https://github.com/FantasticCode2019/pdf_lda_mnbvc
PDF工具：https://github.com/akira-l/pdf-tools
PDF 元信息提取：https://github.com/MIracleyin/pdf_meta_data_mnbvc
PDF 大小分类器：https://github.com/MIracleyin/pdf_size_mnbvc
mutilmodal doc processing 框架：https://github.com/MIracleyin/mmdp_mnbvc