MNBVC-Wiki

将图文结合的网页、PDF、WORD文档等转换成多模态语料。

1. 对纯中英文的PDF进行抽取，形成纯文本数据集

2. 对论文抽取成多模态数据集

3. 对复杂的PDF进行抽取

扫描PDF文件夹然后对其进行采样：https://github.com/wanng-ide/scan_copy_pdfs_mnbvc

PDF分类器：https://github.com/Lu-Tan/pdf_CN_EN_filter_mnbvc

Arxiv抓取：https://github.com/wanng-ide/arxivSpider_mnbvc

项目主页：https://mnbvc.253874.net/ 或发邮件：MNBVC@253874.net