====== 一、项目开展情况 ====== 截至2024年末,MNBVC代码语料组共在8个大型泛代码类平台上成功开展25项分布式爬虫工作、代码语料的提取、打包系列任务和教科书中代码数据识别任务。 其中平台包括GitHub、Google Source、BitBucket、Notabug、Savannah、sr.ht等共6个代码托管平台和Stack Overflow、LeetCode这2个代码相关平台,此外SourceForge经组员前期调研未成功放弃爬虫获取。 爬虫项目包括了在8个代码平台的调研工作和元信息/仓库数据/clone地址的获取方面的共19项任务,GitHub上Code、Commit、Issues部分和BitBucket、Savannah等平台的Code Review方面的共5项任务,Google Source的Code部分、Notabug的数据提取方面的共2项任务,以及sr.ht的代码语料提取任务。 总共27.85TB的纯文本数据,包括代码、配置文件等数据。 ====== 二、项目变动情况 ====== GitHub 截至2024年初,GitHub的Code部分已由washing和water完成平台调研,washing完成了元信息获取,water完成了仓库数据获取代码并由washing进行了Code Review,并进展到了数据下载的阶段;棒负责的Commits和Issues尚未开始,清泠负责Commit获取Code Review,zhange则负责Issues获取Code Review。 2024年,棒完成了GitHub的Commits和Issues的爬虫Coding,3月份washing将组长工作交给子轩。 Commit获取于3月份由清泠移交wxid_salb74o1i4jh21,再于6月份移交纳凉nado完成了编写,于9月份进入Code Review阶段由Ashuy负责,随后交由金子yc进行二次Code Review。 Issues的Code Review工作在3月份由zhange移交智,在5月中旬移交给Jacky咏杰并于6月初完成,在9月初交由八大山人打包验证。 BitBucket url地址集:https://github.com/L1aoXingyu/bitbucket_download_mnbvc/releases/tag/v0.1 爬虫代码:https://github.com/zwpride/bitbucket_crawl_mnbvc 截至2024年初,BitBucket项目已经完成的工作如下:廖星宇完成了平台调研和仓库数据获取代码,并由智完成了Code Review,廖星宇和washing完成了仓库数据获取测试。 2024年BitBucket的工作进入了获取仓库Git clone 地址以提取语料的阶段,由whyseu 完成了clone地址获取,washing对此进行了核验并确认url获取完毕,整合的url地址集v0.1上传到了Github,5月中旬至6月,Jacky咏杰和zwpride进行了对BitBucket的clone地址爬虫代码的编写以及分布式改造,并将爬虫代码上传至Github,9月份完成了所有数据爬取工作。 Savannah Savannah的代码还剩下code review的工作,由林夕到王颢,未有进一步反馈随后再转交。 其他爬虫和数据获取情况 专利网爬虫:https://github.com/X-233/wipo_mnbvc chinaxiv全量爬虫代码:https://github.com/flychen59/chinaxivCrawler_mnbvc 在今年6月份,代码语料小组确立了查找新的非开源语料的方向,并在6月中旬前确立了专利网的爬取任务,于6月末分配给Jacky咏杰,随后转交张林,在9月份爬完所有ipc分类目录,修改代码为本地文件读取,目前由金子yc负责Code Review工作。 10月中旬起,Jacky咏杰负责huggingface的Issues数据获取。 ====== 三、项目完成情况 ====== 在8个泛代码平台中,Notabug、Overflow、LeetCode等3个平台的所有爬虫任务工作已完成。而在MNBVC代码语料组的26项爬虫任务中,已完成的有19项,包括前述对于8个平台的调研和基本数据爬取下载;目前还待着手或正在进行中的工作有7项,包括数据提取获取方面的4项任务:GitHub的Code部分的仓库数据获取、Google Source的Code部分的数据提取、BitBucket仓库Git clone 地址下载、sr.ht的代码语料提取,和Code Review方面的3项任务GitHub的Commit获取和Issues获取、Savannah的Code Review。 在非爬虫任务中,代码语料提取、打包工作均已完成,而教科书中代码数据识别已完成了Coding部分,Code Review的工作尚未完成。 项目组人员及贡献情况见:https://wiki.mnbvc.org/doku.php/dmyl#section2024