第一步:从龙骑兵和N_G处获取 repos_list.txt 文件和你自己系统对应的爬虫工具;
第二步:
repos_list.txt 文件和爬虫工具一起放到里面;repos_list.txt 文件放到和 run.py 脚本相同目录。第三步:
run.exe 文件即可运行;./run。(可能会需要输入电脑密码)pip install -r requirements.txt 命令来安装依赖,再执行 python run.py 来启动脚本。其他:
output 文件夹,里面用来保存最终要提交的内容;ALL DONE AT + 时间 的字样,这种情况可尝试再运行几次第三步,会重新扫描并下载之前有问题的部分;output 文件夹大小为 20G 左右,且不再有增长时,可视为爬虫完全结束。
提交:将整个 output 文件夹压缩成 zip 文件,并设置解压密码为 253874,压缩完成后提交即可。