第一步:从龙骑兵
和N_G
处获取 repos_list.txt
文件和你自己系统对应的爬虫工具
;
第二步:
repos_list.txt
文件和爬虫工具一起放到里面;repos_list.txt
文件放到和 run.py
脚本相同目录。第三步:
run.exe
文件即可运行;./run
。(可能会需要输入电脑密码)pip install -r requirements.txt
命令来安装依赖,再执行 python run.py
来启动脚本。其他:
output
文件夹,里面用来保存最终要提交的内容;ALL DONE AT + 时间
的字样,这种情况可尝试再运行几次第三步,会重新扫描并下载之前有问题的部分;output
文件夹大小为 20G 左右,且不再有增长时,可视为爬虫完全结束。
提交:将整个 output
文件夹压缩成 zip
文件,并设置解压密码为 253874
,压缩完成后提交即可。