数据收集小组2025年度工作总结

2025年，数据收集小组在组长NG因工作变动暂时缺位的情况下，团队成员主动承担责任，在无正式负责人领导的条件下，依然高效推进了多项核心任务。

通过密切协作与专业执行，团队在数据采集、整理、清洗、分析及资源管理等方面均取得了实质性成果，圆满完成了年度目标任务，并为未来的数据资产建设与应用拓展奠定了坚实基础。

• 系统整理了互联网档案馆（IA）的数据目录，建立了清晰可查的结构化索引。
• 深入调研并分析了中文互联网语料资源平台的分布与整体情况，为未来的数据战略提供参考。

• “老光盘”历史语料清洗项目持续推进，目前已完成至第10–17批次（@门神）。
• 完成“电子软件杂志”类资源的调研与初步收集（@急云）。
• 获取“书格网”约3TB高质量古籍数字化数据，已安全存放于自有服务器（@ttyhtg）。
• 从“广东省立中山图书馆”获取了一批重要图书资源（@急云）。

• 通过批量注册策略，从天涯备份站累计爬取帖子145144条（@武田）。
• 成功从“知轩网”获取藏书7769本（@龙骑兵）。
• 获取约11万份药品说明书（@急云）。
• 成功获取“爱泼斯坦文件”相关数据（@博卡登）。
• 爬取美国之音（VOA）共1428058篇内容。
• 获取金融新闻语料19780857篇，约3.3TB数据量。

• 通过与某大型模型公司匿名合作，获取由600万份PDF文件转换而来的纯文本数据集，该数据为互联网未公开资源，经确认无需与现有语料去重。
• 2025年新增全球专利数据总量达7.91TB，共9793143个文件。

• 对“atimebook”进行内容下载与加密结构技术分析，确认其数据存在加密，目前无法直接使用（@博卡登 @NG @ZKTZ）。
• 主动联系摩托迷论坛版主chyangwa，确认其论坛服务器在海外正常运行，保持了沟通渠道。
• 对“阿斯麦（ASML）泄漏的154个数据库”进行了初步研究分析。

• 推进跨语种多维度语料的采集与清洗。
• 系统化管理超大规模数据集的元数据与索引体系。
• 强化对敏感源的风险审查与数据脱敏机制。
• 探索AI辅助数据抓取、清洗与标注工具的应用。