https://wiki.mnbvc.org/ 2026-04-25T18:43:24+00:00 https://wiki.mnbvc.org/ https://wiki.mnbvc.org/lib/exe/fetch.php/wiki:dokuwiki.svg text/html 2025-06-02T07:35:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230703%E7%99%BE%E5%BA%A6%E7%BD%91%E7%9B%98%E7%9A%84%E5%9D%91?rev=1748849714&do=diff 百度网盘的坑 踩于2023.7.3 背景 以前都是在项目首页README.md文件里放百度网盘下载链接的，现在下载链接越来越多了，想挪个地方。 经过 将百度网盘下载链接挪到baidupan.md文件后，用户访问报404分享文件不存在的错误，但是只要对链接回车就能正常访问，且此问题只在pc浏览器复现，手机浏览器（Android 12，Chrome 88.0.4324.155）没问题。此后又将文件挪到/baidupan/README.md文件中，仍然是同样的问题。… text/html 2025-06-02T07:35:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230724%E8%A7%A3%E5%8E%8B%E6%97%B6zip%E6%96%87%E4%BB%B6%E5%90%8D%E8%BF%87%E9%95%BF?rev=1748849714&do=diff 解压时zip文件名过长 背景 由于网盘下载下来压缩包比较多，一个一个手动解压比较费时，所以等战拜托我写了一个针对目录下所有压缩包的自解压程序。 经过 在运行这个自动解压所有压缩包的时候，等战发现存在某些压缩包，在运行时会出现文件名过长的问题。在谷歌及StackOverflow上查找相关问题，发现由于某些压缩包是在windows或mac系统下打包的，而在linux下，单个文件名以及文件夹名的utf8编码不能超过256的字节长度，完整路径的长度不能超过4096个字节。… text/html 2025-06-02T07:35:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230724%E5%9C%A8windows%E5%92%8Cmac%E4%B8%8B%E6%89%93%E5%8C%85zip%E6%96%87%E4%BB%B6%E5%90%8D%E8%BF%87%E9%95%BF?rev=1748849714&do=diff 解压时zip文件名过长 背景 由于网盘下载下来压缩包比较多，一个一个手动解压比较费时，所以等战拜托我写了一个针对目录下所有压缩包的自解压程序。 经过 在运行这个自动解压所有压缩包的时候，等战发现存在某些压缩包，在运行时会出现文件名过长的问题。在谷歌及StackOverflow上查找相关问题，发现由于某些压缩包是在windows或mac系统下打包的，而在linux下，单个文件名以及文件夹名的utf8编码不能超过256的字节长度，完整路径的长度不能超过4096个字节。… text/html 2025-06-02T07:35:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230724zipfile%E9%87%87%E7%94%A8%E9%BB%98%E8%AE%A4cp437%E5%AF%BC%E8%87%B4%E6%96%87%E4%BB%B6%E5%90%8D%E4%B9%B1%E7%A0%81?rev=1748849714&do=diff zipfile采用默认cp437导致文件名乱码 背景 由于网盘下载下来压缩包比较多，一个一个手动解压比较费时，所以等战拜托我写了一个针对目录下所有压缩包的自解压程序。 经过 在运行这个自动解压所有压缩包的时候，等战发现有一部分压缩包解压出来的是乱码文件名，而内容并非是乱码。 text/html 2025-06-02T07:35:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230726python%E5%A4%9A%E8%BF%9B%E7%A8%8B%E5%8D%A1%E4%B8%BB?rev=1748849715&do=diff python多进程卡住 背景 在数据清洗等环节，有三位同学独立编写的python多进程在生产环境执行时卡住。在研发环境无法复现。 具体卡主的地方可能是： File "/opt/conda/lib/python3.8/multiprocessing/pool.py", line 856, in next self._cond.wait(timeout) File "/opt/conda/lib/python3.8/threading.py", line 302, in wait waiter.acquire() text/html 2025-06-02T07:35:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230727%E9%87%8C%E5%B1%8B%E8%AE%BA%E5%9D%9B%E6%95%B0%E6%8D%AE%E5%AD%98%E5%9C%A8%E4%B9%B1%E7%A0%81?rev=1748849715&do=diff 里屋论坛数据存在乱码 背景 需要把 里屋论坛 的数据转化为jsonl的格式存入mnbvc数据集中。 经过 在里屋数据库导出的帖子中，发现存在\u200e以及\u200f这种unicode乱码(或许可以识别，但是我的vscode报红)，在里屋论坛上找到原始帖子的html源码，发现该地存在&lrm;以及\rlm;这样的html转义字符。 text/html 2025-06-02T07:35:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20230822%E8%A7%A3%E5%8E%8B%E7%BC%A9zip%E6%96%87%E4%BB%B6%E6%8A%A5%E9%94%99?rev=1748849716&do=diff 解压缩zip文件报错 背景 之前做了一个自动解压缩各种类型压缩包的软件，昨天发现有4%的zip压缩包会爆出Bad magic number for central directory的错误。 经过 经过测试，在windows和ubuntu的桌面版解压软件下，可以正常解压，在ubuntu的unzip和我写的代码下，会报错。 text/html 2025-06-02T07:35:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20231003%E7%A1%AC%E7%9B%98%E5%A4%AA%E5%A4%9A%E5%AF%BC%E8%87%B4cpu%E7%83%A7%E6%AF%81?rev=1748849716&do=diff 硬盘太多导致cpu烧毁 踩于2023.10.3 背景 主板：微星MAG B660M MORTAR WIFI D4。 CPU：I5-13600KF盒装 系统：ubuntu 上图主板下方两个sata硬盘接口原本均已插上2块硬盘，右侧四个硬盘接口空缺。 经过 text/html 2025-06-02T07:35:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20231004docker%E7%9A%84jupyter%E6%B2%A1%E6%9C%89sudo%E5%AF%86%E7%A0%81?rev=1748849716&do=diff docker的jupyter没有sudo密码 背景 docker安装jupter notebook的官方镜像，显示用户名是jovyan，但这个用户没有sudo权限且没有root的密码。 经过 网上有大量资料说应该怎么操作，经过比较后，选择了最容易的。 text/html 2025-06-02T07:35:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20240219%E9%9D%9Eutf8%E7%9A%84%E8%B7%AF%E5%BE%84%E5%90%8Dpython%E6%89%93%E5%8D%B0%E6%8A%A5%E9%94%99?rev=1748849716&do=diff python对路径打印的编码处理和操作系统不一致的坑 踩于2024.2.19 背景 在ubuntu下，用tar解压<https://arxiv.org/src/1711.03378> 这个论文的source压缩包（arXiv-1711.03378v1.tar.gz），解压后出现一个俄文的目录，但是在ubuntu下看到是乱码，同时python直接打印会报错 text/html 2025-06-02T07:35:17+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20240901%E7%BE%A4%E6%99%96%E4%B8%8B%E8%BD%BD%E8%BF%9E%E6%8E%A5%E6%95%B0%E9%99%90%E5%88%B6%E5%8F%8A%E7%BC%BA%E4%B9%8Ftracker%E6%9C%8D%E5%8A%A1%E5%99%A8?rev=1748849717&do=diff 背景 群号download station只能支持80个最大同时下载数，且某些磁力链接没有携带Tracker服务器地址 解决办法 ssh登陆群晖机器后，修改下列文件的download_maxtasks_limit选项，改成500，此后就可以在面板上设置最大同时下载数到500. text/html 2025-12-31T05:04:18+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20251124%E8%81%94%E8%B0%83%E5%AE%BD%E5%B8%A6%E4%BC%9A%E8%AF%9D%E6%95%B0%E9%99%90%E5%88%B6?rev=1767157458&do=diff 背景 宽带一旦打开爬虫，整体下载就卡主。 解决办法 找联通宽带人员排查，发现会话数net为2048，怀疑是会话数被爬虫打满。联通宽带工作人员改到公网地址，公网会话数上线65535左右，网络正常了。 text/html 2026-01-24T01:56:51+00:00 Anonymous (anonymous@undisclosed.example.com) https://wiki.mnbvc.org/doku.php/%E8%B8%A9%E5%9D%91%E8%AE%B0%E5%BD%95:20260123simhash%E6%BA%A2%E5%87%BA%E9%94%99%E8%AF%AF?rev=1769219811&do=diff SimHash 溢出错误 背景 在使用 DataClean-MNBVC 清洗数据时，可能会遇到以下错误： fixed OverflowError: Python integer 256 out of bounds for uint8 problem 结果 仓库中的 simhash.py 依赖numpy==1.x.x。当使用numpy>=2.0.0时会触发此错误。请看文献1。当前的解决方案是使用numpy<2的版本。