用户工具

站点工具


数据打包小组常用shell命令

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

两侧同时换到之前的修订记录前一修订版
后一修订版
前一修订版
数据打包小组常用shell命令 [2025/06/24 16:54] MNBVC项目组数据打包小组常用shell命令 [2025/09/26 11:24] (当前版本) MNBVC项目组
行 1: 行 1:
 +== 查看子文件夹大小 ==
 +  du -h --max-depth=1
 +
 == 批量删除 == == 批量删除 ==
   find . -name "*.pdf"|xargs rm -rf   find . -name "*.pdf"|xargs rm -rf
行 171: 行 174:
 == 查看parquet数据 == == 查看parquet数据 ==
   parquet-tools show --head 1 test.parquet   parquet-tools show --head 1 test.parquet
 +  
 +== 使用代理和解除代理 == 
 +  export https_proxy=http://192.168.0.115:7890 http_proxy=http://192.168.0.115:7890 all_proxy=socks5://192.168.0.115:7890
 +  unset https_proxy
 +  unset http_proxy
 +  unset all_proxy
 +  
 +== 删除到某个关键词前的数据行 == 
 +  sed '1,/WO1984000765/d' wipo_urls.txt.1w_50w > wipo_urls.txt                    
 +  
数据打包小组常用shell命令.1750755245.txt.gz · 最后更改: MNBVC项目组