数据打包小组常用shell命令

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

--- 数据打包小组常用shell命令 [2023/08/28 11:21] – MNBVC项目组
+++ 数据打包小组常用shell命令 [2025/02/25 16:03] (当前版本) – MNBVC项目组
@@ 行 31: / 行 31: @@
 == 查找100k-200k的pdf ==
-find . -name "*pdf" -type f -size +100k -size -100k
+  find . -name "*pdf" -type f -size +100k -size -100k
 == 批量解rar压缩 ==
@@ 行 39: / 行 39: @@
   unzip '*.zip'
+== 批量删除某个文件夹 ==
+  nohup find . -name "zipout*" -type d|xargs rm -rf &
 == 转码 ==
@@ 行 122: / 行 124: @@
 == 删除最后一行文件 ==
   sed -i '$d' spider_log.jsonl
+== docker相关 ==
+  #查看历史docker
+  docker ps -a
+  #创建docker
+  docker run -dit -v /mnt/disk1:/mnt/disk1 -v /mnt/disk2:/mnt/disk2 -v /mnt/disk3:/mnt/disk3 --name cpu huggingface/transformers-pytorch-cpu /bin/bash
+  #进入docker
+  docker exec -it cpu /bin/bash
+  #关闭docker
+  docker stop cpu
+  #启动docker
+  docker start cpu
+  #删除创建的docker
+  docker rm $(docker ps -aq)
+  #修改root权限
+  sudo docker exec -u 0 -it notebook2 bash
+  passwd jovyan
+  apt-get update
+  apt-get upgrade
+  apt-get install vim
+  visudo
+  jovyan ALL=(ALL:ALL) ALL
+== 查看进程详情 ==
+  lsof -p 1234
+== 拷贝子文件夹到另一个地方 ==
+  cp -R a/. b/
+  mv a/* b/
+== 本文件夹下最大的文件 ==
+  find . -type f -exec du -a {} \; | sort -n -r | head -n 10
+== 只出现在b文件中的行 ==
+  comm -13 a b > c
+== 远程同步文件夹 ==
+  rsync --progress --partial -avz -e "ssh -p 22566" xxx@xxx.org:/home/data/ ./data/
+== 批量解压目录下的zip包 ==
+  find . -maxdepth 1 -name "*.zip" -exec unzip -n -q {} \;
+== 批量生成目录 ==
+  for day in {02..99}; do mkdir -p "./202503${day}/github.202503${day}.1.代码/"; done

数据打包小组常用shell命令.1693192906.txt.gz · 最后更改: 2023/08/28 11:21 由 MNBVC项目组