研二上随笔()-其他
研二上随笔()
研二上随笔
由于上海3-6月疫情导致学业荒废，10月开题、奖学金评定、同门论文定稿竟接踵而至。深知硕士生之生涯将不多日矣，遂拾笔续写学术道路之笔记。（20220924）
第一周
咸鱼
第二周
咸鱼
第三周
拔牙 + 咸鱼
第四周
win11右键自动展开
W11ClassicMenu
文件对比软件 Beyond Compare 4
https://www.scootersoftware.com/download.php
Typora过期的解决方案
http://t.csdn.cn/6vCY6
1）Windows键+R，弹出命令行输入框，输入 regedit
2）在注册表的输入框输入：计算机\HKEY_CURRENT_USER\SOFTWARE\Typora ，然后按回车；
3）找到 typora 这一项，然后点击 右键，选择 权限；
4）在 权限 里面把各个用户的权限，全部选择 拒绝；有人说，仅关闭当前使用的用户即可，但我觉得保险起见，还是把所有用户都拒绝掉吧。【最后别忘了 应用 + 确认】
随后，可能会收到一个提示框，直接选 是 即可。
1）Windows键+R，弹出命令行输入框，输入 regedit
2）在注册表的输入框输入：计算机\HKEY_CURRENT_USER\SOFTWARE\Typora ，然后按回车；
3）找到 typora 这一项，然后点击 右键，选择 权限；
4）在 权限 里面把各个用户的权限，全部选择 拒绝；有人说，仅关闭当前使用的用户即可，但我觉得保险起见，还是把所有用户都拒绝掉吧。【最后别忘了 应用 + 确认】
随后，可能会收到一个提示框，直接选 是 即可。
查看显卡占用情况
watch -n 1 nvidia-smi
重新梳理miniConda安装过程
从清华源，下载miniConda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh
sh miniconda.sh
注意：不要初始化
source activate base
出现警告：
-bash: activate: No such file or directory使用以下方式进行修正：
sudo cp ~/.bashrc ~/.bashrc.old
sudo vim ~/.bashrc
在最下面一行，添加：
# added by miniconda3 installer
export PATH="~/miniconda3/bin:$PATH"
命令行内更新bashrc
source ~/.bashrc
使用命令激活环境
source activate base
换清华源
https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
新建虚拟环境
conda create -n ywq python=3.8
其他conda常用命令
# 复制某个环境
conda create --name new_env_name --clone old_env_name
# 删除某个环境
conda remove --name env_name --all
conda env export > environment.yml # 导出当前虚拟环境
conda env create -f environment.yml # 创建保存的虚拟环境
# 删除无用的包和缓存
conda clean --all
查看nvcc –version 版本 安装相应版本pytorch
Docker
docker: Got permission denied while trying to connect to the Docker daemon socket
使用sudo运行
安装Docker
https://yeasy.gitbook.io/docker_practice/install/ubuntu
自动化脚本安装
curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
建立 docker 用户组
sudo groupadd docker
退出当前终端并重新登录，进行如下测试。
测试 Docker 是否安装正确
docker run --rm hello-world
得到如下回复
Hello from Docker!
This message shows that your installation appears to be working correctly.
docker pull images
docker pull pytorch/pytorch:latest
运行docker
从Docker 19.03开始，安装好docker之后，只需要使用 –gpus 即可指定容器使用显卡（需要安装运行时，后文会提到）。
docker run --gpus all --name 容器名 -d -t 镜像id
# 只有显卡一可见
docker run --gpus="1" --name 容器名 -d -t 镜像id
# docker run --gpus all --name pytorch/pytorch:1.12.1-cuda11.3-cudnn8-devel -d -t 镜像id
docker run -it --gpus all --name test --ipc=host -v ~/YWQ:/YWQ pytorch/pytorch:latest /bin/bash
报错：
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. ERRO[0000] error waiting for container: context canceled 安装英伟达容器运行时
安装nvidia-container-toolkit
https://blog.csdn.net/weixin_44966641/article/details/123760614
sudo apt-get install nvidia-container-runtime
重启docker
sudo service docker restart
# docker rename old_name new_name
# 启动已存在容器
docker start 容器ID
docker挂载文件
https://blog.csdn.net/huanglin6/article/details/125101399
https://huaweicloud.csdn.net/63311d26d3efff3090b52979.html?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-113903782-blog-125101399.pc_relevant_multi_platform_whitelistv3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-113903782-blog-125101399.pc_relevant_multi_platform_whitelistv3&utm_relevant_index=2
如果要正常退出不关闭容器，按Ctrl+P+Q进行退出容器
如果使用exit退出，那么在退出之后会关闭容器，可以使用下面的流程进行恢复
- 使用docker restart命令重启容器
- 使用docker attach命令进入容器
Docker 报错
ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
apt update
apt install libgl1-mesa-glx
ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
apt-get update
apt-get install libglib2.0-dev
cv2 是什么
管他是什么，装就对了
pip install opencv-python
多线程出错
raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) from e
RuntimeError: DataLoader worker (pid(s) 128561) exited unexpectedly
解决方法：
1.不使用多线程，将num_workers设置为0
- 设置–ipc=host 或者 –shm-size 8G
docker run -it --gpus all --name test2 --ipc=host -v ~/YWQ:/YWQ pytorch/pytorch:latest /bin/bash
删除容器
docker container rm test2
删除镜像
docker rmi new_image
查看所有容器
docker ps -a # 不加-a 查看正在运行的容器
启动容器
docker start test
进入已经启动的容器
docker attach test
退出容器
Ctrl+P+Q
MOON
windows系统下搭建 ZeroTier moon服务器_dqi的博客-CSDN博客
第几周
Swin Transformer
Swin Transformer: 用CNN的方式打败CNN – 知乎 (zhihu.com)
Timm
https://blog.csdn.net/qq_41917697/article/details/115026308
x = torch.randn((1, 3, 224, 224))
modle = timm.create_model('resnet50', pretrained=True, features_only=True)
out = modle(x)
for x in out:
print(x.shape)
输出：
torch.Size([1, 64, 112, 112])
torch.Size([1, 256, 56, 56])
torch.Size([1, 512, 28, 28])
torch.Size([1, 1024, 14, 14])
torch.Size([1, 2048, 7, 7])
特征提取 – Pytorch 图像模型 (rwightman.github.io)
python命名规则
| 类型 | 公有/外部成员 | 私有/内部成员 |
|---|---|---|
| 模块（module） | my_naming_convention | _my_naming_convention |
| 包（package） | my_naming_convention | |
| 类（class） | MyNamingConvention | _MyNamingConvention |
| 异常（Exception） | MyNamingConvention | |
| 函数（function） | my_naming_convention() | _my_naming_convention() |
| 全局/类常量（constant） | MY_NAMING_CONVENTION | _MY_NAMING_CONVENTION |
| 全局/类变量（variable） | my_naming_convention | _my_naming_convention |
研二上随笔
由于上海3-6月疫情导致学业荒废，10月开题、奖学金评定、同门论文定稿竟接踵而至。深知硕士生之生涯将不多日矣，遂拾笔续写学术道路之笔记。（20220924）
第一周
咸鱼
第二周
咸鱼
第三周
拔牙 + 咸鱼
第四周
win11右键自动展开
W11ClassicMenu
文件对比软件 Beyond Compare 4
https://www.scootersoftware.com/download.php
Typora过期的解决方案
http://t.csdn.cn/6vCY6
1）Windows键+R，弹出命令行输入框，输入 regedit
2）在注册表的输入框输入：计算机\HKEY_CURRENT_USER\SOFTWARE\Typora ，然后按回车；
3）找到 typora 这一项，然后点击 右键，选择 权限；
4）在 权限 里面把各个用户的权限，全部选择 拒绝；有人说，仅关闭当前使用的用户即可，但我觉得保险起见，还是把所有用户都拒绝掉吧。【最后别忘了 应用 + 确认】
随后，可能会收到一个提示框，直接选 是 即可。
1）Windows键+R，弹出命令行输入框，输入 regedit
2）在注册表的输入框输入：计算机\HKEY_CURRENT_USER\SOFTWARE\Typora ，然后按回车；
3）找到 typora 这一项，然后点击 右键，选择 权限；
4）在 权限 里面把各个用户的权限，全部选择 拒绝；有人说，仅关闭当前使用的用户即可，但我觉得保险起见，还是把所有用户都拒绝掉吧。【最后别忘了 应用 + 确认】
随后，可能会收到一个提示框，直接选 是 即可。
查看显卡占用情况
watch -n 1 nvidia-smi
重新梳理miniConda安装过程
从清华源，下载miniConda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh
sh miniconda.sh
注意：不要初始化
source activate base
出现警告：
-bash: activate: No such file or directory使用以下方式进行修正：
sudo cp ~/.bashrc ~/.bashrc.old
sudo vim ~/.bashrc
在最下面一行，添加：
# added by miniconda3 installer
export PATH="~/miniconda3/bin:$PATH"
命令行内更新bashrc
source ~/.bashrc
使用命令激活环境
source activate base
换清华源
https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
新建虚拟环境
conda create -n ywq python=3.8
其他conda常用命令
# 复制某个环境
conda create --name new_env_name --clone old_env_name
# 删除某个环境
conda remove --name env_name --all
conda env export > environment.yml # 导出当前虚拟环境
conda env create -f environment.yml # 创建保存的虚拟环境
# 删除无用的包和缓存
conda clean --all
查看nvcc –version 版本 安装相应版本pytorch
Docker
docker: Got permission denied while trying to connect to the Docker daemon socket
使用sudo运行
安装Docker
https://yeasy.gitbook.io/docker_practice/install/ubuntu
自动化脚本安装
curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun
建立 docker 用户组
sudo groupadd docker
退出当前终端并重新登录，进行如下测试。
测试 Docker 是否安装正确
docker run --rm hello-world
得到如下回复
Hello from Docker!
This message shows that your installation appears to be working correctly.
docker pull images
docker pull pytorch/pytorch:latest
运行docker
从Docker 19.03开始，安装好docker之后，只需要使用 –gpus 即可指定容器使用显卡（需要安装运行时，后文会提到）。
docker run --gpus all --name 容器名 -d -t 镜像id
# 只有显卡一可见
docker run --gpus="1" --name 容器名 -d -t 镜像id
# docker run --gpus all --name pytorch/pytorch:1.12.1-cuda11.3-cudnn8-devel -d -t 镜像id
docker run -it --gpus all --name test --ipc=host -v ~/YWQ:/YWQ pytorch/pytorch:latest /bin/bash
报错：
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. ERRO[0000] error waiting for container: context canceled 安装英伟达容器运行时
安装nvidia-container-toolkit
https://blog.csdn.net/weixin_44966641/article/details/123760614
sudo apt-get install nvidia-container-runtime
重启docker
sudo service docker restart
# docker rename old_name new_name
# 启动已存在容器
docker start 容器ID
docker挂载文件
https://blog.csdn.net/huanglin6/article/details/125101399
https://huaweicloud.csdn.net/63311d26d3efff3090b52979.html?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-113903782-blog-125101399.pc_relevant_multi_platform_whitelistv3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-113903782-blog-125101399.pc_relevant_multi_platform_whitelistv3&utm_relevant_index=2
如果要正常退出不关闭容器，按Ctrl+P+Q进行退出容器
如果使用exit退出，那么在退出之后会关闭容器，可以使用下面的流程进行恢复
- 使用docker restart命令重启容器
- 使用docker attach命令进入容器
Docker 报错
ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
apt update
apt install libgl1-mesa-glx
ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
apt-get update
apt-get install libglib2.0-dev
cv2 是什么
管他是什么，装就对了
pip install opencv-python
多线程出错
raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) from e
RuntimeError: DataLoader worker (pid(s) 128561) exited unexpectedly
解决方法：
1.不使用多线程，将num_workers设置为0
- 设置–ipc=host 或者 –shm-size 8G
docker run -it --gpus all --name test2 --ipc=host -v ~/YWQ:/YWQ pytorch/pytorch:latest /bin/bash
删除容器
docker container rm test2
删除镜像
docker rmi new_image
查看所有容器
docker ps -a # 不加-a 查看正在运行的容器
启动容器
docker start test
进入已经启动的容器
docker attach test
退出容器
Ctrl+P+Q
MOON
windows系统下搭建 ZeroTier moon服务器_dqi的博客-CSDN博客
第几周
Swin Transformer
Swin Transformer: 用CNN的方式打败CNN – 知乎 (zhihu.com)
Timm
https://blog.csdn.net/qq_41917697/article/details/115026308
x = torch.randn((1, 3, 224, 224))
modle = timm.create_model('resnet50', pretrained=True, features_only=True)
out = modle(x)
for x in out:
print(x.shape)
输出：
torch.Size([1, 64, 112, 112])
torch.Size([1, 256, 56, 56])
torch.Size([1, 512, 28, 28])
torch.Size([1, 1024, 14, 14])
torch.Size([1, 2048, 7, 7])
特征提取 – Pytorch 图像模型 (rwightman.github.io)
python命名规则
| 类型 | 公有/外部成员 | 私有/内部成员 |
|---|---|---|
| 模块（module） | my_naming_convention | _my_naming_convention |
| 包（package） | my_naming_convention | |
| 类（class） | MyNamingConvention | _MyNamingConvention |
| 异常（Exception） | MyNamingConvention | |
| 函数（function） | my_naming_convention() | _my_naming_convention() |
| 全局/类常量（constant） | MY_NAMING_CONVENTION | _MY_NAMING_CONVENTION |
| 全局/类变量（variable） | my_naming_convention | _my_naming_convention |