深度学习:本地环境部署



  1. 云端环境配置请移步李沐课程
  2. 本地环境配置原视频

安装python

  • anaconda安装过程中可提供python安装,如果确定安装anaconda可以直接跳到下步
  • python官网下载pythong安装包,安装过程基本使用默认选项
  • 需要额外勾选Add Python 3.x to PATH等类似选项
    深度学习-1 本地环境部署-1

安装anaconda

  • anaconda官网下载anaconda安装包,安装过程基本使用默认选项
    如果未安装python,可以在anaconda安装过程中安装对应版本的python
  • 在anaconda powrshell中使用python --version查看python版本,使用conda -V查看conda版本
    注意最好在安装时勾选添加conda的path进系统环境变量

安装CUDA

  • CUDA官网下载相应CUDA安装包,对应版本选择大致如下,安装过程基本使用默认选项深度学习-1 本地环境部署-2
  • 在CMD中使用命令nvidia-smi查看显卡最高兼容的CUDA版本
    深度学习-1 本地环境部署-3
  • 使用nvcc -V查看现安装的CUDA版本

安装cudnn

windows

CUDA需要配合cudnn才能正常工作,将cudnn的四个文件(夹),复制到CUDA的安装路径即可,即CUDA文件夹。
往系统环境变量中的 path 添加如下路径(根据自己的路径进行修改

C:\Program Files\NVIDIA\CUDA\bin
C:\Program Files\NVIDIA\CUDA\include
C:\Program Files\NVIDIA\CUDA\lib
C:\Program Files\NVIDIA\CUDA\libnvvp

检验:

配置完成后,我们可以验证是否配置成功,主要使用CUDA内置的deviceQuery.exe 和 bandwidthTest.exe
首先win+R启动cmd,cd到安装目录下的 …\extras\demo_suite,然后分别执行.\bandwidthTest.exe.\deviceQuery.exe,应该得到下图.

cd C:\Program Files\NVIDIA\CUDA\extras\demo_suite 
.\bandwidthTest.exe 
.\deviceQuery.exe

linux

官方教程CSDN参考
安装linus解压工具

sudo apt-get install zlib1g

打开下载链接,选择相应的版本并下载。选择方法可参考链接,,建议直接选择cuDNN Library for Linux (x86_64)
进入cudnn压缩包所在的文件夹,解压文件

tar -xvf [$文件名]

将文件拷贝到相应cuda目录下

sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include 
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64 
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

查看cudnn版本

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

出现如下的信息,则为配置成功

#define CUDNN_MAJOR 8
#define CUDNN_MINOR 4
#define CUDNN_PATCHLEVEL 0
--
#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)

#endif /* CUDNN_VERSION_H */

安装Pytorch

构建虚拟环境

  • 如果有需要,使用conda create --name 名字 python=3.8新建一个虚拟环境
    当不标明python版本时python=3.8,对应env文件下不会出现python.exe
  • 使用conda activate 名字进入虚拟环境安装
  • 如果不需要在base环境中安装即可
  • 可使用conda listpip list查看目前环境所安装的包
    注意pip,pip3,conda安装命令的安装位置不一样,可在CMD中使用where pip找pip所在位置
    目前测试使用pip install安装的包,在不同conda环境中是通用的

在线安装

  • Pytorch官网,选择对应版本,得到安装命令
    深度学习-1 本地环境部署-4
  • pip包的安装目录可用以下命令查询:
    python -m site --user-site
  • conda安装包下载目录为~/Anaconda3/pkgs,安装在~/Anaconda3/Lib/site-packages

使用镜像加速

  • pip 可以在命令最后加-i 镜像地址来进行加速下载,地址如下
    https://pypi.tuna.tsinghua.edu.cn/simple #清华镜像
    https://mirrors.aliyun.com/pypi/simple/ #阿里
    https://mirrors.163.com/pypi/simple/ #网易
  • 也可修改pip.ini来实现配置镜像路径
    #查找pip.ini的存放位置
    pip config -v list
    返回如下内容,修改global对应路径下的文件,会全局生效
    For variant 'global', will try loading 'C:\ProgramData\pip\pip.ini'
    For variant 'user', will try loading 'C:\Users\YourUserName\pip\pip.ini'
    For variant 'site', will try loading '<path_to_your_conda_env>\Lib\site-packages\pip\pip.ini'
    在文件中添加以下内容
    [global]
    index-url = https://pypi.tuna.tsinghua.edu.cn/simple
  • 同理,conda可以使用以下命令配置镜像源
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2/
    conda config --set show_channel_urls yes
    在这一步中我们要安装torchtorchvisiontorchaudio三个包,其中torch包有3G左右,如果下载慢,可以使用离线下载本地安装的方式

本地安装

离线下载

  1. 仍然在anaconda powershell中使用官网命令下载所需包,但使用ctrl + c中断下载进程
    深度学习-1 本地环境部署-5
  2. 使用下载地址,在迅雷等下载软件中下载
    可以修改命令分别下载torchvisiontorchaudio以得到下载地址,但这两个包很小,可以直接在线下载
    PS:也可去官网下载相应版本安装包

本地安装

  1. 使用以下命令定位到本地安装文件目录
    盘符名:    #如D:,定位到特定磁盘
    dir        #显示当前文件下的所有文件
    cd 文件名   #打开文件
    cd ..       #反回上一级文件夹
    cd /        #反回根磁盘
    直到使用dir可以看到安装文件为止
    深度学习-1 本地环境部署-7
    conda 安装包放到anaconda目录下的pkgs文件中
  2. 使用pip install 文件名conda install --use-local 文件名安装本地包,在安装过程中会下载一些其他依赖包
    深度学习-1 本地环境部署-6
    总共需要将torchtorchvisiontorchaudio都安装好

测试

  • 在anaconda powershell中使用conda activate 环境名进入conda环境
  • 键入python进入python模式
  • 使用import torch导入torch包
    依次使用使用以下命令测试
    a = torch.ones((3,1)).cuda(0)
    b = torch.ones((3,1)).cuda(0)
    a + b
    得到运算结果:
    深度学习-1 本地环境部署-8
    使用exit()quit()退出python
  • 也可使用以下命令
    python
    import torch
    torch.cuda.is_available()
    返回ture即可

安装jupyter note book与 d2l

1.

pip install jupyter d2l
  1. 官网下载jupyter记事本压缩包,并解压
    深度学习-1 本地环境部署-9
  2. 进行jupyter note book,找到解压文件开始学习
    jupyter note book

将虚拟环境添加到jupyter notebook

  • 安装ipykernel:
    pip install ipykernel
  • 将环境添加到jupyter notebook
    python -m ipykernel install --user --name env_name
  • 重启jupyter notebook

文章作者: Austin
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Austin !
  目录