工欲善其事,必先利其器

查看本机适配的CUDA 版本

要想安装TensorRT必须要先安装CUDA和cudnn,那么首先需要去查看自己电脑的英伟达驱动程序程序,位置如下:

NVIDIA控制面板->帮助->组件,如下图所示本机适配CUDA版本为11.6

WIN10安装配置TensorRT详解

下载CUDA安装包

进入CUDA 安装包的下载地址如下:

CUDA Toolkit 11.6 Downloads | NVIDIA Developer

按照机器适配版本,下载好安装包;如果没有帐户,需要先进行注册
WIN10安装配置TensorRT详解

下载cuDNN安装包

进入英伟达官方网站,选择和自己适配的cuDNN版本,地址如下:

cuDNN Download | NVIDIA Developer

如果没有帐户,需要先进行注册
WIN10安装配置TensorRT详解

下载TensorRT安装包

进入英伟达官网,选择和自己机器适配的TensorRT,地址如下:

NVIDIA TensorRT 8.x Download | NVIDIA Developer
WIN10安装配置TensorRT详解

流程化安装软件包

(1)安装CUDA

双击exe文件解压

WIN10安装配置TensorRT详解

NVIDIA安装->仅需一路点击确下一步然后结束

安装成功的标志:

WIN10安装配置TensorRT详解

(2)安装cuDNN

解压与拷贝

WIN10安装配置TensorRT详解

因cuDNN属于是CUDA的一个补丁包,因此不要安装,仅需要将上述三个bin\include\lib文件夹中的相关文件拷贝到CUDA安装位置的bin,include,lib\x64文件夹中。

本电脑默认CUDA路径为:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6

验证

分别运行如下两个命令,若均为pass验证通过,则表示安装成功。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>bandwidthTest.exe

WIN10安装配置TensorRT详解

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>deviceQuery.exe

WIN10安装配置TensorRT详解

(3)安装TensorRT

解压安装包后得到如下所示图:

WIN10安装配置TensorRT详解

安装TensorRT文件夹中的.whl文件*

pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\python\tensorrt-8.4.1.5-cp38-none-win_amd64.whl
其中cp38是依据环境使用的python版本获取的
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\uff\uff-0.6.9-py2.py3-none-any.whl

安装完成相应的库以后,需要注意将TensorRT-8.4.1.5文件夹下的lib\include中的文件进行如下拷贝工作,防止在运行tensorrt时候无法找到相对应的Nvinfer.dll

  • TensorRT-8.4.1.5中include文件夹下所有文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include

  • TensorRT-8.4.1.5中lib文件夹下所有lib文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64

  • TensorRT-8.4.1.5中lib文件夹下所有dll文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin

(4)验证TensorRT是否安装成功

查看trt的版本

WIN10安装配置TensorRT详解

运行TensortRT文件夹下的sample.py

WIN10安装配置TensorRT详解

如果遇到错误:

WIN10安装配置TensorRT详解

解决方法:

去英伟达官网找到对应的zlibwapi.dll(依据电脑版本下载X64、X86版本的)文件,地址如下:zlibwapi,并将该dll拷贝到C:\Windows\System32文件夹下

至此,windows安装TensorRT的过程就结束了。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。