解释几个术语

• 显卡：GPU
• 显卡驱动：驱动软件
• GPU架构: 硬件的设计方式，例如是否有L1 or L2缓存
• CUDA: 一种编程语言像C++, Python等，只不过它是专门用来操控GPU的
• cudnn: 一个专门为深度学习计算设计的软件库，里面提供了很多专门的计算函数
• CUDAToolkit：所谓的装cuda首先指的是它(后面会详解)
• nvcc: CUDA的编译器,可以从CUDA Toolkit的/bin目录中获取,(类似于gcc就是c语言的编译器), cuda程序有两种代码，一种是运行在cpu上的host代码，一种是运行在gpu上的device代码，所以nvcc编译器要保证两部分代码能够编译成二进制文件在不同的机器上执行
• LIBRARY_PATH：程序编译期间查找动态链接库时指定查找共享库的路径
• LD_LIBRARY_PATH：程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径

GPU型号含义

• GPU架构：Tesla（停止支持）、Fermi（停止支持）、Kepler、Maxwell、Pascal、Volte、Turning、Ample
• 显卡系列：GeForce、Quadro、Tesla
• GeForce显卡型号：G/GS、GT、GTS、GTX (G/GS

CUDAToolkit

• Compiler: CUDA-C和CUDA-C++编译器NVCC位于bin/目录中。它建立在NVVM优化器之上，而NVVM优化器本身构建在LLVM编译器基础结构之上。因此开发人员可以使用nvm/目录下的Compiler SDK来直接针对NVVM进行开发
• Tools: 提供一些像profiler,debuggers等工具，这些工具可以从bin/目录中获取
• Libraries: 下面列出的部分科学库和实用程序库可以在lib/目录中使用，它们的接口在include/目录中可获取。
  • cudart: CUDA Runtime
  • cudadevrt: CUDA device runtime
  • cublas: BLAS (Basic Linear Algebra Subprograms，基础线性代数程序集)
  • cublas_device: BLAS kernel interface
• CUDA Samples: 演示如何使用各种CUDA和library API的代码示例。如果要对它们进行修改，则必须将这些示例复制到另一个位置。
• CUDA Driver: 运行CUDA应用程序需要系统至少有一个具有CUDA功能的GPU和与CUDA工具包兼容的驱动程序(向下兼容)

runtime和driver API

CUDA有两个主要的API：runtime(运行时) API和driver API， 这两个API都有对应的CUDA版本

用于支持driver API的必要文件(如libcuda.so)是由GPU driver installer安装的。nvidia-smi就属于这一类API

用于支持runtime API的必要文件(如libcudart.so以及nvcc)是由CUDA Toolkit installer安装的

注意：CUDA Toolkit Installer有时可能会集成了GPU driver Installer

nvcc是与CUDA Toolkit一起安装的CUDA compiler-driver tool，它只知道它自身构建时的CUDA runtime版本

注意：nvcc不知道安装了什么版本的GPU driver，甚至不知道是否安装了GPU driver

runtime和driver API在很多情况非常相似，也就是说用起来的效果是等价的

但不能混合使用这两个API，因为二者是互斥的

简单理解二者的区别就是

CUDA Driver与CUDA Runtime相比更偏底层，就意味着Driver API有着更灵活的控制，也伴随着更复杂的编程

CUDA driver需要做显式的初始化cuInit(0) 否则其他API都会返回CUDA_ERROR_NOT_INITIALIZED

代码示例

// CUDA驱动头文件cuda.h
#include #include  
#include 
int main(){/* cuInit(int flags) flags目前必须给0;对于cuda的所有函数，必须先调用cuInit，否则其他API都会返回CUDA_ERROR_NOT_INITIALIZED*/CUresult code=cuInit(0);  //CUresult：用于接收可能的错误代码if(code != CUresult::CUDA_SUCCESS){const char* err_message = nullptr;cuGetErrorString(code, &err_message);    // 获取错误代码的字符串描述// cuGetErrorName (code, &err_message);  // 也可以直接获取错误代码的字符串printf("Initialize failed. code = %d, message = %s\n", code, err_message);return -1;}int driver_version = 0;code = cuDriverGetVersion(&driver_version);  // 获取驱动版本printf("CUDA Driver version is %d\n", driver_version); // 若driver_version为11020指的是11.2// 测试获取当前设备信息char device_name[100]; // char 数组CUdevice device = 0;code = cuDeviceGetName(device_name, sizeof(device_name), device);  // 获取设备名称、型号, 数组名device_name当作指针printf("Device %d name is %s\n", device, device_name);return 0;
}

参考文献

• https://zhuanlan.zhihu.com/p/91334380
• https://developer.nvidia.com/cuda-toolkit-archive
• https://docs.nvidia.com/cuda/archive/11.2.0/
• https://docs.nvidia.com/cuda/archive/11.2.0/cuda-driver-api/group__CUDA__VERSION.html
• https://docs.nvidia.com/cuda/archive/11.2.0/cuda-driver-api/group__CUDA__DEVICE.html