cuDNN v5.1 (August 10, 2016), for CUDA 8.0 RC

cuDNN v5.1 (August 10, 2016), for CUDA 8.0 RC と cuDNN v5.1 (August 10, 2016), for CUDA 7.5 が出ているようだ。

https://developer.nvidia.com/rdp/cudnn-download

cuDNN v5.1 RC (June 16, 2016), for CUDA 7.5

cuDNN v5.1 RC (June 16, 2016), for CUDA 7.5 が出ているようだ。

https://developer.nvidia.com/cudnn

cuDNN v5 (May 27, 2016), for CUDA 8.0 RC

cuDNN v5 (May 27, 2016), for CUDA 8.0 RC が出ているようだ。

cuDNN v5 Release Candidate (RC) (April, 2016), for CUDA 7.5 and later

cuDNN v5 Release Candidate (RC) (April, 2016) が出ているようだ。

https://developer.nvidia.com/cudnn

cuDNN v4 (Feb 10, 2016)

cuDNN v4 の正式版が出ているようだ。

https://developer.nvidia.com/cudnn

以下、リリースノートから引用。

UPDATES SINCE RELEASE CANDIDATE

• The API of cudnnBatchNormalizationBackward has been changed to include an additional set of scaling parameters (alphaParamsDiff and betaParamsDiff) applied to the dBnScaleResult and dBnBiasResult outputs of the function.

• The prior restriction of batch size 512 in all Batch Normalization routines has been removed.

• Numerical stability and performance of cudnnBatchNormalizationBackward in some cases has been improved.

• Performance of cudnnConvolutionBackwardFilter when using Algo 1 has been improved for some cases. This code path now also requires a workspace.

cuDNN v4 Release Candidate (December 10, 2015)

cuDNN v4 Release Candidate (December 10, 2015) が出ていたようだ。

日本語のリリース情報は次のリンク先を参照。
https://ja-jp.facebook.com/NVIDIAGPUComputing/posts/458731480981793

以下、リリースノートから引用。

NEW FEATURES

• Batch Normalization routines have been added.
• Convolution forward and backward now supports NHWC tensor format.
• FFT Tiling algorithm has been added for cudnnConvolutionForward and cudnnConvolutionBackwardData routines
• cudnnConvolutionForward now supports computation in FP16 when run on GPU with a compute capability >= 5.3
• cudnnConvolutionForward has been optimized for batch size = 1
• Pooling and activation routines have a descriptor option to propagate NaN numbers.

CPU で float(FP32) 型から half(FP16) 型へ変換する（逆変換もあり）方法

CPU で float(FP32) 型から half(FP16) 型へ変換する（逆変換もあり）ソースコードが、cuDNN v3 (September 8, 2015) のサンプルソースコード cudnn-sample-v3.tgz の中の fp16_emu.cpp にある。

half1 cpu_float2half_rn(float f);
float cpu_half2float(half1 h);

関連

• CPU の FP16C を使って float (FP32) と half (FP16) を変換する方法

cuDNN のダウンロード方法

cuDNN (NVIDIA CUDA Deep Neural Network library) をダウンロードするには、「CUDA Registered Developer Program」への登録が必要だ。

下記のページにアクセスして、[Register] ボタンを押して登録する。

https://developer.nvidia.com/cuDNN

しかし、登録してもすぐにはダウンロードできない。

登録完了後、しばらくして（私の場合は約6時間後に）「GPU Computing & Embedded Developer Program Application Appro」という表題のメールが送られてくる。その後にサイトからダウンロードできるようになる。

ライセンス情報は Windows の場合 cudnn-6.5-win-v2.zip ファイルの中に含まれている。

[追記] (2015-07-04) ライセンス情報について修正。