Ş›在多个GPU上训练网络
为了减少训练时间,可以在GPU而不是CPU上训练神经网络。Wolfram语言现在支持使用多个GPU(来自同一台机器)进行神经网络训练,从而实现更快的训练。以下示例显示了在6-CPU和4-NVIDIA Titan X GPU机器上的培训。
加载CIFAR-10训练数据集的子集。
从加载“Wolfram ImageIdentify Net V1”的体系结构Wolfram神经网络存储库.
使用网络预处理输入数据网络编码器避免CPU预处理瓶颈估计网络的训练速度。
删除现在不必要的网络编码器并更换网盖和最终网络解码器以便它们与数据集中的类相匹配。
在具有6核CPU的机器上启动培训:
该培训以大约每秒八个示例的速度进行。
在单个GPU上启动培训(第四个,因为不建议使用负责显示的GPU)。
这一次,训练速度约为每秒200个示例。
现在在所有四个GPU上启动培训。
现在的训练速度约为每秒500个示例。
可视化测量的三种训练速度。