GPU跑卷积神经网络有什么痛点么?

博主使用的显卡配置为:2*RTX 2080Ti,最近在训练的时候,监控显卡的资源使用情况发现,

虽然同是使用了两张显卡,但是每张显卡的使用率很不稳定,貌似是交替使用,这种情况下训练的速度是很慢的,为了解决

下面是解决这个问题的一些过程。

模型执行预测阶段 使用显卡0,但是也只有51%的使用率。

模型在训练阶段,同时使用两张显卡,发现里利用率也不高,我截取的最高的也就60%

3. 在pytorch的文档中找到了解决办法

上面是该类的输入参数,经常使用的用红色标出,与本文相关的设置用紫色标出,下面是该类的描述文件:

发现如下连个参数很关键:
 














近年来深度学习领域的突破与计算能力的大幅进步是分不开的:

  1. 加快了研究的迭代速度,有更多的机会来优化和调整网络,降低了试错的成本。
  2. 可以在更大的数据集上进行训练,提高了最终的精度。

相较于通用处理器,GPU 在单位面积/单位功耗上拥有更高的计算能力和吞吐带宽,对于神经网络的训练和分类都可以提供显著的加速效果。因而越来越多的学者和机构会选择 GPU 来加速他们的研究,如下图是这几年来 GPU 在 中的应用比例:

如何快速的基于 GPU 开发深度学习的应用呢?最直接的方式就是利用 这个计算库。通过将卷积神经网络的计算变换为对更 GPU 友好的矩阵运算,cuDNN 可以有效提高整个网络的训练速度:

即便你对 GPU 一无所知,也可以基于现有的框架来进行开发。如最新版的 已经可以完整支持 cuDNN 并在性能上获得了进一步的提高:

最后科普一下什么是深度学习:

我们已与文献出版商建立了直接购买合作。

你可以通过身份认证进行实名认证,认证成功后本次下载的费用将由您所在的图书馆支付

您可以直接购买此文献,1~5分钟即可下载全文,部分资源由于网络原因可能需要更长时间,请您耐心等待哦~

我要回帖

更多关于 神经网络可以跑100g文件吗 的文章

 

随机推荐