当前位置:主页 > 软件工具
学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)
日期:2017-05-30 浏览量:

  2016 年 8 月,香港浸会大学褚晓文团队研究者发表了一篇论文,,最近该论文更新了第六版。本次的主要更新包括:(1)软件版本更新;(2)加入 MXNet;(3)剔除了假数据,还使用了 MNIST and Cifar10;(4)一机多卡的测试。

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

摘要

深度学习已被证明是一种可成功用于许多任务的机器学习方法,而且它的广泛流行也将很多开源的深度学习软件工具开放给了公众。训练一个深度网络往往是一个非常耗时的过程。为了解决深度学习中巨大的计算难题,许多工具利用了多核 CPU 和超多核 GPU 这样的硬件特性来缩短训练时间。但是,在不同的硬件平台上训练不同类型的深度网络时,不同的工具会有不同的特性和运行性能,这让终端用户难以选择出合适的软件和硬件搭配。在这篇论文中,我们的目标是对当前最先进的 GPU 加速的深度学习软件工具(包括:Caffe, CNTK, TensorFlow 和 Torch)进行比较研究。我们在两种 CPU 平台和三种 GPU 平台上使用三种流行的神经网络来评测了这些工具的运行性能。我们做出了两方面的贡献。第一,对于深度学习终端用户,我们的基准评测结果可用于指导合适的软件工具和硬件平台的选择。第二,对于深度学习软件开发者,我们的深度分析为进一步优化训练的性能指出了可能的方向。

实验数据

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

评测软件版本

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

评测中的神经网络设置

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

评测硬件配置

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

评测硬件配置——并行数据

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

对比结果(每个 mini-batch 的时间/秒;其中加粗的为最优)

  

学界 | 基准评测当前最先进的深度学习软件工具(更新第六版)

单GPU-多GPU对比

结论

本研究旨在对比现代深度学习软件工具的运行性能,测试它们在不同类型的神经网络和不同的硬件平台上的执行效率。我们的实验结果表明,目前所有经过测试的工具都可以很好地利用 GPU,比使用 CPU 的竞争对手有着很大优势。然而,没有任何一个工具可以在所有方面胜过其他软件工具,这意味着也许存在进一步优化性能的方向。

在未来的研究中,首先,我们会将更多的深度学习软件工具(如百度的 Paddle)和硬件平台(如 AMD 的 GPU 和英特尔至强 Phi)纳入这项基准研究。其次,我们计划评估在高性能 GPU 集群上这些工具的可扩展性。

论文链接:https://arxiv.org/pdf/1608.07249v6.pdf

©本文为机器之心编译,转载请联系本公众号获得授权

  ?------------------------------------------------

加入机器之心(全职记者/实习生):hr@almosthuman.cn

投稿或寻求报道:editor@almosthuman.cn

广告&商务合作:bd@almosthuman.cn

    相关文章:
    ·电脑管家:奥运金牌预测工具成流氓软件
    ·思想大于工具企业协同办公将走向平台化
    ·谷歌6.25亿美元收购软件开发工具开发商Apigee
    ·软件开发中最顶级的 17 个平台和工具
    ·2022年中国网络工具软件行业市场全景调研及投资
    → 特别推荐
    电脑管家:奥运金牌
    思想大于工具企业协
    谷歌6.25亿美元收购软
    软件开发中最顶级的
    2022年中国网络工具软
    2017年你最值得关注的
    标准、软件、工具和
    苹果与德国软件巨头
    腾讯电脑管家勒索病
    瑞星率先发布“永恒
    微软升级安全工具希
    购买Steam游戏能玩多久
    学界 | 基准评测当前
    全球首创!瑞星发布
    【满仓抄底】利好消
    → 热点TOP10
    创新者更新预
    误删了文件怎
    FPGA设计开发软
    科技精准救灾
    教授被骗1800万
    “踱”出实验
    AWS为市场合作
    曾是最强浏览
    谷歌发布全新
    提醒:西藏使

    友情链接/网站合作咨询: