基于深度学习的图像识别软硬件解决方案

摘要

  在过去几年,全球的数据量以每年58%的速度快速增长,类型也不断丰富,模型训练拥有海量的优质样本,但更大的挑战来自于算法和硬件计算架构,为此,浪潮提出了基于深度卷积神经网络的图像识别软硬件一体化解决方案

背景介绍

  图像识别指用视觉传感器(摄像头)和计算机来模拟人眼和大脑,进行物体识别、跟踪和测量,进而做图形处理让计算机理解真实世界。图像识别技术有很多应用场景,如:人脸识别、拍照识别、物体识别等各种图像场景的识别。

  基于深度学习的图像识别技术发展痛点

  用来训练识别模型的样本数据不足

  训练图像识别模型,需大量的样本数据多次迭代训练,数据须具有识别对象的基本特征,有不同的背景角度区分,数据样本越丰富,模型的识别精度越高。数据量积累不足,使得模型精准度往往不高。

  图像识别算法不够先进

  图像识别从最初的特征值抓取,发展到模式识别的边缘滤波,形态学检测经历了20年。现在主要停留在浅层训练的机器学习阶段,尽管模型可实现机器替代人,但算法无法自行迭代学习,仅算是样本训练的智能程序。

  计算机集群性能不够,计算用时太长

  算法执行需硬件架构的支撑,一个模型对海量的样本数据进行学习,在CPU上执行一般需几天甚至几个月,大大拉长了研发周期和拖慢产品进程。因此,先进的硬件计算架构是激活优秀算法的前提。

解决方案介绍

  基于深度学习的图像识别的软件解决方案

  软件架构:MPI+Caffe

  

  深度卷积神经网络(CNN)算法是深度学习领域普遍采用的神经网络构建模型,Caffe是目前最快的CNN架构。浪潮的集群版Caffe计算框架正是切中当下深度学习的迫切需求,它采用MPI技术对Caffe版本进行数据并行优化,该框架基于伯克利caffe架构进行开发,完全保留原始caffe架构的特性。即:纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口等多种编程方式,具备上手快、速度快、模块化、开放性等众多特性,为用户提供了最佳的应用体验。另外,鉴于众多用户基于CPU进行深度学习应用研究的现实,浪潮还可提供C-G算法迁移增值服务,针对用户目前的深度学习算法,做硬件适配性算法迁移和升级优化,帮助用户做到算法的更快,更好。硬件架构:IB网络+GPU集群+Lustre并行存储

  

  以浪潮NF5568M4为代表的GPU服务器的产品,在同CPU计算力下, GPU配置数量比业内平均水平高出50%,且最高支持的单卡计算能力比业内主流水准高50%浪潮根据深度学习多并行,高I/O需求,设计出Lustre分布式并行存储系统和56Gb/s InfiniBand网络架构的横向扩展的GPU主从硬件集群架构,配合浪潮inspur-caffe架构实现了跨多节点的数据并行计算,该架构兼顾计算密集型,IO密集型等计算模型硬件需求特点,同时支持Pascal GPU,最大可实现超100个GPU卡并行计算。

  

  该方案利用超级计算机设计思路,突破多机多卡并行计算I/O速率不足的技术瓶颈,在保证系统稳定性前提下,使高性能GPU计算能力得到充分发挥,帮助用户大幅提升线下模型训练速度,降低每个计算核心的TCO。配合浪潮MPI-Caffe架构的深度学习算法,用户在图像识别类应用上,实现高精度图像识别模型的快速训练,加速后期业务产品化进程。

  实测显示,对1.3M张图片进行9层模型训练时,4颗E5-2699V3处理器的2台服务器需3天(72小时)方完成训练,使用浪潮4卡最新GPU软硬一体化解决方案只需不到9.5个小时就可以完成全部工作。

客户收益

  企业通过图像识别技术,建立物体、场景、人脸、着装、文档图片、视频内容等识别&搜索综合系统,通过多维度解读图片内容,挖掘数据价值,使产品运营团队更好地描绘用户画像,帮助企业实现更精准的营销推送,内容审核,大数据挖掘。

  广泛应用于各类电商平台,视频直播平台,在线教育平台,大幅度提升产品&内容运营团队效率。在无人驾驶,家庭机器人,无人机,现实增强等前沿应用上提供嵌入式智能后台,以更加智能化的数据利用方式,增加用户粘度,扩展应用维度,激发更具想象力的用户体验。


线




×
联系我们
ERP、企业软件购买热线
400-018-7700
云服务产品销售热线
400-607-6657
集团客户投诉热线
400-691-8711
智能终端产品客服热线
400-658-6111