没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！浅谈深度学习的发展及其在“图像处理”的应用
郝思媛　周立俭　赵琨【摘 要】目前，深度学习方法在图像处理、计算机视觉以及机器学习都得到了广泛的应用。然而，如何应用深度学习方法解决图像处理过程中的实际问题成为了学生们关注的焦点问题。本文以深度学习技术为主要脉络，研究如何有效提高图像处理课堂质量。希望可以为促进图像处理行业的快速发展提供一些参考和意见。【关键词】深度学习；图像处理在图像处理过程中，特征表达与融合技术是实现图像智能解译过程中一个非常重要的环节，直接影响到图像解译精度。然而，当前的特征提取方法往往忽略了图像的深层语义信息，解译准确度受到了极大的影响。深度学习理论的出现可以有效地解决这一问题，为图像特征学习提供可靠的技术保障，提取的特征更为抽象、鲁棒性更强且不受周围环境变化的影响。并且，完备的深度学习理论体系、丰富的网络模型、有效的在线研发工具、开放的应用案例都为深度学习引入高光谱图像处理中提供了必要的条件。1 深度学习的技术概述1.1 深度学习的发展1965年，Ivakhnenko和Lapa提出多层非线性特征模型，可认为是最早的深度学习模型，但是该模型没有使用后向传播算法对网络进行训练，且层与层之间也没有关联性[1]。随后，Fukushima提出了最早的卷积神经网络，包含多个卷积层和池层，但是该算法使用不断加强的策略训练网络，需要人工分配大权重给图像中的重要特征[2]。1989年，LeCun将卷积神经网络与后向传播算法结合，利用“LeNet”网络对数字图像进行分类。随后，梯度消失问题使深度学习的发展出现了空档，直到2006年，Hinton和他的学生Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，深度学习得到了全面的发展[3]。2015年，甚至有深度学习方面的专家预言“深度学习和机器智能”将会席卷全球，被应用于各个领域。Microsoft、IBM、Yahoo、百度等大公司争相成立了深度学习研究团队，将深度学习技术应用于语音识别、人脸识别、图像分类以及在线工具的研发中。说明深度学习发展的迅猛势头以及其对未来科技发展的重要作用[4]。1.2 典型深度学习算法自编码器和卷积神经网络是最为常用的深度学习方法，详细介绍如下：1）自编码器：是基于单像元（向量）的深度学习网络，先通过线性或非线性映射将输入层的数据映射到隐层得到相应的隐层表示形式，然后输出层通过最小化重构误差来对隐层表示进行重构原数据。在此过程中，隐层表示可以理解为原像元的一种隐层特征，较传统特征提取方法（如PCA），隐层表示具有抽象性、鲁棒性、自适应性等特点。因此，自编码器已被广泛用于图像特征提取领域。2）卷积神经网络是基于图像块的深度学习网络，输入是包含丰富空间邻域信息的图像块，因此通常利用卷积神经网络来提取图像的空间特征。此外，不同于自编码器的全连接网络，卷积神经网络采用局部连接和权值共享极大地降低了计算复杂度，成为目前应用最为广泛的深度学习网络。在考虑图像的空间纹理特征时，卷积神经网络是最为常用且有效的图像特征提取方法。2 在“图像处理”中具体应用在图像处理课程的学习过程中，学生所掌握的方法不能直观地体现在应用中，因此如何建立理论与应用的桥梁有助于学生更好地理解课程。笔者认为深度学习理论与方法对图像处理课程的学习至关重要。2.1 通过实践激发学生学习兴趣以自然图像为例，首先让学生们了解什么是自然图像。通过与灰色图像、高光谱图像进行对比，学习自然图像的基本特点，了解构成自然图像数据的特点。做到可以利用有效的视图工具将图像的不同彩色波段进行显示。这是图像处理课程的基本要求。在了解自然图像特征之后，利用Matlab编程语言实现图像处理课程涉及的特征提取方法以及分类方法。然后，利用自编码器和卷积神经网络对该自然图像进行处理，提取图像的深层语义特征，且与传统的图像特征进行对比，有益于学生更加深刻地理解深层语义特征的概念。当然在此过程中，学生也对深度学习网络的搭建、训练以及测试形成一个较为详细的了解。学生在处理过程中，按照“发现问题解决问题”的模式真正理解图像处理中的关键问题，同时对深度学习方法有了一个较为全面的认识。通过实践的方法解决学生在学习图像处理课程中的重点难点问题。2.2 利用现代技术进行教学改革随着技术的不断发展，学校对课堂基础设施的不断投入，老师们就需要利用各种先进的现代化技术提高学生的课堂质量，调动学生的兴趣。目前，出现了许多新型手机APP平台，其非常适用于高校教师，如对分易、校园集结号等。APP平台的灵活运用可以有效地促进学生与老师之间的互动。在图像处理的学习中，也可以引入各种APP管理软件，将课堂的重点、难点展示给学生。3 结论通过将深度学习方法引入到图像处理的课程中，可以提高学生的学习兴趣。同时，为学生的后续深造提供了基础铺垫作用。【参考文献】[1]A.G.Ivakhnenko， V. G. Lapa. Cybernetic Predicting Devices[J].Transdex，1965.[2]K.Fukushima.Neocognitron：A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J].Biol.Cybern. 3-202.[3]Hinton，G.E.and Salakhutdinov， R. R.. Reducing the dimensionality of data with neural networks[J].Science，（5786）：504-507.[4]陳涛，牛瑞卿，李平湘，张良培.基于人工神经网络的植被覆盖遥感反演方法研究[J].遥感技术与应用，）：24-30.[责任编辑：朱丽娜]endprint
2017年14期
科技视界的其它文章没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！如何上手深度学习中的图像领域？有这个资源库就够了
本页面收集了大量深度学习项目图像处理领域的代码链接。包括图像识别，图像生成，看图说话等等方向的代码，以便大家查阅使用。
图像生成 绘画风格到图片的转换：Neural Style
https://link.zhihu.com/?target=https%3A//github.com/jcjohnson/neural-style
这个项目是用 Torch 对 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的论文“A Neural Algorithm of Artistic Style”的一个实现。论文中提出一种算法，用卷积神经网络将一幅图像的内容与另一幅图像的风格进行组合。
图像类比转换：image-analogies
https://link.zhihu.com/?target=https%3A//github.com/awentzonline/image-analogies
“神经图像类比”（neural image analogies）这个项目基本上是 A. Hertzmann et. al（2001）的论文“Image Analogies”的一个实现。在这个项目中，我们使用了 VGG16 的特征，利用 Chuan Li, Michael Wand (2016) 的论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中描述的方法进行patch的匹配和混合。初始代码改编自 Keras 的“神经风格迁移”示例。
根据涂鸦生成图片：Neural Doodle
https://link.zhihu.com/?target=https%3A//github.com/alexjc/neural-doodle
使用深度神经网络把你的二流涂鸦变成艺术一般的作品！这个项目是 Champandard（2016）的论文 “Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks”的一个实现，基于 Chuan Li 和 Michael Wand（2016）在论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中提出的 Neural Patches 算法。
根据涂鸦类比图片：Sketchy
https://link.zhihu.com/?target=https%3A//github.com/janesjanes/sketchy
这个项目可以根据用户手绘的涂鸦，匹配出类似的图片。
根据图片生成铅笔画：Pencil
https://link.zhihu.com/?target=https%3A//github.com/fumin/pencil
把一副图像变成铅笔水粉画。
手写文字模拟：rnnlib
https://link.zhihu.com/?target=https%3A//github.com/szcom/rnnlib
这个项目可以做到手写文字模拟。
转换风景图片：Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes
https://link.zhihu.com/?target=http%3A//transattr.cs.brown.edu/
这个项目可以识别和理解图片中的风景，并且可以根据用户提出的条件，定向改变原风景画中的环境（比如more night）
图片变Emojis表情：What emojis will the Emojini 3000 grant your photos?
https://link.zhihu.com/?target=http%3A//engineering.curalate.com//emojinet.html
将用户提供的图片转化成相关的表情图标
增加图片分辨率：srez
https://link.zhihu.com/?target=https%3A//github.com/david-gpu/srez
srez（super-resolution through deep learning），即通过深度学习实现图像超分辨率。这个项目是利用深度学习将 16x16 的图像分辨率增加 4 倍，基于用来训练神经网络的数据集，所得到的图像具有鲜明的特征。
图片自动上色：Colornet
https://link.zhihu.com/?target=https%3A//github.com/pavelgonchar/colornet
Colornet 是一个给灰度图像自动上色的神经网络。
生成可爱的动漫头像：AnimeGAN
https://link.zhihu.com/?target=https%3A//github.com/jayleicn/animeGAN
使用PyTorch实现的GAN，可以自定义生成漂亮的动漫妹子头像，附带训练数据集哦！
骡子变斑马：CycleGAN and pix2pix in PyTorch
https://link.zhihu.com/?target=https%3A//github.com/junyanz/pytorch-CycleGAN-and-pix2pix.git
图到图的翻译，著名的 CycleGAN 以及 pix2pix 的PyTorch 实现。
强大的图像生成器：DiscoGAN in PyTorch
https://link.zhihu.com/?target=https%3A//github.com/carpedm20/DiscoGAN-pytorch.git
《Learning to Discover Cross-Domain Relations with Generative Adversarial Networks》的 PyTorch 实现。
使用RNN生成手写数字：DRAW implmentation
https://link.zhihu.com/?target=https%3A//github.com/skaae/lasagne-draw
使用RNN生成手写体数字。
使用CNN来放大图片：waifu2x
https://link.zhihu.com/?target=https%3A//github.com/nagadomi/waifu2x
使用CNN来放大图片，与普通图片放大不同的是，使用CNN“生成”放大，使低分辨率的图片在放大后也不会出现像素锯齿。
看图说话 根据图片生成一段描述：Show and Tell
https://link.zhihu.com/?target=https%3A//github.com/tensorflow/models/tree/master/im2txt
这是 Oriol Vinyals et. al.（2016）的论文“Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge”的用TensorFlow实现的 image-to-text 图片说明生成模型。
根据图片讲故事：neural-storyteller
https://link.zhihu.com/?target=https%3A//github.com/ryankiros/neural-storyteller
Neural-storyteller 是一个能够根据图像内容生成一个小故事的循环神经网络。这个 GitHub 库里包含了使用任意图像生成故事的代码，以及用于训练新模型的说明。
根据图片将故事2:NeuralTalk2
https://link.zhihu.com/?target=https%3A//github.com/karpathy/neuraltalk2
循环神经网络（RNN）可以用于给图像取标题。NeuralTalk2 比原始版本的 NeuralTalk 更快而且性能更好。与原来的 NeuralTalk 相比，NeuralTalk2 的实现是批量的，可以使用 Torch 在 GPU上运行，并且支持 CNN 微调。这些都使得语言模型（~100x）的训练速度大大加快，但由于我们还有一个 VGGNet，因此总体上的提升没有很多。但是这仍然是个好模型，可以在 2~3 天里训练好，而且表现出的性能非常好。
识别图片中的文字：CRNN for image-based sequence recognition
https://link.zhihu.com/?target=https%3A//github.com/bgshih/crnn.git
这个是 Convolutional Recurrent Neural Network (CRNN) 的 PyTorch 实现。CRNN 由一些CNN，RNN和CTC组成，常用于基于图像的序列识别任务，例如场景文本识别和OCR。
图像识别 用于物体识别的全卷积网络：PyTorch-FCN
https://link.zhihu.com/?target=https%3A//github.com/wkentaro/pytorch-fcn.git
一个性能出众的物体识别全卷积神经网络，使用PyTorch实现。
引入注意力的卷积网络：Attention Transfer
https://link.zhihu.com/?target=https%3A//github.com/szagoruyko/attention-transfer.git
论文 "Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer" 的PyTorch实现。
物体识别实例：Deep-Learning
https://link.zhihu.com/?target=https%3A//github.com/priya-dwivedi/Deep-Learning/blob/master/Object_Detection_Tensorflow_API.ipynb
一个基于Ipython Notebook的物体识别实例，使用了Tensorflow Object Dectection API
物体识别API：Tensorflow Object Detection API
https://link.zhihu.com/?target=https%3A//github.com/tensorflow/models/tree/master/object_detection
Google Tensorflow Object Dectection API 的开源代码。
推理场景结构：SfMLearner
https://link.zhihu.com/?target=https%3A//github.com/tinghuiz/SfMLearner
用单张图片推理场景结构：UC Berkeley提出3D景深联合学习方法
用于分辨色情图像的open_nsfw
https://link.zhihu.com/?target=https%3A//github.com/yahoo/open_nsfw
这是雅虎构建的用于检测图片是否包含不适宜工作场所（NSFW）内容的深度神经网络项目，GitHub 库中包含了网络的 Caffe 模型的代码。检测具有攻击性或成人内容的图像是研究人员进行了几十年的一个难题。随着计算机视觉技术和深度学习的发展，算法已经成熟，雅虎的这个模型能以更高的精度分辨色情图像。 由于 NSFW 界定其实是很主观的，有的人反感的东西可能其他人并不觉得如何。雅虎的这个深度神经网络只关注NSFW内容的一种类型，即色情图片，所以该模型不适用于检测素描、文字、动画、暴力图片等内容。
人脸识别：Open Face
https://link.zhihu.com/?target=https%3A//github.com/cmusatyalab/openface
OpenFace 是一个使用深度神经网络，用 Python 和 Torch 实现人脸识别的项目。神经网络模型基于 Google Florian Schroff 等人的 CVPR 2015 论文“FaceNet: A Unified Embedding for Face Recognition and Clustering” ，Torch 让网络可以在 CPU 或 CUDA 上运行。
易用人脸识别：Face_recognition
https://link.zhihu.com/?target=https%3A//github.com/ageitgey/face_recognition%23face-recognition
这也提供了一个简单的 face_recognition 命令行工具，你可以打开命令行中任意图像文件夹，进行人脸识别！
快速人脸识别：MobileID
https://link.zhihu.com/?target=https%3A//github.com/liuziwei7/mobile-id
据说是个超级快速的人脸识别程序，可以用在手机上
图像识别框架1：AlexNet & VGG Net & GoogleNet & ResNet
https://link.zhihu.com/?target=https%3A//gist.github.com/JBed/c2fb3ce8ed299f197eff
https://link.zhihu.com/?target=https%3A//github.com/fchollet/keras/blob/master/keras/applications/vgg16.py
https://link.zhihu.com/?target=https%3A//github.com/fchollet/keras/blob/master/keras/applications/inception_v3.py
https://link.zhihu.com/?target=https%3A//github.com/fchollet/keras/blob/master/keras/applications/resnet50.py
图像识别框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNet
https://link.zhihu.com/?target=https%3A//github.com/titu1994/Keras-ResNeXt
RCNN (基于区域的 CNN)
https://link.zhihu.com/?target=https%3A//github.com/yhenon/keras-frcnn
YOLO (You Only Look once)
https://link.zhihu.com/?target=https%3A//github.com/allanzelener/YAD2K
SqueezeNet
https://link.zhihu.com/?target=https%3A//github.com/rcmalli/keras-squeezenet
https://link.zhihu.com/?target=https%3A//github.com/imlab-uiip/keras-segnet
预训练的图像识别模型：functional-zoo
https://link.zhihu.com/?target=https%3A//github.com/szagoruyko/functional-zoo.git
由PyTorch和Tensorflow实现的常用图像识别模型包含预训练参数。
预定义的CNN过滤器： PyScatWave
https://link.zhihu.com/?target=https%3A//github.com/edouardoyallon/pyscatwave
一套预定义的filter，用于增强图像识别的效果。
计算图片中物体的相似度：Conditional Similarity Networks (CSNs)
https://link.zhihu.com/?target=https%3A//github.com/andreasveit/conditional-similarity-networks.git
《Conditional Similarity Networks》的PyTorch实现，可以根据不同的条件计算图片中物体的相似度。
图像理解 Visual Question Answering in Pytorch
https://link.zhihu.com/?target=https%3A//github.com/Cadene/vqa.pytorch.git
一个PyTorch实现的优秀视觉推理问答系统，是基于论文《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》实现的。项目中有详细的配置使用方法说明。
Facebook看图答题：Clevr-IEP
https://link.zhihu.com/?target=https%3A//github.com/facebookresearch/clevr-iep.git
Facebook Research 论文《Inferring and Executing Programs for Visual Reasoning》的PyTorch实现，讲的是一个可以基于图片进行关系推理问答的网络。
via https://zhuanlan.zhihu.com/p/
责任编辑：
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
今日搜狐热点