0
雷锋网 AI 研习社按,DeepLab 是一种用于图像语义分割的顶尖深度学习模型,其目标是将语义标签(如人、狗、猫等)分配给输入图像的每个像素。经过三年左右的发展,目前 DeepLab 具有如下功能:
DeepLabv1:结合深度卷积神经网络,使用空洞卷积(atrous convolution)进行语义分割
DeepLabv2:基于 DeepLabv1 的优化,使用空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)对物体进行有效的分割
DeepLabv3:采用多比例的带孔卷积级联或并行来捕获多尺度背景,基于图像特征优化 ASPP
DeepLabv3+ :对 DeepLabv3 的扩展,包括一个简单而高效的改善分割结果的解码器模块
目前来说,在图像语义分割上,DeepLabv3+ 已是业内顶尖水准。就在近日,谷歌宣布开源 DeepLabv3+,语义分割研究党的福利来啦。
雷锋网 AI 研习社将相关信息编译整理如下:
语义图像分割(Semantic Image Segmentation)是为图像中的每个像素分配一个语义标签(如「路」、「天」、「人」、「狗」)的任务,能应用于新的应用程序中,例如基于 Pixel 2 和 Pixel 2 XL 智能手机肖像模式产生的浅景深效果,手机实时视频分割。分配这些语义标签需要精确定位物体的轮廓,因此比其他视觉实体识别任务(例如图像分类或边框检测)有着更严格的定位精度要求。
今天,我们很高兴地宣布将谷歌目前最新的、性能最好的语义图像分割模型——DeepLab-v3+开源(在 TensorFlow 中实现)。这一次的发布包含建造在一个强大的卷积神经网络(CNN)主干架构之上的 DeepLab-v3+ 模型,用于服务器端部署。
此外,我们还公开了 Tensorflow 模型训练和评估代码,还有已经在 Pascal VOC 2012 和 Cityscapes 语义分割任务上预训练过的模型。
自从 3 年前研究出 DeepLab 模型,我们不断改进 CNN 的特征提取器,实现更好的对象尺度建模,对上下文信息的进行更好的吸收,改进训练程序,应用越来越强大的硬件和软件,这些使 DeepLab-v2 和 DeepLab-v3 得到不断改进。
在使用 DeepLab-v3+时,我们可以通过添加一个简单但有效的解码器模块来扩展 Deeplabv3,从而改善分割结果,特别是用于对象边界检测时。我们进一步将深度可分离的卷积应用于空洞空间金字塔池化(atrous spatial pyramid pooling)和解码器模块,从而形成了一个用于语义分割的更快速、更强大的编——解码器网络。
基于卷积神经网络(CNNs)的现代语义图像分割系统已经达到了精确的水平,这在五年前是难以想象的,这要归功于方法、硬件和数据集的发展。
我们希望与广大的研究社群分享我们的系统,这样一来,学术界和工业界的团体能够更容易地复制和改进现有系统,在新的数据集上训练模型,并为这项技术设想新的应用。
GitHub 地址:https://github.com/tensorflow/models/tree/master/research/deeplab
相关论文:
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Xception: Deep Learning with Depthwise Separable Convolutions
Deformable Convolutional Networks — COCO Detection and Segmentation Challenge 2017 Entry
Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs
Rethinking Atrous Convolution for Semantic Image Segmentation
雷锋网 AI 研习社编译整理。
雷峰网版权文章,未经授权禁止转载。详情见转载须知。