微信公众号开发 rinetd GraphQL 私有云平台 iic less sqlite matplotlib matrix gridview camera vuejs 教程 angular视频教程 pmp视频 网校直播系统 jquery的点击事件 当前线程等待5秒 增删改查sql语句 java获取字符串 oracle存储过程返回值 python打开文件夹 java对象 java语法基础 java中继承 java时间类 java地址 java中的注释 java文件输入输出 opengl编程指南 网络电视软件下载 h370主板 js删除节点 cfqq网吧任务 maya2016教程 abr文件 视频后期处理软件 重复文件查找软件 神牧属性 启用宏在哪里设置 熊猫头表情包制作
当前位置: 首页 > 学习教程  > 编程语言

皱眉细节完美复刻,阿尔伯塔大学团队标星1.7K的项目生成超逼真的肖像画

2020/11/24 10:05:57 文章标签: 测试文章如有侵权请发送至邮箱809451989@qq.com投诉后文章立即删除

深度卷积神经网络已经被广泛用于显著目标检测,并获得了 SOTA 的性能。在 CVPR 2019 的一篇论文中,来自加拿大阿尔伯塔大学的研究者曾提出了边界感知显著目标检测网络 BASNet,并衍生出了一系列流行的工具。今年,该团队又提出了一种…

深度卷积神经网络已经被广泛用于显著目标检测,并获得了 SOTA 的性能。在 CVPR 2019 的一篇论文中,来自加拿大阿尔伯塔大学的研究者曾提出了边界感知显著目标检测网络 BASNet,并衍生出了一系列流行的工具。今年,该团队又提出了一种用于肖像画生成的深度网络架构 U^2-Net,不仅所需的计算开销较少,而且生成肖像画具有丰富的细节。该论文被 ICPR 2020 会议接收。

从人脸图片生成艺术肖像画的 AI 应用不在少数,但效果惊艳的不多。上面这张图片中的输入 - 输出结果,来源于一个 GitHub 热门项目 U^2-Net (U square net),开源至今已经获得了 1.7K 的 star 量。

这项研究来自阿尔伯塔大学的一个团队,论文此前已被国际模式识别大会 ICPR 2020 会议接收。

  • 论文链接:https://arxiv.org/pdf/2005.09007.pdf

  • 项目地址:https://github.com/NathanUA/U-2-Net

最近,研究者又将其应用于人脸肖像画的生成中,并基于 APDrawingGAN 数据集为此类任务训练了新的模型。不管是儿童肖像还是成年男性、成年女性,都能获得相当细致的生成结果:

近年来,显著性目标检测广泛应用于视觉跟踪和图像分割等领域。随着深度卷积神经网络(CNN)的发展,尤其是全卷积网络(FCN)在图像分割领域的兴起,显著性目标检测技术得到了明显的改善。

 

大多数 SOD 网络的设计都有一个共同的模式,也就是说,它们专注于充分利用现有的基础网络提取的深度特征,例如 Alexnet、VGG、ResNet、ResNeXt、DenseNet 等。但这些主干网络最初都是为图像分类任务设计的。它们提取代表语义含义的特征,而不是代表局部性细节或全局对照信息,这对于显著性目标检测至关重要。并且这些网络通常需要在 ImageNet 数据上进行预训练,效率比较低。

 

为了解决这个问题,阿尔伯塔大学的研究者提出了 U^2-Net。研究团队在论文中介绍,U^2-Net 是一个简单而强大的深度网络架构,其架构是两层嵌套的 U 形结构。该研究提出的 ReSidual U-block(RSU)中混合了不同大小的接收域,因此它能够从不同尺度中捕获更多的语境信息。此外,RSU 中使用了池化操作,因此在不显著增加计算成本的情况下,也能够增加整个架构的深度。

 

方法

 

在方法部分,研究者不仅详细阐释了其提出的残差 U-block 以及利用该 U-block 构建的嵌套 U 形架构,而且还描述了该网络的监督策略和训练损失。

 

残差 U-block

 

受到 U-Net 网络的启发,研究者提出了新型残差 U-block(ReSidual U-block, RSU),以捕获阶段内的多尺度特征。RSU-L (C_in, M, C_out)的结构如下图 2 (e)所示,其中 L 表示编码器中的层数,C_in、C_out 分别表示输入和输出通道,M 表示 RSU 内层通道数。

本研究提出的 RSU 与现有其他卷积块的结构对比

 

具体而言,RSU 主要有三个组成部件,分别是一个输入卷积层、一个高度为 L 的类 U-Net 对称编码器 - 解码器结构以及一个通过求和来融合局部和多尺度特征的残差连接。

 

为了更好地理解设计理念,研究者在下图 3 中对 RSU 与原始残差块进行了比较。结果显示,RSU 与原始残差块的最大区别在于 RSU 通过一个类 U-Net 的结构替换普通单流卷积,并且通过一个由权重层转换的局部特征替换原始特征。

更值得注意的是,得益于 U 形结构,RSU 的计算开销相对较少,因为大多数运算在下采样特征图中应用。下图 4 展示了 RSU 与其他特征提取模块的计算成本曲线图:

U^2-Net 架构

 

研究者提出了一种用于显著目标检测的新型堆叠 U 形结构 U^n-Net。从理论上讲,n 可以设置成任意正整数,以构建单级或多级嵌套 U 形结构。研究者将 n 设置为 2 以构建二级嵌套 U 型结构 U^2-Net,具体如下图所示:

具体而言,U^2-Net 主要由三部分组成:(1)6 阶段编码器;(2)5 阶段解码器;(3)与解码器阶段和最后编码器阶段相连接的显著图融合模块。

 

总的来说,U^2-Net 的设计构建了具有丰富多尺度特征以及较低计算和内存成本的深度架构。此外,由于 U^2-Net 架构仅在 RSU 块上构建,并且没有使用任何经过图像分类处理的预训练主干网络,所以在性能损失不大的情况下 U^2-Net 可以灵活且方便地适应不同的工作环境。

 

监督

 

在训练过程中,研究者使用了类似于整体嵌套边缘检测(Holistically-nested edge detection, HED)的深度监督算法。训练过程定义如下:

训练过程努力将上述公式 (1) 的整体损失最小化。在测试过程中,研究者选择将融合输出 l_fuse 作为最终显著图。

 

实验

 

研究者在 DUTS-TR 上训练了 U^2-Net 网络,该数据集包含 10553 张图片,是目前最大和最常用的显著目标检测数据集。研究者对数据进行了水平翻转,总共获得了 21106 张训练图像。在评估阶段,研究者使用了 DUTOMRON、DUTS-TE、HKU-IS、ECSSD、PASCAL-S、SOD 六个常用的基准数据集来评估方法。

 

控制变量研究

 

实验从三个方面来验证 U^2 -Net 的效果:基本块、架构和主干网络。

表 2:不同模块的控制变量实验结果。“PLN”、 “RES”、 “DSE”、“INC”、“PPM” 和 “RSU” 分别代表普通卷积块、残差块、 密集块、初始化块、金字塔池化模型和残差 U-block。粗体字代表的是性能最佳的两种。

 

不同方法性能对比

 

下表 3 展示了在 DUT-OMRON、DUTS-TE、HKU-IS 三个数据集上,本文方法与其他 20 种 SOTA 方法的对比。红、绿、蓝分别代表了性能上的最佳、第二和第三。

下表 4 展示了在 ECSSD、PASCAL-S 和 SOD 三个数据集上的方法对比结果。

下图 7 展示了本文方法与其他 7 种 SOTA 方法定性比较的结果。(a) 是原图, (c)是本文方法的生成结果。


本文链接: http://www.dtmao.cc/news_show_400222.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?