卷积基于深度卷积网络图像超分辨率译文董超资料

基于深度卷积网络图像超分辨率译文董超资料

基于深度卷积网络的图像超分辨率

摘要:提出一种深度学习方法单一图像超分辨率(S。我们的方法直接学习一个端到端的低/高分辨率图像之间的映射。映射表示为卷积神经网络(CNN的深处低分辨率图像作为输入和输出的高分辨率.我们进一步证明传统基于稀疏编码的S方法也可以被视为一个深卷积网络。但与传统方法的是分别处理每个组件,我们的方法共同优化所有层。我们深NN还一个轻量级的结构展示了先进的修复质量为达到快速的实际在线使用。我们将探讨不同的网络结构和参数设置来实现性能和速度之间权衡。此外,我们扩展我们的网络同时应对三个颜色通道并显示更好的整体重建质量。

1介绍 验,最近主要是采用最先进的方

单一图像超分辨率SR 法基于实例的6策略。这些

20] 旨在恢复高分辨率图像从 方法要么利用内部相似性的图像一个低分辨率图像,是计算机的 [5], [13 16 , 1   [47] ,一个经典问题愿景。这个问题本 或者从外部学习映射函数低收入质上是不适定的因为多样性存在 和高分辨率的范例对[2 , [4] ,对于任何给定的低分辨率的解决  ]     23    ,方案像素。换句话说它是一个 37 [   [2 4欠定的逆问题,并不是唯一的解 [8]  [   ]  51。外部的基决方案。这样的通常由约束减轻 于基于实例的方法可以制定通用问题解空间的先验信息。学习先 图像超分辨率或者可以设计合

基于深度卷积网络图像超分辨率译文董超资料

适领域特定的任务例如,人脸幻 径相当于深卷积神经网络[27觉30 ,    根据训练样 更多细节在3。 节。出于这本提供。 事实上我们考虑一个卷积神经

基于稀疏编码的方法[49], 网络直接学习一个端到端的低收

50]老代表外部基于实例的方 入和之间的映射高分辨率图像。法之一。这涉及几个步骤的解决 我们的方法从根本上不同于现有途径。首先,人口出现的重叠的块 外部基于实例的方法,在我们这输入图像和预处理如。 减去的 没有明确学习词典[41 4] 、意思是和归一化) 。这些块然后编 [50或繁殖[2] 、 []为建模的码由一个低分辨率的字典.稀疏 块空间。这些都是隐式地实现通的系数传入的高分辨率字典重建 过隐藏层.此外,块提取和聚合也高分辨率块.重叠重建块聚合 制定了卷积层所以在优化。在

如。通过加权平均来产生最 我们的方法中整个R途径完终的输出。这个途径通过基于最 全是通过学习,很少的前/后处外部的实例的方法共享,特别注 理。

意学习和优化词典 ]  [  、 我们命名该模型超分辨率卷

 0]或构建有效的映射功能 积神经网络(R CN  。被提

[25] 、 [41、 [2 , 47] 。然 议的RCN有一些吸引人的属而其余的途径已经很少优化或 性。首先,它的结构是故意设计简步骤考虑在一个统一的优化框 单,然而 相比之下最先进的基架。 于实例的方法提供了优越的准

在本文中,我们表明,上述途 确性。

基于深度卷积网络图像超分辨率译文董超资料

图所示.该超分辨率卷积神经 络可以应付三个通道的彩色图像网络RCNN超过双三次的基 同时实现超分辨率提高性能。线通过几个训练迭代,并优于基 总的来说本研究的贡献主于稀疏编码的方法   ] 要是在三个方面

与温和培训。性能可以进一步提 1)提出了一种完全卷积神经高更多的训练迭代。提供了更多 网络图像超分辨率。 网络直接学的细节4 1. 节(  t5数据集 习一个端到端的高低分辨率图像和一个升级的因素3) .该方法提 之间的映射,除了优化只有很少供了视觉吸引力重建图像。 的前/后处理.

图1显示了一个例子的比 2)我们之间建立一个关系基较。第二 中等数量的滤波器和 于深度学习的SR法和传统基于层我们的方法实现速度快为实 稀疏编码的SR方法.这种关系际在线使用即使在一个CP。我 为网络结构的设计提供了指导。们的方法比基于实例的数量方 3)我们证明深度学习是有用法 因为它是完全前馈和不需要 的经典计算机视觉的超限分辨问解决优化问题上使用.第三实验 题质量好,所能达到的水平速表明,修复质量网络可以进一步 度.

改善 当(i更大和更多不同的 提出了一种初步版本的这项数据集和或当2一个更大 工作早期的[11] 。 目前的工作增的和更深入的模型被使用。相反 加了初始版本在重要的方面。首更大的数据集/模型可以对现有 先,我们改善SRCNN引入大的滤基于实例方法的挑战。此外,该网 波器大小的非线性映射通过添加

基于深度卷积网络图像超分辨率译文董超资料

非线性映射层,探索更深层次的 进的性能。

结构层.其次我们延长SRN 内部基于实例的方法利用自处理三个颜色通道(CbC或 相似性特征并生成范例块输入图GB同时颜色空间) 。实验中,我们 像.这是Glasner首次提出的工证明,可以提高性能相比单通道 作16] 和几个改进的变异13] 网络。第三大量的新被添加到   提出了加快实现。外部分析和直观的解释最初的结果. 基于实例方法学习低/高分辨率我们也扩展原始实验从Set  块从外部数据集之间的映射。这

  和St 4[5  测试图 些研究不同于如何学习一个紧凑像BSD2 0  2] (200个测试图 的字典或多个空间来联系低/高像) 。此外,我们与许多最近发表 分辨率块和如何表示计划可以的方法和确认我们的模型仍然优 进行在这样的空间。弗里曼的先于现有方法不同的评价指标。 驱工作等。 [14],字典是直接呈现相关工作 低/高分辨率块对最近邻域NN)

2. 1图像超分辨率 的输入块是发现在低分辨率的空

根据图像先验单幅图片超 间,其相应的高分辨率块用于重分辨率算法可以分为四种类型 建。 Chng等。 4]引入流形嵌预测模型基于边缘的方法 图 入技术替代最近邻域策略。在杨像统计方法和基于块或基于实 工作[49 , [5 ] 上述最近邻域例的方法。这些方法已经彻底 通信的进步更复杂的稀疏编码形研究,评估在杨的工作[6] 。其 成。其他映射等功能内核回归,中基于实例的方法实现的最先 简单函数随机森林和锚定社区

基于深度卷积网络图像超分辨率译文董超资料

回归提出了进一步提高映射精度 十年[27和cn部分由于其成和速度.基于稀疏编码的方法及 功的形象分类最近显示出爆炸其几种改进[41  [4] 、 48] 性流行[18] 、 26] .他们也被成等在如今先进的几种SR方法当 功地应用于其他计算机视觉领域,中。在这些方法中,块是重点优化; 如对象检测34、 4 、  2块提取和聚合步骤视为前/后处 人脸识别[9行人检测[35。理和处理分别。 有几个因素的中央在这个进步重

大多数的R算法关注灰度 要性 i有效训练实现在现代或单通道图像超分辨率。对于彩 强大的pu[26 (  i提出的色图像上述方法首先将问题转 修正的线性单元RLU  3]化到不同的颜色空间(YCbCr或Y 使得收敛更快,同时还提出了好V SR只有在亮度通道.也有 质量26]  iii方便地访问大工作同时试图super- esol  量的培训数据如Igeet所有渠道.例如金和Kon2 9 )用于训练更大的模型。我 和AI tal 7]应用他们 们的方法也受益于这些进展。的模型到每个RB通道和他们 2.3图像恢复深度学习

相结合生成最终的结果。然而 有一些使用深度学习的研究没有一个分析了S性能不同的 图像恢复的技术.所有层的多层渠道及恢复所有三个渠道的必要 感知器(LP全(卷积相比,性. 适用于自然图像去噪po  t

2 卷积神经网络 blurr ig去噪[  和[3。

卷积神经网络(CN历经几 更多的与我们的工作密切相关

基于深度卷积网络图像超分辨率译文董超资料

卷积神经网络应用于自然图像去 恢复从Y图像F Y尽可能相似噪22和消除嘈杂的模式(污垢 地面真理的高分辨率图像x方便/雨) 1 ] .这些修复或多或少是 演示,我们仍然叫“低分辨率”dno  si —driven问题。 形象,虽然有相同的大小作为x崔等. [5 提出将  to 我们希望学习一个映射F,概念ncoder网络嵌入超分辨概念下 上包括三个操作:

途径内部基于样本方法16] 。深 1)块提取和表示:这个操作度模型不是特别设计为一个端到 从低分辨率图像提取重叠块端解决方案 因为每一层级联的 Y和代表每个块高维向量。这些要求独立的自相似性搜索过程和 向量组成组特征图等于数量向auto-encoder的优化。在相反 量的维数。

该SRNN优化端到端映射。此 2非线性映射此操作非线外 RCN更快的速度。它不 性把每个高维向量映射到另一个仅是一种定量方法优越但也实 高维向量.每个映射向量是高分际有用的. 辨率的概念上的表示块。这些向3卷积神经网络超分辨率 量构成另一组特性地图.

3 1制定 3重建:此操作集合以上高

考虑一个低分辨率的图像 分辨率atc-wis 表示来生我们第一次使用双立方插值来提 成最终的高分辨率图像。这图像升它到所需的尺寸是我们唯一 将类似于地面真理。perfr预处理。让我们表示插 我们将显示所有这些操作形值的图像作为y .我们的目标是 成一个卷积神经网络.网络的概

基于深度卷积网络图像超分辨率译文董超资料

述如图2所示。接下来我们详细 特征图。 1是n-dimnsi的定义每个操作. nal 向量的每个元素与一个滤

3. 1。 块提取和表示 波器。我们应用修正线性单元

在图像恢复如一个受欢迎 ReLU马克斯0, ))滤波器的策略。 1人口中提取的块 33] esone 4.

然后由一组pretraied基如 3所示.双立方插值也是一个卷P CA、 D,哈雾等等代表他们。 积操作,所以它可以作为卷积层这个相当于卷积滤波器的图像由 制定。然而输出的大小这一层一组这是一个基础.在我们的配 是大于输入大小所以有部分的方中我们涉及这些基地的优化 跨步.来利用流行的优化实现作的优化网络。在形式上,第一层表 为cda-covnet 2 ],我们示为一个操作F1 排除这“层"学习。

F Y) =mx 0 W1 ∗ 图所示。给定一个低分辨率的 +B1 ; (1 图像Y第一个卷积层RNN

1和1分别代表了滤波 提取一组特征图。第二层地图这器和偏见和“∗”表示卷积操作。 些特性非线性映射到高分辨率块这里 W1对应1滤波器的支持 表示。最后一层结合预测在一个c f××f 其中c是在输入 空间附近生成最终的高分辨率图图像通道的数量,f1是一个滤波 像F(Y

器的空间大小。直观地说 W1将 3. 1。 2非线性映射n1卷积用于图像每个卷曲内核 第一层每一个块提取一个大小c f1××1。输出组成n 1—diesional特性。在第二

基于深度卷积网络图像超分辨率译文董超资料

次手术,我们每个地图这些n1— 间.我们将探索更深层次的结构 i   ioa 向量n2— 通过引入额外的4.3。3节中非线 mensionl一个。这相当于 性映射层。

应用n2的滤波器一个简单的空 3 1.3重建

间支持1×1。这个解释是只有效 在传统的方法预测重叠高期为×1滤波器。但它很容易 分辨率块通常平均生产最后的完推广到更大的滤波器3×或 整图像。平均可以考虑作为一个5×5。在这种情况下,非线性的映 预定义的滤波器在一组特征图射不是在输入图像的一个块相 每个职位的“夷为平地”向量反在一个3×3或5×5 “块” 形式hihresolut o块。出地图的功能.的第二层是操作: 于这一点我们定义一个卷积层

F2()=x0W2∗F1 () 产生最终的高分辨率图片B2 : (  :FY) 3∗2Y+ 

这里W2包含2滤波器的大 3:  

小n×f2×2,和B2是n2维. W对应c n×3×f3滤每个输出的2维向量是一个高 波器的大小,和B3 c— 分辨率的概念上的表示块,将用 ension 向量。

于重建。 如果表示的高分辨率块在图

可以添加更多的卷积层增加 像域即。 我们可以简单地重塑非线性。但这可以增加模型的复 表示形成的块) ,我们期望的滤波杂性 ××f f2×n2参 器的行为像一个平均滤波器;如数一层,因此需要更多的训练时 果表示在一些其他领域的高分辨

基于深度卷积网络图像超分辨率译文董超资料

率块如。系数的一些基地 , 低分辨率块输入图像。稀疏编码我们预计3像首先投射系数上 的能手 aue—S i gn 图像域然后平均。无论哪种方 9 ,将第一个项目块到低分辨式,W一组线性滤波器。 率字典。如果字典大小是n1

有趣的是尽管上述三个操 这相当于应用n 线性滤波器作出于不同的直觉,他们都导致 f1×f 输入图像(平均减法相同的形式作为一个回旋的层. 也是线性的操作也会被吸收) 。随我们把所有三个操作结合在一起, 着中对此进行了阐述图3的左形成一个卷积神经网络图2。 部。

在这个模型中,所有的过滤权重 稀疏编码解算器将迭代过程和偏见进行了优化。尽管简洁的 n1系数。这个解算器的输出是n2整体结构,我们仔细SCNN模型 系数,通常n2=n1在稀疏的情况由绘画丰富的经验了从超分辨率 下编码。这些n系数的表示高的显著进展[49 , [5 ] 。在下一 分辨率块。在这个意义上,稀疏编节中,我们详细描述了关系。 码解决者的行为作为一种特殊的

3。  基于稀疏编码方法的关系 非线性映射运营商的空间支持1

我们表明基于稀疏编码的 × 。看到中间图3的一部分。R方法[4 ]  50]可以视为一 然而,稀疏编码的能手不是前馈个卷积神经网络。 图3显示了一 即。 ,它是一种迭代算法.在相反个例子。 我们的非线性算子是完全前馈,

在基于稀疏编码的方法让 可以有效地计算.如果我们设置我们考虑一下提取一个f1×f1 f2 = 1那么我们可以视为