用于单图像超分辨率的对偶回归网络，达到最新SOTA | CVPR 2020
作者 | Yong Guo, Jian Chen等
译者 | 刘畅
出品 | AI科技大本营（ID:rgznai100）
通过学习从低分辨率（LR）图像到高分辨率（HR）图像之间的非线性映射函数，深度神经网络在图像超分辨率（SR）任务上取得了较好的性能。
但是，现有的SR方法存在两个缺点：第一，学习从LR到HR图像的映射函数通常是一个不适定问题，因为存在无限的HR图像可以降采样为同一LR图像，这使得很难找到一个好的解决方案。第二，成对的LR-HR数据在实际应用中可能并不适用，因为图像退化的方法通常是未知的。对于这种更一般的情况，现有的SR模型通常会产生较差的性能。
为了解决上述问题，本文提出了一种对偶回归方法，它通过引入对LR数据的附加约束来减少函数的解空间。
具体而言，除了学习从LR到HR图像的映射外，本文方法还学习了另外的对偶回归映射，用于估计下采样的内核并重建LR图像，从而形成了一个闭环，可以提供额外的监督。
更关键的是，由于对偶回归过程不依赖于HR图像，因此我们可以直接从LR图像中学习。从这个意义上讲，我们可以轻松地将SR模型适应于真实场景的数据，例如来自YouTube的原始视频。实验结果证明了本文方法是优于现有方法，且能在真实场景上取得较好的结果。
引言
深度神经网络（DNN）已成为许多实际应用的主力军方法，包括图像分类，视频理解等等。
最近，图像超分辨率（SR）已成为一个热门的方向，它主要是学习从低分辨率（LR）图像到高分辨率（HR）图像之间的非线性映射。目前已经提出了许多基于深度学习的超分辨重构方法。但是，这些方法主要有两个局限：
第一，学习从LR到HR图像的映射通常是一个不适定问题，因为存在无限多可能的HR图像可以降采样获得相同的LR图像。这会导致LR映射到HR图像的解空间变得极大。因此很难在如此大的空间中学习到好的解决方案，模型性能受到限制。为了提高SR的性能，可以通过增加模型的复杂度来设计有效的模型，例如EDSR，DBPN和RCAN。但是，这些方法仍然存在解空间大的问题，从而导致超分辨性能有限，不会产生细致的纹理（见图1）。因此，如何减少映射函数的解空间以提高SR模型的性能成为了比较重要的问题。
第二，当无法获取配对的数据时，很难获得较好的SR模型。这是由于大多数SR方法都依赖于成对的训练数据，即HR图像及其Bicubic降级后的LR图。但是实际情况是，未配对的数据通常更多。而且，真实世界的数据不一定与通过特定的降采样方法（例如，双三次）获得的LR图像具有相同的分布。因此，能处理实际场景的SR模型是非常具有挑战性的。更关键的是，如果我们将现有的SR模型直接应用于现实世界的数据，它们通常会带来严重的泛化性问题，并产生较差的性能。因此，如何有效利用未配对的数据以使SR模型适应实际应用是一个比较重要的问题。
在本文中，作者提出了一种新的对偶回归方法，该方案形成了一个闭环用以增强SR性能。
为了解决第一个问题，本文引入了一个额外的约束来减少可能的解空间，以使超分辨图像可以重构输入的LR图像。
理想情况下，如果来自LR→HR的映射是最佳的，那么可以对超分辨图像进行降采样以获得相同的输入LR图像。在这样的约束下，我们能够估计出下采样内核，从而减少可能的函数空间，找到从LR到HR较好的映射。因此，这会变得更容易获得好的SR模型（请参见图1中的比较）。
为了解决第二个问题，由于LR图像的回归不依赖于HR图像，因此我们的方法可以直接从LR图像中学习。通过这种方式，本文方法可以轻松地将SR模型调整为适用于现实世界中的LR数据，例如来自Youtube的原始视频。实验证明了本文的方法优于SOTA方法。
本文的贡献总结如下：
本文通过引入其他约束条件提出了对偶回归方法，以便形成闭环的映射，可以增强SR模型的性能。此外，本文还从理论上分析了该方案的泛化能力，从而进一步证实了该方案是优于现有的方法。
本文研究了更通用的超分辨率情况，如没有相应HR数据的真实LR数据。利用提出的对偶回归方法，可以轻松地将深度模型调整为适用于现实世界的数据，例如YouTube的原始视频。
利用配对的训练数据和未配对的真实场景数据做了大量的SR实验，证明了本文所提出的对偶回归方法在图像超分辨率中的有效性。
方法
本文提出了一种对偶回归方法来处理配对的和非配对的训练数据，以实现超分辨率（SR）重构。总体的训练方案如图2所示。
针对配对的训练数据，主要是通过对LR数据引入了一个附加约束，除了学习LR 到HR的映射外，本文还学习了从超分辨图像到LR图像的逆映射。实际上，作者将SR问题公式化为涉及两个回归任务的对偶回归模型。损失函数如下图所示，包含两部分，一个是P网络的损失，一个是D网络的损失，权重推荐设置为0.1。
针对未配对的训练数据，作者还考虑了更一般的SR情况，对应真实场景的数据，是没有对应的HR数据可以用于训练。因此作者提出了一种有效的训练方法，可以使SR模型更适应新的LR数据，训练算法如下所示。
这是一种半监督的学习方法，使用配对的数据训练P网络，使用没有配对的数据训练D网络。目标函数如下，其中当使用有标签的数据时，1Sp为1，当使用没有标签的数据时，1Sp为0。
网络的整体结构如下图所示，它是基于U-Net设计的超分辨网络。本文的DRN模型由两部分组成：原始网络和对偶网络。作者还给出了详细的理论证明，这里就不赘述了，详情可以参见论文。
实验
作者在具有成对的Bicubic数据和不成对的真实数据情况下，对图像超分辨率任务进行了广泛的对比实验。所有实现均是基于PyTorch框架。测试数据集是五个基准数据集，包括SET5，SET14，BSDS100，URBAN100和MANGA109。评价指标是常用的PSNR和SSIM。训练集是DIV2K和Flickr2K数据集。
作者首先展示了4x和8x SR的性能和模型大小的比较。在实验中，作者提出了两种模型，即小模型DRN-S和大模型DRN-L。而对比的方法是从它们的预训练模型，开源的代码或是原始论文中获得的结果。结果如下：
还提供了4倍超分辨和8倍超分辨下，各方法性能对比的曲线图。
作者还研究了P网络和D网络两个损失函数之间的权重影响。以及是否加对偶学习的影响。如下表格所示。
最后，作者对比了在真实场景下的重构效果，这里仅展示了视觉上的结果。也对比了使用不同插值方法下的效果，可发现本文的效果均是最优的。
结论
在本文中，作者提出了一种针对配对和非配对数据的对偶回归方法。在配对数据上，作者通过重构LR图像来引入解空间的约束，可以显著提高SR模型的性能。此外，本文还将重点放在未配对的数据上，并将对偶回归方法应用于实际数据，例如来自YouTube的原始视频。对成对和非成对数据的大量实验证明了本文的方法是优于基准方法。
论文地址：
https://arxiv.org/pdf/2003.07018.pdf
【end】◆精彩推荐◆对存在潜伏期的新冠肺炎，快速分析其传染关系及接触关系，积极采取隔离、观察和治疗措施是非常有利的防控疫情的科学防控依据。周四（明晚）20点，我们一起来看Sophon KG如何追寻新冠病毒轨迹，运用AI技术、工具建立相关知识图谱，通过确诊案例的亲属、同事和朋友的关系网找出密切接触者进行及时隔离，同时刻画出确诊案例的活动轨迹，找到其关系网之外的密切接触者及病毒可能的“行凶环境”。推荐阅读百万人学AI：CSDN重磅共建人工智能技术新生态154万AI开发者用数据告诉你，中国AI如何才能弯道超车？技术大佬的肺腑之言：“不要为了AI而AI”！| 刷新 CTO悼念前端大牛司徒正美业内最大的“空气币”——以太坊？Spark3.0发布了，代码拉过来，打个包，跑起来！你点的每个“在看”，我都认真当成了AI
相关文章：
老生常谈，joomla wordpress drupal，你该选择哪个CMS？
本人从事Joomla建站多年，给客户建站都是用Joomla，所以我会极力推荐你选择Joomla？ No No No，这样未免太Hard sale了。 虽然这是一个会经常被提到的问题，网上也有不少优秀的答案，但我还是想把自己的想法跟大家…
利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配
TCMalloc的全称为Thread-Caching Malloc，是谷歌开发的开源工具google-perftools中的一个成员。与标准的glibc库的Malloc相比，TCMalloc库在内存分配效率和速度上要高很多，这在很大程度上提高了服务器在高并发情况下的性能，从而降低…
Silverlight Analytics Framework(开源分析框架)
Silverlight Analytics Framework是由微软官方推出的WPF/Silverlight扩展Web分析框架.该框架与10余家第三方分析服务结合，使应用可以跟踪程序如何使用的详细情况，为用户提供诸如可用性和视频质量等细节分析。用户可以了解到这些应用软件的使用细节&#…
Python炫技操作：条件语句的七种写法
作者 | 写代码的明哥来源 | Python编程时光有的人说 Python 入门容易，但是精通难的语言，这点我非常赞同。Python 语言里有许多（而且是越来越多）的高级特性，是 Python 发烧友们非常喜欢的。在这些人的眼里，能…
puppet(1.7-2.1)
puppet配置模块(一)模块是puppet的最大单元，模块里面有类，类下面有资源。同步文件、远程执行命令、cron等叫做资源，都是通过模块来实现的。下面我们来定义一个模块：在服务端上做如下操作：mkdir /etc/puppet/modules/te…
ldconfig动态链接库管理以及修改ld.so.conf.d
将"/usr/local/lib"加入配置文件重 执行命令： #echo "/usr/local/lib" >> /etc/ld.so.conf 然后再直接执行： #ldconfig /etc/ld.so.conf.d/* 或/etc/ld.so.conf和ldconfig. /etc/ld.so.conf.d/*目录下的文件和/etc/ld.so.co…
深度残差收缩网络：借助注意力机制实现特征的软阈值化
作者 | 哈尔滨工业大学（威海）讲师 赵明航本文解读了一种新的深度注意力算法，即深度残差收缩网络（Deep Residual Shrinkage Network）。从功能上讲，深度残差收缩网络是一种面向强噪声或者高度冗余数据的特征学…
如何在同一台电脑上多个账户同时登陆MSN
一般情况下，在一台电脑上只能启动一个msn进程，所以当想多个账户在同一台电脑上同时登陆时，就无法实现了。我们可以使用MSNShell来实现多个账户的同时登陆。MSNShell下载地址：http://www.msnshell.netMSNShell系统要求：…
LINUX动态链接库的创建与使用
大家都知道，在 WINDOWS系统中有很多的动态链接库(以.DLL为后缀的文件，DLL即Dynamic Link Library)。这种动态链接库，和静态函数库不同，它里面的函数并不是执行程序本身的一部分，而是根据执行程序需要按需装入ÿ…
多模态商品推荐与认知智能背后的数学
在数据挖掘领域，KDD CUP是最有影响力、最高水平的国际顶级赛事，堪称大数据的“奥运会”。阿里巴巴作为KDD CUP 2020的主办方为参赛团队准备了两大赛题，第一道是关于“电商场景的多模态商品推荐”，下面就这一道题目从认知智能与数学…
Asp.net MVC2.0系列文章-运行Web MVC2.0 Demo
安装VS2010 首先安装VS2010，安装过程请参考文章：http://www.cnblogs.com/ywqu/archive/2010/01/27/1657450.html。创建第一个MVC2.0程序 新建一个asp.net MVC2.0网站程序，如下图：提示是否新建单元测试工程，选择创建Uni…
one pragmatical sqlhelper
namespace ConsoleApplication2 {using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Data;using System.Data.SqlClient;using System.Configuration;public class SqlHelper{/// <summary>/// 连接字符串/// </summa…
LINUX动态链接库高级应用
在《 LINUX下动态链接库的创建与应用》 一文中,我介绍了LINUX动态链接库的基本知识.其要点是:用户根据实际情况需要,利用dlopen,dlsym,dlclose等动态链接库操作函 数,装入指定的动态链接库中指定的函数,然后加以执行.程序中使用很少的动态函数时,这样的做法尚可.如果程序需要调…
林轩田机器学习基石课程学习笔记1 -- The Learning Problem
来源 | AI 算法与图像处理 主要内容What is Machine LearningApplications of Machine LearningComponents of Machine LearningMachine Learning and Other FieldsWhat is Machine Learning什么是“学习”？学习就是人类通过观察、积累经验，掌握某项技能…
裸创，你敢吗？
呵呵
ecshop修改注册、增加手机
1.去掉“用户名”注册 a.去掉提交 user_passport.dwt页面去掉 <input name"username" type"text" size"30" id"username" οnblur"is_registered(this.value);" class"input_login" />提交 b.去掉js表单验证…
使用NetBeans IDE开发C程序
使用NetBeans IDE开发C程序 在windows下开发调试linux环境的代码，同时还可以拷贝到Linux环境。 其实是NetBeans可以连接到远程Linux服务器，使用其中的GNU编译环境。 1.打开NetBeans，新建C/C项目： 下一步： 如果之前配置…
实验七 访问列表配置
实验七 访问列表配置 预备知识： ACL指令的放置顺序是很重要的。 当路由器在决定是否转发或者阻止数据报的时候，Cisco的IOS软件，按照ACL中指令的顺序依次检查数据报是否满足某一个指令条件。 当检测到某个指令条件满足的时候，就不会…
京东商城背后的AI技术能力揭秘 - 基于关键词自动生成摘要
来源 | 京东智联云开发者过去几十年间，人类的计算能力获得了巨大提升；随着数据不断积累，算法日益先进，我们已经步入了人工智能时代。确实，人工智能概念很难理解，技术更是了不起，背后的数据和算法…
CSS哲学伪命题
标题党。这篇文章断断续续的修改过好几次，也没有满意，本来是想总结一下我这些零散的 CSS 知识结构，可能由于知识体系不全面，总是没能把知识点串联成一个通顺的内容。贴出来权当大家一起讨论下“前世今生”。文章后续可能会不定时更…
Linux TCP/IP协议栈笔记
数据包的接收作者：kendoKernel：2.6.12一、从网卡说起这并非是一个网卡驱动分析的专门文档，只是对网卡处理数据包的流程进行一个重点的分析。这里以Intel的e100驱动为例进行分析。大多数网卡都是一个PCI设备，PCI设备都包含了一个标…
技术大佬的肺腑之言：“不要为了 AI 而 AI”！ | 刷新 CTO
扫描上方二维码直达精彩回顾整理 | 伍杏玲出品 | CSDN（ID：CSDNnews）据 CSDN 最新数据统计显示，在 CSDN 3000万的注册开发者中，689 万开发者有阅读、撰写与研究 AI 技术的行为，聚焦 AI 学习及应用的开发者人…
Silverlight中使用CompositionInitializer宿主MEF
MEF可以在传统应用程序中使用（包括桌面的Winform、控制台程序和Web的ASP.NET），也可以在RIA的Silverlight中使用。在Silverlight中只是宿主的方式有所不同，实际上在Silverlight中也可以像传统应用程序中是方式去宿主，ME…
Verilog与SystemVerilog编程陷阱：怎样避免101个常犯的编码错误
这篇是计算机类的优质预售推荐>>>>《Verilog与SystemVerilog编程陷阱：怎样避免101个常犯的编码错误》 编辑推荐 纠错式学习，从“陷阱”中学习编程，加深对语言本身的理解。逆向式学习，从错误中学习避免错误的方法。让读…
Linux网卡驱动程序编写
Linux网卡驱动程序编写 [摘自 LinuxAID] 工作需要写了我们公司一块网卡的Linux驱动程序。经历一个从无到有的过程，深感技术交流的重要。Linux作为挑战微软垄断的强有力武器，日益受到大家的喜爱。真希望她能在中国迅速成长。把程序文档贴出来࿰…
旷视提双边分支网络BBN：攻坚长尾分布的现实世界任务 | CVPR 2020 Oral
作者 | 旷视研究院出品 | AI科技大本营（ID:rgznai100）导读：本文是旷视 CVPR 2020 论文系列解读文章，也是 CVPR 2020 Oral展示论文之一，它揭示了再平衡方法解决长尾问题的本质及不足：虽然增强了分类器性能&a…
kissy core
http://code.google.com/p/kissy/转载于:https://www.cnblogs.com/pinnasky/archive/2010/07/07/1772646.html
VIM多窗口编辑
vim提供多窗口编辑的功能，可以简化复合的编辑任务。vim的多窗口并不是说在终端上启动多个vim实例。启动多窗口编辑 viｍ的多窗口是动态的，可以开始编辑时就打开多窗口，也可以工作时随时增加新窗口，或者删除一个窗口。$ …
从Nginx绑定80端口学套接字编程
《UNIX网络编程(卷1)：套接字联网API(第3版)》 ngx_connection.c ngx_int_t ngx_open_listening_sockets(ngx_cycle_t *cycle) {int reuseaddr;ngx_uint_t i, tries, failed;ngx_err_t err;ngx_log_t *log;ngx_socket_t …
中国无人机“老炮儿”回忆录
整理 | 夕颜采访嘉宾 | 刘宾，通飞航空总工程师、飞行教员来源 | CSDN（ID:CSDNnews）今天的采访嘉宾有些与众不同，在我的印象中，这是一位不原意用“中国式”讲话与人沟通的人，因为费劲，也只有在回…