(T-CE: IEEE TRANSACTIONS ON CONSUMER ELECTRONICS)

S${}^2$Net: Shadow Mask-Based Semantic-Aware Network for Single-Image Shadow Removal

背景

本文贡献

网络结构

基于shadow-mask的语义感知网络

$I_s$：输入的阴影图像

$I_m$：实际的阴影mask

$I$：实际的无阴影图像

$\hat{I}$​：预测的去阴影图像

Backbone：11个堆叠的SDR

语义引导的扩展残差网络（SDR: Semantic-Guided Dilated Residual Block）

SDR的设计目的是为了保存和传播shadow-mask的先验知识。每个块由扩展卷积层->ReLu->扩展卷积层->SST->ReLu，最后送入SFF（Softmax feature fusion ），其分别收集11个SDR的输出，用来精细的融合重建。

扩展卷积用来增大感受野，提高表征能力，在网络中被设计为{1,1,2,2,4,8,4,2,2,1,1}

SST操作则用来合并shadow-mask的空间信息，公式如下：$F$表示输入特征图，$M$表示下采样mask，$\odot$表示矩阵Hadamard积运算
$${\mathcal{H}}_{\mathrm{SST}}(F,M)=F\odot (1-M)+\mathcal{C}(F,M)\odot M$$
${\mathcal{H}}_{\mathrm{SST}}$由两部分组成，第一部分保持非阴影区域特征不变，第二项则用来提取阴影区域，其中$\mathcal{C}(F,M)$表示为：
$$\mathcal{C}(F,M)=(1-\beta )\odot F_S+\beta \odot {\mathcal{C}}^{\ast }(F,M)$$
$\mathcal{C}(F,M)$设计的直观原因，是因为希望去阴影后的图片Mask区域应该与非阴影区域别无二致。这里$\beta$表示的是可学习的空间注意力权重，$F_S=F\odot M$，${\mathcal{C}}^{\ast }$表示为：
$${\mathcal{C}}^{\ast }(F,M)={\mu }_N+{\sigma }_N\frac{F_S-{\mu }_S}{{\sigma }_S}$$
为了达到两区域相同的效果，${\mathcal{C}}^{\ast }(F,M)$确保两区域有相似的均值和方差。

${\mu }_N$和${\sigma }_N$分别表示为非阴影区域特征的加权均值和标准差；${\mu }_S$和${\sigma }_S$分别表示为阴影区域特征的加权均值和标准差，它们的权重分别为$M$和$1-M$。

最后的SFF空间注意力模块，通过对特征图应用GAP和MP，将结果串联并送入$7\times 7$卷积网络，接sigmoid函数获得$\beta$。

精炼模块（Refinement Block）

设计一个精炼模块用来进一步的消除特征提取阶段遗留的不一致性和伪影，其结构如上图所示。不使用同样的卷积核权值，而是根据Mask的信息学习调制两区域不同的权值。

$F$和$M$进行合并，提取Mask内的原图信息，然后经过$3\times 3$卷积，再将生成的通道$c$分成$g$组，并应用核大小为$k$的组卷积。通过分组卷积操作用来建立空间像素信息与通道组间的关系，与直接使用不同通道的核方法对比，这样可以显著降低计算开销。这一部分过程如下：

最后依据公式将两者合并：

$$Z_{i,j,t}=\sum _{(u,v)\in \Omega }{W}_{i,j,t}^{u,v}\cdot F_{i+u,j+v,t},$$

损失函数

文章共使用了四种损失：像素损失、感知损失、颜色一致性损失、边界损失

像素损失（Pixel Loss）：使用$L_1$距离来度量
$${\mathcal{L}}_{\mathrm{pix}}=\frac{1}{N}\sum _{i=1}^N{\Vert I^i-{\hat{I}}^i\Vert }_1$$
感知损失（Perceptual Loss）：参照DHAN论文，现利用预训练网络VGG16提取$I$和$\hat{I}$的特征图，再计算其$L_2$距离
$${\mathcal{L}}_{\mathrm{per}}=\frac{1}{N}\sum _{i=1}^N{\Vert VGG\left(I^i\right),VGG\left({\hat{I}}^i\right)\Vert }_2^2$$
颜色一致性损失（Color Consistency Loss）：为了校正阴影去除图像中潜在的颜色偏差，表示如下，$C_R$、$C_G$、$C_B$分别表示三通道平均强度值
$${\mathcal{L}}_{\mathrm{col}}=\frac{1}{N}\sum _{i=1}^N\left[{\left(C_R^i-C_G^i\right)}^2+{\left(C_R^i-C_B^i\right)}^2+{\left(C_G^i-C_B^i\right)}^2\right]$$
边界损失（Boundary Loss）：使用$K\times K$均值滤波器和shadow-mask $I^m$卷积，得到平滑Mask $\hat{M}$。而由于边界部分混合了阴影和非阴影，对于边界像素使用如下函数表示，使其计算值处于${\hat{M}}_{min}$和${\hat{M}}_{max}$之间。
$$w(u,v)=\{\begin{array}{ll}{\hat{M}}_{\max }-\hat{M}(u,v),& \left(\hat{M}(u,v)>{\hat{M}}_{\max }/2\right)\\ \hat{M}(u,v),& \left(\hat{M}(u,v)\le {\hat{M}}_{\max }/2\right)\end{array}$$
这样最终的边界损失定义为：
$${\mathcal{L}}_{\mathrm{bd}}=\frac{1}{N}\sum _{i=1}^N\frac{{\sum }_{p\in I^{m^{\prime },i}}{\sum }_{q\in \Omega (p)}{\left(\left|I_q^{ij}-I_p^{ij}\right|-\left|{\hat{I}}_q^i-{\hat{I}}_p^i\right|\right)}^2\times w_p^{\prime i}}{I^{m^{\prime },i}}$$
全局损失的合成为：
$${\mathcal{L}}_{\text{all }}={\lambda }_{\text{pix }}{\mathcal{L}}_{\text{pix }}+{\lambda }_{\text{per }}{\mathcal{L}}_{\text{per }}+{\lambda }_{\mathrm{col}}{\mathcal{L}}_{\mathrm{col}}+{\lambda }_{\mathrm{bd}}{\mathcal{L}}_{\mathrm{bd}}$$

实验结果

数据集和评价标准

ISTD、ISTD+、SRD、SBU（无Ground truth，仅测试）

使用Lab颜色空间中的均方根误差(RMSE)来评估阴影去除性能，使用S、NS和ALL分别表示阴影区域、非阴影区域和整幅图像的RMSE值，越小去除效果越好。同时PSNR和SSIM也用来进行评价，它们是越大越好。

消融实验

分别验证SDR块的和精炼模块的效果：

精炼模块中核大小的实验结果：

边界损失核大小的实验结果：

边界损失中的局部变化区域调整实验结果：

损失函数效果展示：

和State-of-the-Art方法比较

ISTD数据集

ISTD+数据集

SRD数据集

SBU数据集

使用不同的shadow-mask

比较不同的获得shadow-mask的方法：

即使使用其它的生成方法作为shadow-mask的来源，与这些方法使用GT做shadow-mask进行比较，可以发现依然有明显的进步：