BM3D Method Combined with Non-subsampled Shearlet Transform for Removing Image Noise
-
摘要: 强噪声图像去噪一直是图像处理技术应用领域研究的热点,为进一步提高强噪声图像的去噪质量和对图像边缘的保护,针对三维块匹配(Block Matching 3D,BM3D)方法对强噪声图像去噪效果不佳及图像线状奇异性(如边缘)缺乏最优表示的问题,提出了基于二维非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)和BM3D的组合去噪方法。该方法首先对含噪图像进行NSST正变换,得到不同尺度和不同方向高频子带的剪切波系数;然后对每个尺度不同方向的高频子带求取贝叶斯阈值,并利用渐进半软阈值函数对各高频子带进行去噪;最后对低频子带和各去噪高频子带进行NSST逆变换,得到去噪结果。将去噪图像作为BM3D中基础估计阶段的预滤波,能够进一步提高基础估计阶段分组的正确性,为BM3D去噪奠定良好基础。组合去噪方法结合了NSST与BM3D的各自优势,仿真试验结果表明,对于低噪声图像,本方法和BM3D方法去噪效果相同,略优于非局部平均法;对于强噪声卫星影像,本方法去噪效果优于BM3D和非局部平均法。Abstract: Image denoising with strong noise (noise standard deviation σ≥40) is always a hot topic in the application field of image processing technology. In order to further improve the denoising quality and edge protection of images with strong noise, a combined denoising method based on 2D non-subsampled shearlet transform and BM3D was proposed to solve the problems of poor denoising effect of block-matching 3D (BM3D) on strong noise images and the lack of optimal representation of linear singularity (such as edge). Shearlet transform provides a local, multi-scale and multi-direction analysis method that can optimally represent the linear singularity of image. BM3D method has the best effect on image noise reduction (σ<40) among traditional noise reduction methods. The denoising steps of the combined method are as follows: Firstly, NSST forward transform is performed on the image with noise, and the shear wave coefficients of high-frequency subbands with different scales and directions are obtained. Then the Bayesian threshold values of the high-frequency subbands in different directions of each scale are obtained and the asymptotic semi-soft threshold function is used to denoise the high-frequency subbands. Finally, NSST inverse transform is performed on the low frequency subband and all the denoised high frequency subbands to obtain the denoising results. The denoised image is used as the pre-filter in the basic estimation stage of BM3D, which can further improve the correctness of the grouping in the basic estimation stage and lay a good foundation for the denoising of BM3D. The method of this paper combined the advantages of NSST and BM3D. Simulation results show that for low noise images, the method has the same denoising effect as BM3D, slightly better than that of NLmeans method. The method is superior to BM3D and NLmeans method for the denoising effect of satellite images with strong noise.
-
Key words:
- NSST /
- BM3D /
- Bayesian threshold /
- Linear singularity /
- Asymptotically semi-soft threshold function
-
引言
高分辨率遥感图像在地震应急救灾中具有广泛的应用价值,如无人机图像和高分辨率卫星影像能够快速获得极震区和高烈度区的震害信息,为震害快速评估及抢险救灾提供快速、准确的决策依据。但在图像获取和传输过程中,通常会引入大量噪声,给图像分析、后续处理和应用带来了严重影响(张杰等,2019)。因此,在图像预处理中,在有效去除强噪声的同时尽量保护图像的有用信息(如边缘等)至关重要(邓开元等,2019;赵洪臣等,2019)。目前,图像去噪方法主要有基于空间域的去噪方法、基于变换域的去噪方法和基于混合域的去噪方法。
空间域方法分为局部滤波和非局部滤波方法,前者主要包括高斯滤波、双边滤波、中值滤波和维纳滤波方法等,这类方法利用图像的局部相关性,采用各种平滑模板去除高频噪声或锐化模板突出图像细节,易模糊图像边缘;后者主要为非局部平均法(Non-local means,NL means),该方法利用图像的非局部相关性,以图像子块为单位,在图像中寻找相似区域,对这些区域求平均,不仅能够更好地去除图像中存在的高斯白噪声,还能够有效保护图像的边缘信息(Buades等,2005)。
变换域方法包括傅里叶变换、余弦变换、小波(Wavelet)变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换和剪切波(Shearlet)变换等去噪方法。其基本思想是将图像从空间域转换到变换域,从时频或空频角度将噪声分为高、中、低频噪声,在变换域去噪后反变换到空间域,达到去除或抑制噪声的目的(马科,2014)。Wavelet变换虽能最优表示一维函数的点奇异性,但其二维小波基是各向同性的,缺乏良好的方向表达能力,仅在有限方向(水平、垂直和对角方向)上获取图像的结构信息,使其不能最优表示线状奇异性;Curvelet变换和Contourlet变换作为多尺度几何分析(Multiscale Geometric Analisis,MGA)工具,均考虑了尺度、方向、各向异性、位置信息,使其在表达图像中的边缘时明显优于小波变换,但在频域中是隔层细分的,在一定程度上影响了对图像的稀疏表达(唐飞,2014),且与尺度关联的方向数目和支撑基大小均受限制,导致方向选择性不灵活(阿依古力·吾布力,2015)。鉴于此,在复合伸缩小波(Guo等,2004)的框架下,Labate等(2005)和Guo等(2007)提出并发展了剪切波变换,其为性能优良的多尺度几何分析工具,具有良好的各向异性、多分辨率、多方向性及时频局部性,且与尺度关联的方向数目和支撑基大小均无限制,频域中是逐层细分的,灵活的方向选择特性可有效检测和定位图像中的点状奇异性和线状奇异性(焦姣等,2019),优于变换域的其他方法(李彦等,2011)。基于引导滤波良好的边缘保持特性,已有学者提出了将迭代引导滤波与传统的小波软阈值、NL means滤波、三维块匹配滤波等去噪方法结合,有效提高了传统方法的峰值信噪比,增强了遥感图像边缘特征提取效果(车守全等,2022)。
混合域去噪是将空间域和变换域的去噪方法进行了有效组合,BM3D方法是著名的混合域去噪方法(Dabov等,2007),该方法将非局部去噪、小波阈值去噪和维纳滤波完美结合,是目前传统去噪方法中效果最好的,不仅有高的信噪比,视觉效果也较好。但该方法仅在噪声强度较小时去噪效果明显,当噪声强度较大时,去噪后图像常丢失边缘和纹理等细节,导致图像模糊。此外,该方法虽充分利用了自然图像自身的非局部结构相似性,但未利用结构的方向性,故难以有效利用图像几何正则性对图像边缘和纹理进行最优稀疏表达(张胜男等,2020)。
除上述传统方法外,近年来深度学习技术在图像去噪中的应用取得了良好效果,如DnCNN、FFDNet、CBDNet、RIDNet等神经网络去噪效果优于BM3D等传统方法。去除不同类型噪声的深度学习技术得到了发展,如加性白噪声图像去噪、真实噪声图像去噪、盲去噪和混合噪声图像去噪等,可以更好地对真实场景的噪声进行处理(刘迪等,2021),这将成为课题组今后的研究方向。
本文为弥补BM3D去噪方法缺乏最优表示图像线状奇异性的不足,并实现强噪声背景下的图像去噪,提出了基于二维非下采样剪切波变换(NSST)和BM3D组合的去噪方法,以下简记为ST-BM3D,利用剪切波阈值去噪替代BM3D中基础估计阶段的预滤波,进一步提高基础估计阶段分组的正确性,为后续图像处理奠定基础。
1. 非下采样剪切波变换(NSST)
Labate等(2005)和Guo等(2007)通过复合伸缩仿射系统(Affine Systems with Composite Dilations,也称合成膨胀仿射系统)将几何和多尺度分析结合构造了剪切波,剪切波数学结构简单,通过对母函数进行伸缩、平移、剪切即可生成基函数,这点与小波变换类似,可以说剪切波变换是小波在高维数据空间的变换,是对高维函数接近最优的稀疏表示方法(韩文方,2013)。
1.1 二维复合伸缩仿射系统和复合小波
二维复合伸缩仿射系统的形式为(Easley等,2008):
$$ {{\gabriolafont\text{A}}_{AB}}\left( \varPsi \right) = \left\{ {{\varPsi _{j,l,k}}} \right.\left( x \right) = {\left| {\det {{\boldsymbol{A}}}} \right|^{{j \mathord{\left/ {\vphantom {j 2}} \right. } 2}}}\varPsi \left( {{{{\boldsymbol{B}}}^l}{{{\boldsymbol{A}}}^j}x - k} \right):j,l \in Z,k \in {Z^2}\left. {} \right\} $$ (1) 式中,
${{\gabriolafont\text{A}}_{AB}}\left( \varPsi \right)$ 为二维复合伸缩仿射系统,Aj为各向异性伸缩矩阵,与尺度变换有关;Bl为剪切矩阵,与面积保持不变的几何变换有关;Z代表整数集。式(1)为Parseval紧框架时,该仿射系统的元素
${\varPsi }_{{j},{l},{k}}$ 称为复合小波(Composite Wavelets,又称合成小波),剪切波是复合小波的特例(Kutyniok等,2012)。1.2 自适应锥剪切波(Cone-adapted Shearlets)
为减小随尺度加细和方向参数变大产生的偏差,Kutyniok等(2012)引入了锥(Cone)的概念(冯岩等,2014),并进一步发展为自适应锥(Cone-adapted)(Guo等,2005),频域自适应锥划分如图1所示,整个频域分为以下部分:方形中心低频域R、水平锥形域C0和垂直锥形域C1。
作为复合小波的特例,频域上自适应锥的剪切波集合为(Easley等,2008):
$$ \psi = \left\{ {{\varphi _k}:k \in {{\text{Z}}^2}} \right\} \cup \left\{ {\psi _{j,l,k}^{\left( d \right)}\left( x \right):j \geqslant 0, - {2^j} - 1,k \in {{\text{Z}}^2},d = 0,1} \right\} $$ (2) 式中,
$ {\phi _{\text{k}}}\left( x \right) = \left\{ {\phi \left( {x - k} \right)} \right\} $ 为R域的尺度函数;$ \left\{ {\psi _{j,l,k}^{\left( 0 \right)}\left( x \right) = {2^{\frac{{3 j}}{2}}}{\psi ^{\left( 0 \right)}}\left( {B_0^lA_0^jx - k} \right)} \right\} $ 为C0域的剪切波;$\left\{ \psi _{j,l,k}^{\left( 1 \right)}\left( x \right) = \right. \left.{2^{\frac{{3 j}}{2}}}{\psi ^{\left( 1 \right)}}\left( {B_1^lA_1^jx - k} \right) \right\}$ 为C1域的剪切波;A0、A1为各向异性伸缩矩阵;B0、B1为剪切矩阵。1.3 非下采样剪切波变换(NSST)
传统剪切波变换由于有下采样,造成分解后的各子带频谱混叠,导致方向选择性减弱,模糊了图像边缘,且失去了平移不变性,导致伪吉布斯现象或振铃效应,影响去噪效果(Easley等,2008)。NSST在多尺度分解和方向局部化时,采用了非下采样拉普拉斯金字塔(Nonsubsampled Laplacian Pyramid,NsLP)滤波器和非下采样Shear方向滤波器,增强了方向选择性,具有了平移不变性。图像经过j(剪切波分解级)级NSLP分解后,得到1个低频子带和j个高频子带。尺度j=3时的三级分解示意如图2所示,图中SF表示剪切波滤波器。
2. NSST域自适应阈值去噪
2.1 剪切波阈值去噪原理
设噪声模型为y=x+n,y为含噪图像,x为无噪信号图像,n为高斯白噪声,服从N(0,
$\sigma_n^0 $ ) 分布。噪声模型的NSST变换为Ys,k=Xs,k+Vs,k,Ys,k、Xs,k、Vs,k分别为y、x、n对应的剪切波系数;s为尺度;k为与尺度有关的方向子带。剪切波阈值去噪就是在剪切波域根据得到的阈值,按阈值函数对含噪图像剪切波系数Ys,k进行非线性去噪处理,得到无噪信号图像的剪切波系数Xs,k的估计
$ {\hat Y_{s,k}} $ 。阈值去噪效果主要与阈值大小和阈值函数密切有关。阈值大小与噪声方差和信号方差有关,准确估计噪声和信号方差可有效提高去噪效果;硬阈值函数(Donoho等,1994)会出现振铃、伪吉布斯效应等视觉失真,软阈值函数(Donoho,1995)结果相对平滑,会造成边缘模糊;渐进半软阈值函数(吴安全等,2017)可有效避免振铃现象并保护图像细节。
2.2 自适应贝叶斯阈值
常用阈值有VisuShrink通用阈值、SureShrink无偏风险阈值和BayesShrink贝叶斯阈值。VisuShrink阈值通常偏大,对信号有“过扼杀”现象;SureShrink阈值通常偏小,对噪声有“过保留”现象;BayesShrink阈值与噪声方差和信号方差有关,随分解尺度和空间方向而变,在一定程度上避免了对信号的“过扼杀”和对噪声的“过保留”(龚俊亮等,2013)。NSST域不同尺度和不同方向高频子带的BayesShrink阈值计算如下:
2.2.1 噪声方差的计算
与小波域类似,剪切波域的高斯白噪声方差随分解尺度增大而逐级减小,随方向而不同,需根据不同尺度和不同方向的高频子带求取噪声方差(Donoho等,1994):
$$ \sigma _{s,k}^{\text{2}} = {\left( {\frac{{{{{\rm{M}}}}(|{Y_{s,k}}|)}}{{0.6745}}} \right)^2} $$ (3) 式中,
$ {\sigma _{s,k}} $ 为噪声标准差;$ {Y_{s,k}} $ 为s尺度k方向的高频子带系数;M为取中值。2.2.2 无噪信号标准差的计算
$$ {\sigma _{{X_{s,k}}}} = \sqrt {\max (\sigma _{{Y_{s,k}}}^2 - \sigma _{s,k}^2,0)} $$ (4) $$ \sigma _{{Y_{s,k}}}^{\text{2}} = \frac{1}{{{M_{s,k}}}}\sum\limits_{i,j\; \in \;{W_{s,k}}}^{} {Y_{_{s,k}}^2(i,j)} \; $$ (5) 式中,
$ {\sigma _{{X_{s,k}}}} $ 为无噪图像标准差;$ {\sigma _{{Y_{s,k}}}} $ 为含噪图像标准差;$ {M_{s,k}} $ 为相应子带的系数个数;Ws,k为子带窗口。2.2.3 不同尺度和不同方向高频子带的阈值计算
$$ {\tau _{s,k}} = \sigma _{s,k}^2/{\sigma _{{X_{s,k}}}},\;\;\;\;\;{\sigma _{{X_{s,k}}}} > 0 $$ (6) 式中,
$ {\tau _{s,k}} $ 为阈值,随尺度s和方向k变化。2.3 渐进半软阈值函数
渐进半软阈值函数表达式如下:
$$ {\hat Y_{s,k}}(i,j) = \quad \left\{ {\begin{array}{*{20}{l}} \; \\ {{\rm{sign}}({Y_{s,k}}(i,j))(|{Y_{s,k}}(i,j)| - \frac{{2\tau _{s,k}^2}}{{|{Y_{s,k}}(i,j)| + \tau _{s,k}^{}{{\rm{e}}^{|{Y_{s,k}}(i,j)| - \tau _{s,k}^{}}}}})\;,\;\;\;\;\;\;\;\;\;\;|{Y_{s,k}}(i,j)|\; \geqslant {\tau _{s,k}}} \\ { 0\;,\quad \;\;|{Y_{s,k}}(i,j)|\; \leqslant {\tau _{s,k}}} \end{array}} \right. $$ (7) 式中,
$ {\hat Y_{s,k}} $ 为阈值量化后的剪切波系数。2.4 NSST去噪步骤
NSST去噪步骤示意如图3所示,流程如下:①对含噪图像作NSST变换,得到不同尺度和不同方向子带的剪切波系数
$ {Y_{s,k}} $ ;②对每个尺度不同方向的高频子带,据式(3)计算噪声方差$ \sigma _{s,k}^2 $ ,据式(4)计算信号标准差$ {\sigma _{{X_{s,k}}}} $ ,据式(6)计算阈值$ {\tau _{s,k}} $ ;③利用渐进半软阈值函数式(7)对剪切波系数进行去噪处理,得到无噪信号图像的剪切波系数的估计$ {\hat Y_{s,k}} $ ;④对去噪后的高频子带和低频子带重构,得到去噪后的图像。3. BM3D去噪原理与计算公式
BM3D去噪的基本思想为将非局部块匹配和变换域滤波相结合,算法分为基础估计(硬阈值去噪)和最终估计(维纳滤波)2个阶段,每个阶段均包含相似块分组、变换域3D协同滤波和重叠块加权平均环节,是目前传统降噪方法中去高斯白噪声效果最好的方法(Dabov等,2007)。
3.1 基础估计
3.1.1 相似块分组
将含噪图像分为若干块
$ {\text{Z}}_{{x}}^{} $ ,依次选取每块为参考块$ {\text{Z}}_{{{{x}}_{{R}}}}^{} $ ,据式(8)计算与候选块$ {\text{Z}}_{{x}}^{} $ 的距离$ d({{\mathbf{Z}}_{{x_R}}},{{\mathbf{Z}}_{{x}}}{\text{)}} $ ,将$ d({{\mathbf{Z}}_{{x_R}}},{{\mathbf{Z}}_{{x}}}{\text{)}} $ 小于等于相似性阈值$ \tau _{{\text{match}}}^{{\rm{ht}}} $ 的块分为一组,分组后形成若干3D数组$ {{\text{Z}}_{{\mathbf{S}}_{{{{x}}_{{R}}}}^{{\rm{ht}}}}} $ ,$ \tau _{{\text{match}}}^{{\rm{ht}}} $ 随噪声强度的增大而增大,经验取值范围为[0,2](Dabov等,2007)。$$ d({{\mathbf{Z}}_{{x_R}}},{{\mathbf{Z}}_{{x}}}{\text{)}} = \frac{{\left\| {\left. {{{\mathbf{Z}}_{{x_{{R}}}}}{{ - }}{{\mathbf{Z}}_{{x}}}} \right\|_2^2} \right.}}{{{{({N_1})}^2}}} $$ (8) 式中,
$ {({N_1})^2} $ 为图像块大小。3.1.2 变换域3D协同滤波
变换域3D协同滤波是BM3D的核心部分。协同滤波能够加强相似块的稀疏性,同时降低相似块的噪声。其基本思想是对分组后的3D数组
$ {{\text{Z}}_{{\mathbf{S}}_{{{\text{x}}_{\text{R}}}}^{{\rm{ht}}}}} $ 进行3D线性变换$ {T}_{3 {\rm{D}}}^{{\rm{ht}}} $ (余弦变换和小波变换)、硬阈值去噪$ \gamma $ 及3D逆变换$ {T}_{3 {\rm{D}}}^{{\rm{ht}}-1} $ ,得到去噪3D数组$ {\hat{Y}}_{{S}_{x_R}^{{\rm{ht}}}}^{{\rm{ht}}} $ ,并将该3D数组内的二维相似块$ {\hat{Y}}_{{x}_{m}}^{{\rm{ht}},{x}_{R}} $ 返回到图像的原来位置:$$ {\hat{Y}}_{{S}_{x_R}^{{\rm{ht}}}}^{{\rm{ht}}}={T}_{3{\rm{D}}}^{{\rm{ht}}-1}\left(\gamma \left({T}_{3{\rm{D}}}^{{\rm{ht}}}\left({Z}_{{S}_{{x}_{R}}^{ht}}\right)\right)\right) $$ (9) 3.1.3 重叠块加权平均
当相似性阈值
$\tau _{{\text{match}}}^{{\rm{ht}}}$ 较大时(强噪声时),候选块${\text{Z}}_{{x}}^{}$ 可能会出现在不同参考块${\text{Z}}_{{{{x}}_{{R}}}}^{}$ 对应的3D数组中,故去噪后返回到图像原位置的二维相似块会出现交叠现象。为此,需对交叠块作加权平均得到图像的基础估计:$$ {\hat{y}}^{\text{basic}}\left({x}\right)=\frac{{\displaystyle \sum _{{x}_{R}\in X}{\displaystyle \sum _{{x}_{R}\in {S}_{{x}_{R}}^{{\rm{ht}}}}{\omega }_{{x}_{R}}^{\text{ht}}{\hat{Y}}_{{x}_{m}}^{{\rm{ht}},{x}_{R}}\left(x\right)}}}{{\displaystyle \sum _{{x}_{R}\in X}{\displaystyle \sum _{{x}_{R}\in {S}_{{x}_{R}}^{{\rm{ht}}}}{\omega }_{{x}_{R}}^{\text{ht}}{\text{χ}}_{{x}_{m}}^{}\left(x\right)}}}\text{,}\forall {x}\in X $$ (10) 式中,
$ {\hat{y}}^{{\rm{basic}}} $ 为基础估计;$ {\omega }_{{x}_{R}}^{{\rm{ht}}} $ 为权值;$ \chi _{{x_m}}^{} $ 为特征函数。3.2 最终估计
3.2.1 相似块分组
基础估计的目的之一是引导最终估计阶段的分组,首先对基础估计
${\hat{y}}^{{\rm{basic}}}$ 分组,然后仿此结果对原始含噪图像进行分组:$$ d(\hat y_{{x_R}}^{{\rm{basic}}}{\text{,}}\hat y_x^{{\rm{basic}}}{\text{)}} = \frac{{\left\| {\left. {\hat y_{{x_R}}^{{\rm{basic}}}{{ - }}\hat y_x^{{\rm{basic}}}} \right\|_2^2} \right.}}{{{{({N_1})}^2}}} $$ (11) 式中,
$ d({\hat{y}}_{{x}_{R}}^{{\rm{basic}}},{\hat{y}}_{x}^{{\rm{basic}}}\text{)} $ 为参考块的基础估计与候选块的基础估计之间的距离,本阶段分组得到2种3D数组,即从基础估计$ {\hat{y}}^{{\rm{basic}}} $ 得到的$ \hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{\rm{basic}}} $ 和从原始含噪图像Z得到的$ {{\text{Z}}_{{\mathbf{S}}_{{{{x}}_{{R}}}}^{{\text{wie}}}}} $ 。3.2.2 变换域3D协同维纳滤波
基础估计的另外一个目的是求取维纳滤波所需的收缩系数。对分组得到的3D数组
$ \hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{\rm{basic}}} $ 进行3D线性变换${\text{T}}_{3 {\rm{D}}}^{{\rm{wie}}}\left( {\hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{\rm{basic}}}} \right)$ ,并按下式计算得到维纳滤波的收缩系数。$$ {W_{S_{{x_R}}^{{\rm{wie}}}}} = \frac{{{{\left| {{\text{T}}_{3{\rm{D}}}^{{\rm{wie}}}\left( {\hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{\rm{basic}}}} \right)} \right|}^2}}}{{{{\left| {{\text{T}}_{3{\rm{D}}}^{{\rm{wie}}}\left( {\hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{\rm{basic}}}} \right)} \right|}^2} + {\sigma ^2}}} $$ (12) 式中,
$ {W_{S_{{x_R}}^{{\rm{wie}}}}} $ 指维纳滤波的收缩系数。对噪声图像分组得到的3D数组
$ {Z_{{\mathbf{S}}_{{{{x}}_{{R}}}}^{{\text{wie}}}}} $ 进行维纳滤波,包括3D线性变换$ {\text{T}}_{3 {\rm{D}}}^{{\rm{wie}}}{\text{(}}{Z_{S_{{x_R}}^{{\rm{wie}}}}}) $ 与收缩系数相乘及3D反变换:$$ \hat Y_{_{S_{{x_R}}^{{\rm{wie}}}}}^{{\rm{wie}}} = {\text{T}}_{3{\rm{D}}}^{{\rm{wie}} - 1}\left( {{W_{S_{{{{x}}_{{R}}}}^{{\text{wie}}}}}{\text{T}}_{3{\rm{D}}}^{{\rm{wie}}}\left( {Z_{S_{{x_R}}^{{\rm{wie}}}}^{}} \right)} \right) $$ (13) 式中,
$ \hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{{\rm{wie}}_{}}} $ 是维纳滤波后的3D数组;$ {\text{T}}_{3 {\rm{D}}}^{{\rm{wie}} - 1} $ 为3D反变换。3.2.3 重叠块加权平均
与基础估计的重叠块加权平均类似,最终估计阶段的重叠块作加权平均得到最终估计:
$$ {\hat{y}}^{{\rm{final}}}\left(\text{x}\right)=\frac{{\displaystyle \sum _{{x}_{R}\in X}{\displaystyle \sum _{{x}_{R}\in {S}_{{x}_{R}}^{{\rm{wie}}}}{\omega }_{{x}_{R}}^{\text{wie}}{\hat{Y}}_{{x}_{m}}^{{\rm{wie}},{x}_{R}}\left(x\right)}}}{{\displaystyle \sum _{{x}_{R}\in X}{\displaystyle \sum _{{x}_{R}\in {S}_{{x}_{R}}^{{\rm{wie}}}}{\omega }_{{x}_{R}}^{\text{wie}}{\chi }_{{x}_{m}}^{}\left(x\right)}}}\text{,}\forall x\in X $$ (14) 式中,
$ {\hat y^{{\rm{final}}}} $ 为去噪最终估计;$ \omega _{{x_R}}^{{\text{wie}}} $ 为权值;${\hat{Y}}_{{x}_{m}}^{{\rm{wie}},{x}_{R}}$ 为维纳滤波后3D数组$ \hat Y_{S_{{x_R}}^{{\rm{wie}}}}^{{{\rm{wie}}_{}}} $ 内的二维相似块。4. ST-BM3D算法流程
本研究提出的ST-BM3D算法流程如图4所示。该算法分为两部分,一部分为NSST变换及BM3D的基础估计,另一部分为BM3D最终估计。两部分均包括图像分块、相似块分组、3D协同滤波、块加权平均等步骤,区别在于3D协同滤波中的去噪方法,前者采用硬阈值去噪,后者采用维纳滤波。该算法将剪切波域去噪融入到BM3D的基础估计部分,从而提高了该部分相似块分组的正确性,进而提高了最终估计部分的去噪信噪比。
5. 试验结果与分析
以MATLAB R2012b为平台开展试验,通过编程实现了3种去噪算法:NL means算法、BM3D算法和本研究提出的ST-BM3D算法。去噪使用了4张图像,其中2张图像尺寸为256×256像素,另外2张图像尺寸为512×512像素。低噪声试验取高斯噪声标准差为30 dB,强噪声试验取高斯噪声标准差为100 dB。
NSST有关参数设置如下:最大分解尺度为3,尺度为1时的方向分解数为6,尺度为2时的方向分解数为10,尺度为3时的方向分解数为18。BM3D有关参数设置如下:图像块大小为8×8像素,滑动步长为3,每组相似块最大数为16,搜索窗口大小为39×39像素,图像块距离阈值为3 000,其余参数设置详见BM3D软件。
为比较NL means方法、BM3D方法及本方法对强噪声图像的去噪情况,进行低噪声和强噪声图像去噪试验,以验证本方法的有效性和可行性。
5.1 低噪声图像去噪仿真试验
为验证本方法的有效性,对图5左上角的低噪声原始图像加了30 dB的高斯噪声标准差进行仿真试验,去噪效果对比如图5所示。由图5中放大图像可知,本方法的峰值信噪比(Peak Signal to Noise Ratio,PSNR)虽略好于BM3D方法,但视觉效果几乎无差别,说明本方法与BM3D方法对低噪声图像的去噪结果差别较小,但在PSNR和视觉效果方面均优于NL means方法。
5.2 强噪声图像去噪仿真试验
为验证本方法对强噪声图像去噪的有效性,并更清晰地展示不同方法的去噪效果,选取高对比度的点线面强噪声原始图像(图6左上角)加了100 dB的高斯噪声标准差进行仿真试验,去噪效果对比如图6所示。由图6中第二行对点像素的分辨可知,本方法分辨出的点像素最多,优于BM3D方法和NL means方法。由图6中第三行对线条像素的分辨可知(以绿色圆圈为例),本方法的连续性明显好于BM3D和NL means方法。对面元的分辨,用本方法处理后的蓝面元在边缘连续性和色泽均匀性上均优于BM3D和NL means方法。综上所述,对于强噪声图像的去噪,从细节和总体视觉效果而言,本方法均优于BM3D和NL means方法。
5.3 强噪声无人机图像和卫星影像去噪试验
为验证本方法的可行性,采用无人机图像(图7左上角,分辨率1 332×748)和卫星影像(图8左上角,19级,分辨率0.24 m)开展去噪试验,其中无人机图像由多旋翼型大疆经纬M200型无人机拍摄,卫星影像为91卫图助手的卫星影像图层(无偏移)。
强噪声无人机图像去噪效果对比如图7所示。由图7可知,从去噪后图像的色调均匀性、线条连续性及总体视觉效果来看,对于强噪声图像去噪,本方法均优于BM3D和NL means方法。
强噪声卫星影像去噪效果对比如图8所示。由图8可知,对于房屋和道路的部分粗线条边缘(长条形红框标注),本方法得到的线条边缘连续性优于BM3D和NL means方法;由小红框标注的3条细线条边缘可知,本方法得到的结果易识别,BM3D方法得到的结果较模糊,NL means方法得到的结果难以识别。对于图8中的彩色条形块,从色调均匀性和边缘连续性来看,本方法均优于BM3D和NL means方法。
5.4 评价参数比较
选取峰值信噪比(PSNR)和结构相似性(Structural Similarity,SSIM)评价指标对去噪图像质量进行评价。Wang等(2004)给出了评估2幅图像结构相似性的方法,结构相似性旨在衡量图像相邻像素的关联性,关联性反映了实际场景中物体的结构信息。SSIM为全参考的图像质量评价指标,分别从亮度、对比度和结构方面度量两图像的结构相似性,取值范围[0,1],值越大,表示2幅图像越相似、失真越小。
利用PSNR和SSIM对BM3D、NL means方法和本方法去噪效果进行评价,结果如表1所示。由表1可知,根据低噪声图像(图5)的PSNR和SSIM,3种方法的评价值差别较小,尤其是本方法与BM3D方法的SSIM相同、PSNR几乎相同,表明本方法与BM3D方法去低噪声效果相同,均优于NL means方法;根据强噪声图像(无人机图像和卫星影像,图7~8)的PSNR和SSIM,本方法优于BM3D和NL means方法;根据强噪声图像(点线面高对比度图像,图6)的PSNR和SSIM,本方法明显优于BM3D和NL means方法,表明对于强噪声高对比度图像,本方法优势更明显。
表 1 去噪方法性能评价结果Table 1. Performance evaluation table of denoising method图像名称 Lena图像 点线面高对比度图像 无人机图像 卫星影像 噪声值 (低高斯噪声标准差30 dB) (强高斯噪声标准差100 dB) (强高斯噪声标准差100 dB) (强高斯噪声标准差100 dB) 评价参数 PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM NL means方法 25.31 0.97 19.05 0.27 16.33 0.42 15.78 0.59 BM3D方法 28.56 0.98 23.94 0.43 22.07 0.60 21.32 0.74 本方法 28.61 0.98 26.05 0.75 23.03 0.71 22.42 0.80 6. 结论
为弥补BM3D去噪方法缺乏对图像线状奇异性的最优表示,并实现强噪声图像的有效去噪,本文提出了结合非下采样剪切波变换的BM3D去除高斯噪声方法,将BM3D中的预滤波通过剪切波阈值去噪替代。剪切波阈值采用了自适应贝叶斯阈值,阈值随剪切波分解尺度、方向及空间变化,具有自适应功能,有效避免了对图像信号的“过扼杀”和噪声的“过保留”。采用渐进半软阈值函数,避免了硬阈值函数在边缘处振荡及软阈值函数边缘模糊的弊端。
视觉效果和客观评价参数结果分析表明,在低噪声环境下,本方法和BM3D方法去噪效果相同,略优于NL means方法;强噪声背景下本方法去噪效果优于BM3D和NL means方法;对于强噪声高对比度图像,本方法较BM3D和NL means方法优势更明显。
本方法对强噪声图像的去噪效果和对图像边缘的有效保护均优于传统BM3D方法,这有利于震害影像中强噪声的消除和对图像边缘的保护,为震害影像的后续处理(如提取滑坡泥石流边界、建筑物边缘等)奠定基础,有利于增强灾后破坏性地物边缘的震害影像提取效果,更好地服务于震害影像的处理和解释。
-
表 1 去噪方法性能评价结果
Table 1. Performance evaluation table of denoising method
图像名称 Lena图像 点线面高对比度图像 无人机图像 卫星影像 噪声值 (低高斯噪声标准差30 dB) (强高斯噪声标准差100 dB) (强高斯噪声标准差100 dB) (强高斯噪声标准差100 dB) 评价参数 PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM NL means方法 25.31 0.97 19.05 0.27 16.33 0.42 15.78 0.59 BM3D方法 28.56 0.98 23.94 0.43 22.07 0.60 21.32 0.74 本方法 28.61 0.98 26.05 0.75 23.03 0.71 22.42 0.80 -
阿依古力·吾布力, 2015. 基于剪切波和NSST变换的图像增强算法研究. 乌鲁木齐: 新疆大学.Wubuli A., 2015. Research on image enhancement methods based on shearlet and NSST transform. Urumqi: Xinjiang University. (in Chinese) 车守全, 李涛, 包从望等, 2022. 矿区遥感图像去噪方法研究. 工矿自动化, 48(1): 113—118, 124Che S. Q. , Li T. , Bao C. W. , et al. , 2022. Research on denoising method of remote sensing image in mining area. Journal of Mine Automation, 48(1): 113—118, 124. (in Chinese) 邓开元, 任超, 梁月吉等, 2019. 一种遥感影像混合噪声的去噪方法. 测绘通报, (2): 28—31, 70Deng K. Y. , Ren C. , Liang Y. J. , et al. , 2019. A denoising method of mixed noise of remote sensing image. Bulletin of Surveying and Mapping, (2): 28—31, 70. (in Chinese) 冯岩, 薛瑞, 2014. 剪切波理论及其应用研究进展. 信阳师范学院学报: 自然科学版, 27(3): 463—468Feng Y. , Xue R. , 2014. Advances in theory and application of shearlets. Journal of Xinyang Normal University: Natural Science Edition, 27(3): 463—468. (in Chinese) 龚俊亮, 何昕, 魏仲慧等, 2013. 基于贝叶斯估计的剪切波域局部自适应图像去噪. 液晶与显示, 28(5): 799—804 doi: 10.3788/YJYXS20132805.0799Gong J. L. , He X. , Wei Z. H. , et al. , 2013. Local adaptive image denoising based on Bayesian estimation in shearlet domain. Chinese Journal of Liquid Crystals and Displays, 28(5): 799—804. (in Chinese) doi: 10.3788/YJYXS20132805.0799 韩文方, 2013. 基于稀疏表示的剪切波域图像去噪算法研究. 广州: 华南理工大学.Han W. F., 2013. Research on shearlet domain image denoising algorithm via sparse representation. Guangzhou: South China University of Technology. (in Chinese) 焦姣, 吴玲达, 2019. 形态学滤波和改进PCNN的NSST域多光谱与全色图像融合. 中国图象图形学报, 24(3): 435—446Jiao J. , Wu L. D. , 2019. Fusion of multispectral and panchromatic images via morphological filter and improved PCNN in NSST domain. Journal of Image and Graphics, 24(3): 435—446. (in Chinese) 李彦, 汪胜前, 邓承志, 2011. 多尺度几何分析的图像去噪方法综述. 计算机工程与应用, 47(34): 168—173, 218Li Y. , Wang S. Q. , Deng C. Z. , 2011. Overview on image denoising based on multi-scale geometric analysis. Computer Engineering and Applications, 47(34): 168—173, 218. (in Chinese) 刘迪, 贾金露, 赵玉卿等, 2021. 基于深度学习的图像去噪方法研究综述. 计算机工程与应用, 57(7): 1—13Liu D. , Jia J. L. , Zhao Y. Q. , et al. , 2021. Overview of image denoising methods based on deep learning. Computer Engineering and Applications, 57(7): 1—13. (in Chinese) 马科, 2014. 红外图像的多尺度几何分析理论及应用研究. 成都: 电子科技大学.Ma K., 2014. Multiscale geometric analysis theory and application research of infrared image. Chengdu: University of Electronic Science and Technology of China. (in Chinese) 唐飞, 2014. 基于Contourlet变换和Shearlet变换的图像去噪算法研究. 湘潭: 湘潭大学.Tang F., 2014. Research on image denoising methods based on contourlet transform and shearlet transform. Xiangtan: Xiangtan University. (in Chinese) 吴安全, 沈长圣, 肖金标等, 2017. 基于一种渐进半软阈值函数的小波去噪. 电子器件, 40(2): 396—399Wu A. Q. , Shen C. S. , Xiao J. B, et al. , 2017. Wavelet denoising based on an asymptotic semisoft thresholding function. Chinese Journal of Electron Devices, 40(2): 396—399. (in Chinese) 张杰, 史小平, 张焕龙等, 2019. 高噪声遥感图像稀疏去噪重建. 哈尔滨工业大学学报, 51(10): 47—54Zhang J. , Shi X. P. , Zhang H. L. , et al. , 2019. High noise remote sensing image sparse denoising reconstruction. Journal of Harbin Institute of Technology, 51(10): 47—54. (in Chinese) 张胜男, 王雷, 常春红等, 2020. 基于三维剪切波变换和BM4 D的图像去噪方法. 山东大学学报(工学版), 50(2): 83—90Zhang S. N. , Wang L. , Chang C. H. , et al. , 2020. Image denoising based on 3 D shearlet transform and BM4 D. Journal of Shandong University (Engineering Science), 50(2): 83—90. (in Chinese) 赵洪臣, 周兴华, 彭聪等, 2019. 一种去除遥感影像混合噪声的集成BM3 D方法. 武汉大学学报·信息科学版, 44(6): 925—932Zhao H. C. , Zhou X. H. , Peng C. , et al. , 2019. An integrated BM3 D method for removing mixed noise in remote sensing image. Geomatics and Information Science of Wuhan University, 44(6): 925—932. (in Chinese) Buades A., Coll B., Morel J. M., 2005. A non-local algorithm for image denoising. In: IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 60—65. Dabov K. , Foi A. , Katkovnik V. , et al. , 2007. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 16(8): 2080—2095. doi: 10.1109/TIP.2007.901238 Donoho D. L. , Johnstone I. M. , 1994. Ideal spatial adaptation by wavelet shrinkage. Biometrika, 81(3): 425—455. doi: 10.1093/biomet/81.3.425 Donoho D. L. , 1995. De-noising by soft-thresholding. IEEE Transactions on Information Theory, 41(3): 613—627. doi: 10.1109/18.382009 Easley G. , Labate D. , Lim W. Q. , 2008. Sparse directional image representations using the discrete shearlet transform. Applied and Computational Harmonic Analysis, 25(1): 25—46. doi: 10.1016/j.acha.2007.09.003 Guo K. H., Labate D., Lim W. Q., et al., 2004, Wavelets with composite dilations. Electronic Research Announcements of the American Mathematical Society, 10: 78—87. Guo K. H., Kutyniok G., Labate D., 2005. Sparse multidimensional representations using anisotropic dilation and shear operators. Brentwood: Nashboro Press, 1—13. Guo K. H. , Labate D. , 2007. Optimally sparse multidimensional representation using shearlets. SIAM Journal on Mathematical Analysis, 39(1): 298—318. doi: 10.1137/060649781 Kutyniok G., Labate D., 2012. Shearlets: multiscale analysis for multivariate data. Boston: Springer. Labate D., Lim W. Q., Kutyniok G., et al., 2005. Sparse multidimensional representation using shearlets. In: Proceedings of SPIE 5914, Wavelets XI. San Diego: SPIE, 59140 U. Wang Z. , Bovik A. C. , Sheikh H. R. , et al. , 2004. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4): 600—612. doi: 10.1109/TIP.2003.819861 -