运动图像去模糊

【实例简介】
高质量运动图像去模糊，翻译自香港中文大学的文章，该文章是去模糊的经典文献，涉及到很多现代优化方法。
3.人工振铃效应的分析 在盲反卷积和非盲反卷积问题中,我们从分析误差源开始。时不变运动模糊过程通常用 卜面的卷积过程描述为: I=Lef+n 其中,,L,n分别表示退化的图像,不模糊的自然图像和加性噪声。⑧是卷积算子, f是线性时不变的点护散函数PSF。 自然图像复原的最大的问题之一就是会出现人工振铃效应,具体例子可以参见图2.反 卷积之后的图像在强边缘岀会出现暗的或亮的波纹,这就是人工振铃效应。通常认为,振铃 效应是由傅里叶变换的基函数不能对阶跃信号建模所导致的,而这种阶跃信号在自然图像中 是很常见的。然而,我们发现足够的傅里叶基函数能够重建自然图像而失真并不可觉察。请 看图3,1维的阶跃信号被512点的傅甲叶基函数所重建,我们发现在图像空间上的离散傅里 叶变换,采用多点的傅里叶基函数,会得到精度是类似的,而计算代价根本不大。 既然反卷积中的人工效应不是吉普斯现象引起的,那么,是由什么引起的呢?在实验中, 我们发现,对图像噪声建模的准确性和PSF的佔计误差是造成人工效应的主要原因。图4 展示了这样的例了。图像的头两行是两个1维信号,即观测信号和模糊核均被噪声污染了。 分别用RL方法和维纳滤波得到的不满意的结果。第三行展小的是2维图像信号,观测图像 和模糊核都被噪声污染。虽然采用RL方法和维纳滤波得到的图像保留了很强的边缘,但是 也引入了可觉察的人工效应。 为了阐明带噪图像和核函数误差是造成问题的原因,我们让卷积模型中当前的变量都叠 加一个分量,真实的模糊核和白然图像分别为 f and l,即 I=(L+△L)⑧(f+△f)+n =L'8f+△L8f+L⑧△f+△L8△f+n 在上述方程中,我们看到,如果观测噪声不能够被很好的建模,那么,在估计算法中很 容易产生错误△fandΔL;,而这些也会当做噪声的一部分,使得估计算法变得不稳 定而难以求解。之前的研究对噪声的建模都是假定噪声和它的一阶导数服从零均值的高斯分 布。这个假设是比较弱的假设,因为它不能捕获噪声图像一个重要特性,即图像噪声的空域 随杋性。图6展示的是我们对噪声更强的建模来替代简单的零均值斯分布的噪声模型的结 果,很明显,简单的噪声模型中,对噪声的估计(工⑧f一1在结构上已经不是空域随机 综上,我们得出这样的结论:人工振铃效应不是Gbbs现象引起的,而主要是由观测图 像的噪声和模糊核估计的误差引起的。对图像噪声的估计会影响图像的空域结构。下面的章 节,我们将主要阐述我们提出的统一的概率模型以及如何抑制人工振铃效应。 4.我们的模型 我们概率模型对于盲反卷积和非盲反卷积问题都归结为一个单一的MAP准则。我们的 算法通过迭代不停的更新模糊核和自然图像的概率,如图5所示。根据贝叶斯公式: P(L, fI)x P(IL, f)p(Lp(f) (2) 其中p(IL,f)表示似然函数,p(L)andp(f)分别表示自然图像的先验分布和模 糊核函数的先崄分布,我们现在定义这些项,下面来描述我们的优化算法 41概率项的定义 似然函数P(IL,f: 在任意给定的自然图像和模糊核下,观测图像的似然函数,是基于卷积模型 n=L&f-L。图像的噪声n,被建模为一系列独业同分布的随机变量,对于每一个变 量,都服从高斯分布。 之前的工作,似然函数这一项被简单的写为1N(n0.,0)[a2007,或者 N(Vn|0,1),i为图像的像素索引。S0and 为标准差。然而,正如我们之 前所讨论的,这些模型不能捕获图像噪声的空域随机性。 在我们的构想中,我们对噪声的随机性建模,引入其髙阶导数的约東。下文中,图像的 丛标(,3)和像素点2会交替使用,为了方便图像的偏导数的表示便利,我们有时候用 n(x,y)表示na 点n在两个方向上的偏导数分别记为 dnn and ayn,我们可以通过相邻像素的 前向差分计算得到 drn(a, y)=n(+l,y)-n(, y) ayn(,y)=n(a,y+1)-n(, y) 已经证明【2002】,如果任意点n是服从标准差为S的高斯独立同分布的随机变量,那 么它的导数 da n and dun也服从高斯分N(2n240,s1)andN(On10.s1), 其中,标准差为S1=V2 对于噪声图像的更晑阶导数,很容易证明也服从独立同分布的不同标准差的扃斯分布, 我们可以用前向差分的方法递归地定义噪声图像的高阶导数,例如:二阶导数Ox可按下 式计算: aren(a, y)=aen(r+1, y)-a2n(a, y) =(n(x+2,y)-n(x+1,y)-(n(x+1,3)-m(x,y) 由于一阶导数O2n(x,y+1) and ax nL(r,y)都是独立同分布的随机变量,可以 证明二阶导数Oan(x,3)也是高斯分有且标准差为S2=√2·(=V2 为了简单起见下面的公式中,我们用符号O表示任意的偏导数算子,A(“)表示 偏导数的阶数。例如,当O=Oy时,()=2.如果K(O”)=q,且q>1, 么O"n服从独立同分布的高斯变量,标准差满足q 59-13 为了建模噪声图像的空域独立同分冇特性,我们把对噪声的高斯分布的约束表示为不同 阶的导数,定义如下的似然函数: P(IL, f)=IIIN(On: JO, *) 6*∈日 II IN(OTIO", SK(o- (3 8*∈e 其中,I2∈I表示像素值,2是再次卷积图像I=L⑧f中第1个像素,日是 偏导数符号的集合,即O={8,a,03,Onx,OgO2y},定义0阶导数为图像原 始像素O0na=m1。我们计算导数的最大阶数为2阶是因为在我们的实验中己经足够 生一个好的结果。从似然函数(3)的定义我们看出,相比与仅仅使用1阶导数,我们的优化 过程并没有增加计算的复杂性。 图6展示的是我们的似然函数能恢复出有效的图像,图d和图f是噪声的对比,我们的 噪声包含很少的图像结构。 卷积核的先验知识p(f) 卷积核,通常可认为是相机拍摄时相对于景物的运动轨迹,是一个稀疏的矩阵,其只有在 相杋运动轨迹上的点非零,而其它大部分位置为零。所以我们把模糊核建模为一个指薮分布 模型 f)=Ie,≥0 其中是一个比例参数,j为遍历卷积核的所有元素指标 自然图像的先验知识P(L): 我们设计的自然图像的先验分布p(L满是两个目标。一方面,先验分布应该作为归 一化项来减少反卷积问题中的病态性。另一方面,先验分布应该在自然图像复原过程中有助 于减少人⊥振铃效应。故,我们明入两个分量来表示P(L):全局先验分布P9(工),局部 先验分布P(L),这样使有: p(L)=p9()p2(L) 全局先验分布P9(L 最近的·些研究,通过对系列样夲图像的学习得到的关于自然图像统计分布。他们认 为图像的梯度服从一种长尾分布【2005,2007】,这种分布描述了自然图像的先验分布。图7 是从10张自然图像中得到了图像梯度分布对数直方图。文献【2006】用K个高斯混合模型 来来拟合这一分布1∑k=14kN(OL:0,5),其中方遍历图像的像素,符号 Wk and sk分别表示第K个扃斯分布的权值和标准差。我们发现,上述估计的挑战在于如 何优化的问题。特别地,求解最大后验MAP问题,我们总是采用对数似然函数。这样,取 对数之后的对数似然函数:0g II∑14N(OL10 i;S3),能够把指数项变为和 的形式。对于对数似然函数的优化,基于梯度的优化方法通常是可行【2006】。对于一个复 杂的能量泛函来说,它包含众多的未知量,可以米用众所知的梯度下降算法,但它不是高 效的也不是稳定的。 Original densit -[ax +b) L。 gorithmic desity at i: It Image gradients Figure 7(a) The curve of the logarithmic density of image gradients It is computed using information collected from 10 natural images. (b) We construct function (r) to approximate the logarithmic density,as shown in green and blue 在我们的论文当中,我们引入了一种新的表示方法。我们通过拼接两个分段的连续函数 来拟合对数梯度分布: klr Φ(x)= Laz +b > It (4) 其中,x表示图像的梯度幅值,比是两个函数的交界位置。如图7所示:一kx,绿色 部分表示中心位置的种尖峰分布。一(ax2+b)是对拖尾的部分的建模,业(x)是中心 对称的。k,a,b是模型的拟合参数,它们分别被设置为2.76.1×10^(-4),5.0. 这样,我们已经对图像梯度的对数概率密度函数的建模,最终的仝局先验分布的定义可 以写成如下的形式 Pa(L)a aLi 局部先验分布P(L): 我们对自然图像梯度的约束,这种新颖的先验分布能非常有效的抑淛振铃效应。这种 先崄分布的动机源」这样的事实,模糊的过程通常认为是一个平滑滤波的过程。在模糊图像 的局部区域,图像的像素几乎是常量,与之对应的非模糊图像的区域也应该是平滑的【如图 8a,图8b中黄色线标注区域显示】,也就是意味着,这些像素展现的是没有明显的边缘。图 8c显示的是人工振铃效应的结果,与之对应的图案结构违反了这一约束。 (b) c (d) e) Figure 8 Local prior demonstration. (a)A blurred image patch ex tracted from Figure 9(b). The yellow curve encloses a smooth region. (b) The corresponding unblurred image patch. (c) The restoration result by our method without incorporating Pl. The ringing artifact is propagated even to the originally smooth region. (d)We compute Q containing all pixels shown in white to suppress ringing.(e)Our restoration result in- corporating PI, the ringing artifact is suppressed not only in smooth re gion but also in textured one. (a) (c) Figure 9 Effect of prior PI(L).(a) The ground truth latent image.(b The blurred image. The ground truth blur kernel is shown in the green rectangle. We use the inaccurate kernel in the red frame to restore the blurred image to simulate one image restoration step in our algorithm. (c) The result generated from the image restoration step without using PI(L); ringing artifacts result. For comparison, we also show our im- age restoration results in (d)by incorporating Pi(L). The computed 22 region is shown in white in(e). The ringing map is visualized in (f) by computing the color difference between(c)and(d); the map shows that pl is effective in supressing ringing 为了计算这一局部先验分布,模糊图像中的每一个像素,以其为中心形成一个和 模糊核大小一样的窗,如图8a中的绿色矩形区域的。计算这个矩形区域像素的标准差,如 果这个数值小于一个阈值t【实验中我们设置的阙值为5】,那么,我们认为像素i是区域S2 中的元素,也就是∈!2.图8d显示的白色像素就是区域S2,它当中的每一个像素都是 一个局部平滑窗的中心。 对区域中的所有像素,我们对模糊图像的梯度约束类似与于不模糊图俟的梯度,误 差定义服从零均值标准差为O1的高斯分布: P()=ⅡN(a2L2-8210,o1)NL2-010,a1) ∈ 其中σ为标准差,随着优化地进度逐渐増加,更具体的描述在第五节,随着模糊核估 计的越来越精确,这个先验分布会变得越来越不重要。应该指出,局部先验分布虽然是定义 在区域,但是,模糊核宽泛的人T脚迹的传播能够能够全局地抑制,包括像素的纹理区 域。图9显示了我们采用这一先验分布的效果,在我们的示例中,很明显,局部先验分布能 够有助于抑制由模糊核的估计误差引起的人工振铃效应。 5优化策略 通过对我们定义的概率密度函数取负对数,最大后验问题【MAP】变换为一个能量泛函 的最小化问题,也就是: E(L, f)=-log(P(L, fI) 将所有的似然函数代入公式2的定义,我们得到 E(L,f)∝ uk(+)|L⑧f-8“I ∈白 A1重(L)+重(0yL川1+ A2(aL-aIM+1a2L-I慢。M)+f,(5) 其中, P是p范数算子,符号0表示元素的点乘算子。方程5中的4项与方程 2中的4项有相同的阶数。矩阵M是一个2值掩膜图像,用来对局部平滑先验分布进行编 码。对于任意元素m∈M,mna=1,如果与它对应的像素l:∈g.,否则 ml=0。我们有这样一些纷数:0(B=),A1,andA2。它们可以从概率项得到, 即: L'k(a*)= A1 (6) (8*) 在这些参数当中, 的数值遵循下面的方式。根据似然函数的定义,对于仟意 的(“)=9>0,我们有(3*)=1/(5·T,29) 在实验中我们通常设 置1/(6·)=50,这样,对于任意的 r(日* 只要h()=9>01我们 就可以确定为50/(29).参数入1and入2的设置将在53节描述。 采用梯度卜降的方法直接优化方程5是很慢且收敛很弱的,因为它有大量的未知参数。 我们通过交替的估计 L and f来优化E。我们采用了一系列高级的优化技术,使得我们 的算法能够快速有效地处理自然图像这一只有挑战性的任务。 51优化L 在这一步当中,我们固定f来优化L。迸过移去常数项,能量泛函上可以化简为 E1 k(8)|°L8f-12|+x1|(aL)+(aL) b∈ +入2(|7L-0IM+|0L-aI2。M) 化简之后,上L仍然是一个高度非凸的能量泛函,涉及很多的未知量。为了有效的优化这个 泛函,我们提出了一种变量替换方案同时迭代参数能够重新加权的技术。基木的思路是从方 稈7中把复杂的卷积从其它项中分离出来,这样,我们貮可以用快速傅里叶变换有效的计算。 我们引入辅助变量集亚=(亚2,亚y)来替代变量OL=(O2L,OyL),增加额 外的约束亚≈OL.这样,对」每一个(La,0yL)∈O,与之相对应的有 (v,x,v;y)∈亚,这样方程7变換为 【实例截图】
【核心代码】