本文对 DAVID MANSOUR 等人于 1982 年在 IEEE Transactions on Acoustics, Speech, and Signal Processing 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

论文链接：https://ieeexplore.ieee.org/document/1163949。

目录

• 1. 论文目的
• 2. 摘要
• 3. 介绍
• 4. 频域自适应滤波器
• • 4.1. 符号和定义
  • 4.2.UFLMS 算法
• 5. 收敛到维纳解
• 6. 仿真结果
• 7. 结论
• 8. 附录
• 9. 后记

1. 论文目的

提出一种收敛于维纳解的频域自适应滤波算法，该算法在降低计算量的同时又对高度相关的输入信号具有快速收敛率。

2. 摘要

论文提出了一种无约束频域最小均方（UFLMS）算法。该算法基于频域滤波中所使用的 “overlap-save” 技术。所提出的算法收敛于维纳解，并且没有 Ferrara 提出的对冲激响应施加时域约束的操作。

对于大的抽头数量（$\ge 32$），UFLMS 算法能显著降低计算量。另一个优势是对于高度相关的输入信号，它具有快速的收敛率。通过仿真验证了算法的性能。

3. 介绍

自适应滤波器是一种很有价值的信号处理工具，在干扰和回声消除、通道均衡、线性预测和谱估计中有着广泛的应用。在有限脉冲响应 FIR 的时域方法中，LMS，the gradient lattice 或最小二乘 lattice 等算法被用来估计自适应滤波器。上述提到的每个算法，输出一个采样点所需的乘法和加法次数均是随着滤波器的长度线性增长的。对于声学噪声抑制或声呐应用，所需的滤波器长度通常是上千点。为了处理这些应用，研究者们已经付出了巨大努力来开发有效的谱技术。

已有文献已经提出了很多技术。尽管这些技术在非常有限的应用中取得了良好的性能，但它们收敛到有偏的次优解。例如，Dentino 等人提出的频域方法，作为线路增强器取得了良好的性能。Waltzman 和 Schwartz 提出的频域方法，专为孤立的训练脉冲场景而设计，其用途非常有限。尽管频域的使用非常有吸引力（因为 FFT），使得先前的自适应滤波不能有效工作的关键困难在于，滤波器必须执行线性卷积，而 FFT 本质上适合于循环卷积。

最近，Ferrara 提出了一个更通用的，收敛到最优（维纳）解的频域自适应滤波器算法（FLMS）。FLMS 算法对于大的抽头数量是有效的，而且能被用于一般的自适应滤波应用中。然而，FLMS 算法最主要的缺点就是，对于高度相关的输入信号，它收敛得很慢，与时域 LMS 算法的情况相同。在每一轮迭代中，FLMS 算法需要 5 个 DFT。其中两个用于施加频域约束，该约束是将时域扩张的冲激响应的最后 N 个点置为 0（笔者注：之所以称之为时域扩张的冲激响应，是因为在算法具体实现过程中，在时域上给真实的冲激响应后面补了 N 个点）。

作者提出了一种新的频域自适应滤波算法，该算法收敛到维纳解，并且不需要任何约束。相比于 FLMS 算法（可参考 论文笔记之 FLMS），所提出的算法即具有快速收敛率，又能降低计算复杂度。对于协方差矩阵具有高度不同特征值的输入信号，具有收敛因子的无约束频域算法（通过每个频率的期望能量进行归一化）能更快得收敛。结果表明该算法能显著地节省计算量，并提高收敛率。

在接下来的内容中，作者首先提出了 UFLMS 算法；接着指出该算法收敛到时域维纳解；然后介绍了自适应的收敛因子，并在系统辨识的仿真实验中，比较了 UFLMS 算法和 LMS 算法的性能；最后，从所需乘法和加法的次数以及存储量大小两方面，讨论了算法的复杂度。

4. 频域自适应滤波器

为了简化频域算法的表示，先简要回顾 LMS 算法（图1）。

LMS 算法是时域的自适应滤波器。在每次迭代过程中，横向滤波器的权值 ω j \bm \omega_{j} ωj​ 根据下式更新：
ω j + 1 = ω j + 2 μ e j χ j (1)\bm \omega_{j+1} = \bm \omega_{j} + 2 \mu e_{j} \bm \chi_{j} \tag{1} ωj+1​=ωj​+2μej​χj​(1)

其中， χ j \bm \chi_{j} χj​ 是输入样本存储在自适应滤波器中的状态向量：
χ j T = ( χ j , χ j − 1 , ⋯   , χ j − N ) (2)\bm \chi_{j}^{T} = (\chi_{j}, \chi_{j-1}, \cdots, \chi_{j-N}) \tag{2} χjT​=(χj​,χj−1​,⋯,χj−N​)(2)

第 $j$ 次迭代的误差是 e j e_{j} ej​，定义为：
e j = d j − y j (3)e_{j} = d_{j} - y_{j} \tag{3} ej​=dj​−yj​(3)

其中，
y j = χ j T ω j (4)y_{j} = \bm \chi_{j}^{T} \bm \omega_{j} \tag{4} yj​=χjT​ωj​(4)
d j d_{j} dj​ 是自适应滤波器的期望响应。

在时域自适应滤波器中， e j e_{j} ej​ 和 y j y_{j} yj​ 都是标量。在频域自适应滤波器中，滤波器的输出和误差信号都是向量。频域自适应滤波器需要新的输入输出定义。大写字母将代表频域变量，小写字母代表时域变量，黑体字母代表向量或矩阵。

UFLMS 算法基于快速卷积中所使用的众所周知的 overlap-save。为了阐明 UFLMS 算法推导过程中的输入/输出公式和符号，作者首先使用矩阵表示介绍了 overlap-save。

假设数字滤波器的阶数小于等于 $N$。定义 $2N$ 点的冲激响应向量 $\mathbf{w}$：
w ( i ) = w ( i ) i = 0 , 1 , ⋯   , N w ( i ) = 0            i = N + 1 , ⋯   , 2 N − 1 (5) \begin{aligned} & w(i) = w(i) \quad i = 0, 1, \cdots, N \\ & w(i) = 0 \quad \; \; \; \; \; i = N+1, \cdots, 2N-1 \end{aligned} \tag{5} ​w(i)=w(i)i=0,1,⋯,Nw(i)=0i=N+1,⋯,2N−1​(5)

输入数据流 $\chi (n)$ 按照以下方式，被分割成 $2N$ 点的向量，其中 $N$ 个点是重叠的：
χ k ( n ) = χ k N + nn = 0 , 1 , ⋯   , 2 N − 1    k = 0 , 1 , 2 , ⋯   , ∞ (6) \chi_{k}(n) = \chi_{kN + n} \quad n = 0, 1, \cdots, 2N-1 \\ \qquad \qquad \qquad \; k = 0, 1, 2, \cdots, \infty \tag{6} χk​(n)=χkN+n​n=0,1,⋯,2N−1k=0,1,2,⋯,∞(6)

使用循环卷积的矩阵表示，并且为了简便忽略 $k$，输出向量 y k \bm {y}_{k} yk​ 为：
[ y 2 N − 1 y 2 N − 2 y 2 N − 3⋮ y 1y 0] = [ χ ( 0 ) χ ( 1 ) χ ( 2 ) ⋯ χ ( 2 N − 1 )χ ( 2 N − 1 ) χ ( 0 ) χ ( 1 ) ⋯ χ ( 2 N − 2 )χ ( 2 N − 2 ) ⋯ ⋯ ⋯ ⋯⋮⋮ χ ( 2 ) χ ( 3 ) ⋯ ⋯ χ ( 1 )χ ( 1 ) χ ( 2 ) ⋯ ⋯ χ ( 0 )] [ 000⋮ w 1w 0] (7) \begin{bmatrix} y_{2N-1} \\ y_{2N-2} \\ y_{2N-3} \\ \vdots \\ y_{1} \\ y_{0} \end{bmatrix} = \begin{bmatrix} \chi(0) & \chi(1) & \chi(2) & \cdots & \chi(2N-1) \\ \chi(2N-1) & \chi(0) & \chi(1) & \cdots & \chi(2N-2) \\ \chi(2N-2) & \cdots & \cdots & \cdots & \cdots \\ \vdots & & & & \vdots \\ \chi(2) & \chi(3) & \cdots & \cdots & \chi(1) \\ \chi(1) & \chi(2) & \cdots & \cdots & \chi(0) \end{bmatrix} \begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots \\ w_{1} \\ w_{0} \end{bmatrix} \tag{7} ⎣⎢⎢⎢⎢⎢⎢⎢⎡​y2N−1​y2N−2​y2N−3​⋮y1​y0​​⎦⎥⎥⎥⎥⎥⎥⎥⎤​=⎣⎢⎢⎢⎢⎢⎢⎢⎡​χ(0)χ(2N−1)χ(2N−2)⋮χ(2)χ(1)​χ(1)χ(0)⋯χ(3)χ(2)​χ(2)χ(1)⋯⋯⋯​⋯⋯⋯⋯⋯​χ(2N−1)χ(2N−2)⋯⋮χ(1)χ(0)​⎦⎥⎥⎥⎥⎥⎥⎥⎤​⎣⎢⎢⎢⎢⎢⎢⎢⎡​000⋮w1​w0​​⎦⎥⎥⎥⎥⎥⎥⎥⎤​(7)

可以看到，因为向量 $\mathbf{w}$ 最前面的 $N-1$ 个点是零，输出向量 y k \bm{y}_{k} yk​ 中的最后 $N$ 点是线性卷积的结果。在 overlap-save 方法中，矩阵操作使用 FFT 来完成，这能大大降低计算量。可以看到，在每次迭代 $k$ 中，有 $2N$ 点的输入数据和 $N$ 点的输出数据。正因如此，输入数据才会有 $N$ 点的重叠。

接下来将讨论在推导 UFLMS 算法的过程中，所使用的不同的矩阵操作。

4.1. 符号和定义

令 $\mathbf{F}$ 表示 $2N\times 2N$ 的对称矩阵，其元素为 Fkj = exp ( − i ( 2 π / 2 N ) k j ) ,   k , j = 0 , 1 , ⋯  , 2 N − 1 F_{kj} = \text{exp} (-i(2\pi / 2N)kj), \; k, j = 0, 1, \cdots, 2N-1 Fkj​=exp(−i(2π/2N)kj),k,j=0,1,⋯,2N−1，其中 $i$ 是 $-1$ 的平方根。当使用 $\mathbf{F}$ 对 $2N$ 阶的列向量进行运算时，其结果是一个列向量，表示原始向量的 DFT变换。

令 F−1 \bm F^{-1} F−1 表示 $\mathbf{F}$ 的逆矩阵，它也是 $2N\times 2N$ 的对称矩阵，其元素为 Fkj −1 = 1 / 2 N   exp ( i ( 2 π / 2 N ) k j ) F_{kj}^{-1} = 1/2N \; \text{exp} (i(2\pi/2N)kj) Fkj−1​=1/2Nexp(i(2π/2N)kj)。$\mathbf{F}$ 和 F−1 \bm F^{-1} F−1 满足以下关系： F † = 2 N F−1 ,   ( F−1 ) † = ( 1 / 2 N ) F \bm F^{\dag} = 2N \bm F^{-1}, \; (\bm F^{-1})^{\dag} = (1/2N) \bm F F†=2NF−1,(F−1)†=(1/2N)F，其中 $†$ 代表复数共轭转置。

令 χ k \bm{\chi}_{k} χk​ 表示第 $k$ 次迭代中，$(6)$ 和 $(7)$ 所定义的循环矩阵。现定义：
Xk = Fχk F − 1\bm{X}_{k} = \bm F \bm{\chi}_{k} \bm F^{-1} Xk​=Fχk​F−1

因为 χ k \bm{\chi}_{k} χk​ 是一个循环矩阵，所以 X k \bm{X}_{k} Xk​ 是一个对角阵，其元素为循环矩阵 χ k \bm{\chi}_{k} χk​ 第一行元素的 DFT 变换。进一步可得到： X k † = F χ k † F−1 \bm{X}_{k}^{\dag} = \bm F \bm{\chi}_{k}^{\dag} \bm F^{-1} Xk†​=Fχk†​F−1

令 $\mathbf{h}$ 表示 $2N\times 2N$ 的窗口矩阵，其右下角的 $N\times N$ 个元素为单位矩阵：
h =[ 0 0 0 I ] \bm h = \begin{bmatrix} \bm 0 & \bm 0 \\ \bm 0 & \bm I \end{bmatrix} h=[00​0I​]

满足 $\mathbf{h}\mathbf{h}=\mathbf{h}$。定义： H   △   F h F−1 \bm H \; \bm \triangle \; \bm F \bm h \bm F^{-1} H△FhF−1，因为 $\mathbf{h}$ 是对角阵，所以 $\mathbf{H}$ 是循环矩阵，其第一行元素是向量 $(0\cdots 011\cdots 1)$ 的 IDFT 变换。$\mathbf{H}$ 满足以下等式：
H H = F h F − 1 F h F − 1 = F h F − 1 = H (8) \bm H \bm H = \bm F \bm h \bm F^{-1} \bm F \bm h \bm F^{-1} = \bm F \bm h \bm F^{-1} = \bm H \tag{8} HH=FhF−1FhF−1=FhF−1=H(8)
H † = ( F − 1 ) † h † F † = F h F − 1 = H (9) \bm H^{\dag} = (\bm F^{-1})^{\dag} \bm h^{\dag} \bm F^{\dag} = \bm F \bm h \bm F^{-1} = \bm H \tag{9} H†=(F−1)†h†F†=FhF−1=H(9)

令 $\mathbf{\mu }$ 表示 $2N\times 2N$ 的实对角正定矩阵，其对角线上的元素表示 UFLMS 算法中每个频点的收敛常数，稍后将作介绍。

令 d k ， ω k ， e k ， y k \bm d_{k}，\bm \omega_{k}，\bm e_{k}，\bm y_{k} dk​，ωk​，ek​，yk​ 均为 $2N$ 点的向量，分别表示时域的期望响应，冲激响应，误差向量和输出向量。 D k ， W k ， E k ， Y k \bm D_{k}，\bm W_{k}，\bm E_{k}，\bm Y_{k} Dk​，Wk​，Ek​，Yk​ 分别表示 d k ， ω k ， e k ， y k \bm d_{k}，\bm \omega_{k}，\bm e_{k}，\bm y_{k} dk​，ωk​，ek​，yk​ $2N$ 点的 DFT 变换。

4.2.UFLMS 算法

使用上述的定义和图2 中的框图，可以给出无约束的频域自适应滤波器。其配置基于 “overlap-save” 技术。在第 $k$ 次迭代中，将对角阵 X k \bm X_{k} Xk​（由 $2N$ 点的输入向量的 DFT 变换推导出）与 W k \bm W_{k} Wk​（冲激响应的 DFT 变换）相乘，生成输出 Y k \bm Y_{k} Yk​：
Y k = X k W k (10) \bm Y_{k} = \bm X_{k} \bm W_{k} \tag{10} Yk​=Xk​Wk​(10)

时域的输出是：
y k = F − 1 X k W k (11)\bm y_{k} = \bm F^{-1} \bm X_{k} \bm W_{k} \tag{11} yk​=F−1Xk​Wk​(11)

加窗之前的时域误差信号是：
e k ′ = d k − y k (12)\bm e_{k}^{'} = \bm d_{k} - \bm y_{k} \tag{12} ek′​=dk​−yk​(12)

根据 “overlap-save” 方法，当滤波器长度为 $N$ 时， y k \bm y_{k} yk​ 中只有最后 $N$ 个点是线性卷积的结果。给上述误差信号加窗 $\mathbf{h}$ 可得：
e k = h ( d k − y k ) = h ( d k − F − 1 X k W k ) (13)\bm e_{k} = \bm h (\bm d_{k} - \bm y_{k}) = \bm h (\bm d_{k} - \bm F^{-1} \bm X_{k} \bm W_{k}) \tag{13} ek​=h(dk​−yk​)=h(dk​−F−1Xk​Wk​)(13)

因为初衷是在频域对系数进行自适应，所以，给 $(13)$ 的两边乘以 $\mathbf{F}$ 以进行 DFT 变换:
E k = Fek = F h (dk −F − 1 Xk Wk ) E k = F hF − 1 ( Fdk − FF − 1 Xk Wk ) E k = H (Dk −Xk Wk ) (14) \begin{aligned} \bm E_{k} &= \bm F \bm e_{k} = \bm F \bm h (\bm d_{k} - \bm F^{-1} \bm X_{k} \bm W_{k}) \\ \bm E_{k} &= \bm F \bm h \bm F^{-1} (\bm F \bm d_{k} - \bm F \bm F^{-1} \bm X_{k} \bm W_{k}) \\ \bm E_{k} &= \bm H (\bm D_{k} - \bm X_{k} \bm W_{k}) \end{aligned} \tag{14} Ek​Ek​Ek​​=Fek​=Fh(dk​−F−1Xk​Wk​)=FhF−1(Fdk​−FF−1Xk​Wk​)=H(Dk​−Xk​Wk​)​(14)

为了推导自适应算法，可以遵循推导 LMS 算法时的相同步骤。假定输入信号是平稳的，并且待辨识系统是时不变的。可以证明平方误差的期望值 ϵ { ∣ E k ∣ 2 } \epsilon \{|E_{k}|^{2}\} ϵ{∣Ek​∣2} 是 W k \bm W_{k} Wk​ 的二次方。通过使用梯度法，算法将收敛到某个达到最小均方误差的 w o \bm w^{o} wo。每次迭代的均方误差是：
∣ E k ∣ 2 = E k † E k = ( D k † − W k † X k † ) H † H ( D k − X k W k ) (15) |E_{k}|^{2} = \bm E_{k}^{\dag} \bm E_{k} = (\bm D_{k}^{\dag} - \bm W_{k}^{\dag} \bm X_{k}^{\dag}) \bm H^{\dag} \bm H (\bm D_{k} - \bm X_{k} \bm W_{k}) \tag{15} ∣Ek​∣2=Ek†​Ek​=(Dk†​−Wk†​Xk†​)H†H(Dk​−Xk​Wk​)(15)

由于 $\mathbf{H}$ 是对称且幂等的（见 $(8)，(9)$）:
∣ E k ∣ 2 = ( D k † − W k † X k † ) H ( D k − X k W k ) (16) |E_{k}|^{2} = (\bm D_{k}^{\dag} - \bm W_{k}^{\dag} \bm X_{k}^{\dag}) \bm H (\bm D_{k} - \bm X_{k} \bm W_{k}) \tag{16} ∣Ek​∣2=(Dk†​−Wk†​Xk†​)H(Dk​−Xk​Wk​)(16)

暂时假设权值向量 W k \bm W_{k} Wk​ 独立于 X k \bm X_{k} Xk​，该假设只用于推动算法的设计，并不用于后续的收敛性证明。平方误差的期望值将是：
ϵ { ∣Ek ∣2 } = ϵ {Dk† HDk } − 2 ϵ {Dk† HXk }Wk +Wk† ϵ {Xk† HXk }Wk (17) \begin{aligned} \epsilon \{|E_{k}|^{2}\} &= \epsilon \{\bm D_{k}^{\dag} \bm H \bm D_{k}\} - 2 \epsilon \{\bm D_{k}^{\dag} \bm H \bm X_{k}\} \bm W_{k} \\ &+ \bm W_{k}^{\dag} \epsilon \{\bm X_{k}^{\dag} \bm H \bm X_{k}\} \bm W_{k} \end{aligned} \tag{17} ϵ{∣Ek​∣2}​=ϵ{Dk†​HDk​}−2ϵ{Dk†​HXk​}Wk​+Wk†​ϵ{Xk†​HXk​}Wk​​(17)

其中，$ϵ$ 表示取期望。$(17)$ 是 W k \bm W_{k} Wk​ 的二次方，令该式对 W k \bm W_{k} Wk​ 的梯度为零，可得到最优值 W o \bm W^{o} Wo：
▽ W k †    △    − 2 ϵ { D k † H X k } + 2 W k † ϵ { X k † H X k } = 0 (18)\bm \bigtriangledown \bm W_{k}^{\dag} \; \bm \triangle \; -2 \epsilon \{\bm D_{k}^{\dag} \bm H \bm X_{k}\} + 2 \bm W_{k}^{\dag} \epsilon \{\bm X_{k}^{\dag} \bm H \bm X_{k}\} = 0 \tag{18} ▽Wk†​△−2ϵ{Dk†​HXk​}+2Wk†​ϵ{Xk†​HXk​}=0(18)

UFLMS 算法使用梯度法来求解 $(18)$。根据这个方法，下一次的权值向量 Wk+1 \bm W_{k+1} Wk+1​ 等于 W k \bm W_{k} Wk​ 加上一个与负梯度成比例的增量：
W k + 1 = W k − μ ▽ W k (19)\bm W_{k+1} = \bm W_{k} - \bm \mu \bm \bigtriangledown \bm W_{k} \tag{19} Wk+1​=Wk​−μ▽Wk​(19)

在 UFLMS 算法中，第 $k$ 次迭代使用瞬时值估计梯度向量。就像 LMS 算法一样，用瞬时梯度来估计真实梯度。从 $(18)$ 中可以得出，控制滤波器权值的方程为:
W k + 1 = W k + 2 μ X k † ( H D k − H X k W k ) (20)\bm W_{k+1} = \bm W_{k} + 2 \bm \mu \bm X_{k}^{\dag} (\bm H \bm D_{k} - \bm H \bm X_{k} \bm W_{k}) \tag{20} Wk+1​=Wk​+2μXk†​(HDk​−HXk​Wk​)(20)

或
W k + 1 = W k + 2 μ X k † E k (21)\bm W_{k+1} = \bm W_{k} + 2 \bm \mu \bm X_{k}^{\dag} \bm E_{k} \tag{21} Wk+1​=Wk​+2μXk†​Ek​(21)
其中，对角阵 $\mathbf{\mu }$ 是收敛常量。将会看到，不同的频点可选用不同的收敛常量。

这一小节，作者以一种简单的方式介绍了算法。截止到目前为止，最主要的问题是：在什么情况下，$(18)$ 有唯一解；并且该唯一解在什么时候是最优解（维纳解）？瞬时梯度算法需要什么样的条件，$(21)$ 才能收敛到唯一解？这些问题将是下一小节的主题。

5. 收敛到维纳解

在本节，作者证明了在以下条件满足的情况下，UFLMS 算法收敛到维纳解：
1） 自适应滤波器的输入信号是各态历经的，平稳的，有界的；
2） 输入信号协方差矩阵（$N+1$ 阶或更高阶）的秩至少为 $N+1$；
3） 待辨识系统是时不变的；
4） 待辨识系统的阶数小于等于 $N$。

假设期望响应信号是输入信号和冲激响应 W ′ \bm W^{'} W′ 的线性卷积再加上噪声信号的结果，该噪声信号和输入信号不相关。 W ′ \bm W^{'} W′ 是待辨识系统，假设它是时不变的，而且阶数小于等于 $N+1$。

前三个条件与证明 LMS 算法的收敛性时所使用的条件是一样的。条件四是在本小节的证明过程中唯一需要增加的。在大多数实际应用中，该条件均能被满足。

收敛性的证明过程可以被划分为三个步骤。首先，作者证明了对于满足条件 2）的平稳信号来说，$(18)$ 有唯一解；然后，作者证明了在满足条件 4）的情况下，该唯一解是维纳解；最后，作者证明了在四个条件都满足的情况下，上一节提出的瞬时梯度算法收敛到维纳解。

因为条件 2）是在时域，所以，为了证明 $(18)$ 有唯一解，先通过 F−1 \bm F^{-1} F−1 将 $(18)$ 转换到时域：
F − 1 [ ϵ { X k † H X k } W k − ϵ { X k † H D k } ] = 0 (22)\bm F^{-1} [\epsilon \{\bm X_{k}^{\dag} \bm H \bm X_{k}\}\bm W_{k} - \epsilon \{\bm X_{k}^{\dag} \bm H \bm D_{k}\}] = 0 \tag{22} F−1[ϵ{Xk†​HXk​}Wk​−ϵ{Xk†​HDk​}]=0(22)

用时域的表示替换频域的矩阵和向量，$(22)$ 可改写为：
ϵ { F − 1 F χ k † F − 1 F h F − 1 F d k } = ϵ { F − 1 F χ k † F − 1 F h F − 1 F χ k F − 1 } F ω k (23)\epsilon \{\bm F^{-1} \bm F \bm \chi_{k}^{\dag} \bm F^{-1} \bm F \bm h \bm F^{-1} \bm F \bm d_{k}\} = \epsilon \{\bm F^{-1} \bm F \bm \chi_{k}^{\dag} \bm F^{-1} \bm F \bm h \bm F^{-1} \bm F \bm \chi_{k} \bm F^{-1}\} \bm F \bm \omega_{k} \tag{23} ϵ{F−1Fχk†​F−1FhF−1Fdk​}=ϵ{F−1Fχk†​F−1FhF−1Fχk​F−1}Fωk​(23)

因为 F F−1 = I \bm F \bm F^{-1} = \bm I FF−1=I，所以：
ϵ { χ k † h d k } = ϵ { χ k † h χ k } ω k (24)\epsilon \{ \bm \chi_{k}^{\dag} \bm h \bm d_{k}\} = \epsilon \{\bm \chi_{k}^{\dag} \bm h \bm \chi_{k}\} \bm \omega_{k} \tag{24} ϵ{χk†​hdk​}=ϵ{χk†​hχk​}ωk​(24)

定义：
p = ϵ { χ k † h d k } (25)\bm p = \epsilon \{ \bm \chi_{k}^{\dag} \bm h \bm d_{k}\} \tag{25} p=ϵ{χk†​hdk​}(25)
r = ϵ { χ k h χ k } (26)\bm r = \epsilon \{\bm \chi_{k} \bm h \bm \chi_{k}\} \tag{26} r=ϵ{χk​hχk​}(26)

$(24)$ 可被重写为以下矩阵形式：
r ω k = p (27)\bm r \bm \omega_{k} = \bm p \tag{27} rωk​=p(27)

如果矩阵 $\mathbf{r}$ 是非奇异的，那么 $(27)$ 就有唯一解。附录中，作者证明了如果输入信号的协方差矩阵的秩大于等于 $N+1$，那么矩阵 $\mathbf{r}$ 的秩就是 $2N$。（前提是输入信号如果是周期性的，那么其周期正好不为 $2N$)

第一个结论是：在平稳性以及条件 2）满足的情况下，$(24)$ 有唯一解。

第二步是在条件 4）满足的情况下，证明该唯一解是最优解（维纳解）。为了证明该结论，需要更加明确地表示出期望响应向量 d k \bm d_{k} dk​。使用 “overlap-save” 技术和条件 4）， d k \bm d_{k} dk​ 能被写成以下形式
h d k = h ( χ k ω ′ + n k ) (28)\bm h \bm d_{k} = \bm h (\bm \chi_{k} \bm \omega^{'} + \bm n_{k}) \tag{28} hdk​=h(χk​ω′+nk​)(28)

其中， ω ′ \bm \omega^{'} ω′ 是在待辨识系统的真实冲激响应上，补了 $N-1$ 点零的结果。因为滤波器的阶数小于等于 $N$， n k \bm n_{k} nk​ 是和 χ k \bm \chi_{k} χk​ 不相关的加性噪声。从 “overlap-save” 技术可知，只有 χ k ω ′ \bm \chi_{k} \bm \omega^{'} χk​ω′ 的最后 $N$ 个元素是线性卷积的结果。正因如此，公式两边均乘以 $\mathbf{h}$，并且对于 $\mathbf{h}$，$(28)$ 成立。将 $(28)$ 代入 $(24)$，可得：
ϵ { χ k † h ( χ k ω ′ + n k ) } = ϵ { χ k † h χ k } ω k (29)\epsilon \{ \bm \chi_{k}^{\dag} \bm h (\bm \chi_{k} \bm \omega^{'} + \bm n_{k})\} = \epsilon \{\bm \chi_{k}^{\dag} \bm h \bm \chi_{k}\} \bm \omega_{k} \tag{29} ϵ{χk†​h(χk​ω′+nk​)}=ϵ{χk†​hχk​}ωk​(29)

因为 n k \bm n_{k} nk​ 独立于 χ k \bm \chi_{k} χk​，可得：
ϵ { χ k † h χ k } ω ′ = ϵ { χ k † h χ k } ω k (30)\epsilon \{ \bm \chi_{k}^{\dag} \bm h \bm \chi_{k}\} \bm \omega^{'} = \epsilon \{\bm \chi_{k}^{\dag} \bm h \bm \chi_{k}\} \bm \omega_{k} \tag{30} ϵ{χk†​hχk​}ω′=ϵ{χk†​hχk​}ωk​(30)

可以看出，$(24)$ 的解是 ω k = ω ′ \bm \omega_{k} = \bm \omega^{'} ωk​=ω′，是最优解，前提是 $\mathbf{r}$ 是非奇异的。

第二个结论是：当输入信号是平稳的，以及条件 2）～4） 均满足的时候，$(24)$ 的解是最优维纳解。

最后一步是证明，在条件1）～3）均满足的情况下，瞬时梯度算法收敛到唯一解，从第二步可以看出，在条件 4）满足的情况下，该唯一解是维纳解。

从 $(20)$ 可得：
W k + 1 = W k + 2 μ X k † H ( D k − X k W k ) (31)\bm W_{k+1} = \bm W_{k} + 2 \bm \mu \bm X_{k}^{\dag} \bm H (\bm D_{k} - \bm X_{k} \bm W_{k}) \tag{31} Wk+1​=Wk​+2μXk†​H(Dk​−Xk​Wk​)(31)

因为 $\mathbf{H}\mathbf{H}=\mathbf{H}$，$(31)$ 可被重写为：
W k + 1 = W k + 2 μ X k † H ( H D k − X k W k ) (32)\bm W_{k+1} = \bm W_{k} + 2 \bm \mu \bm X_{k}^{\dag} \bm H (\bm H \bm D_{k} - \bm X_{k} \bm W_{k}) \tag{32} Wk+1​=Wk​+2μXk†​H(HDk​−Xk​Wk​)(32)

给 $(28)$ 乘以 $\mathbf{F}$，可得：
H D k = H ( X k W ′ + F n k ) (33)\bm H \bm D_{k} = \bm H (\bm X_{k} \bm W^{'} + \bm F \bm n_{k}) \tag{33} HDk​=H(Xk​W′+Fnk​)(33)

其中， W ′ \bm W^{'} W′ 是 w ′ \bm w^{'} w′（待辨识系统的冲激响应）的 DFT 变换。将 $(33)$ 代入 $(32)$，可得：
W k + 1 = W k + 2 μ X k † H ( X k W ′ + F n k − X k W k ) (34)\bm W_{k+1} = \bm W_{k} + 2 \bm \mu \bm X_{k}^{\dag} \bm H (\bm X_{k} \bm W^{'} + \bm F \bm n_{k} - \bm X_{k} \bm W_{k}) \tag{34} Wk+1​=Wk​+2μXk†​H(Xk​W′+Fnk​−Xk​Wk​)(34)

令 Vk+1 = W ′ − Wk+1 \bm V_{k+1} = \bm W^{'} - \bm W_{k+1} Vk+1​=W′−Wk+1​，可得：
V k + 1 = ( I − 2 μ X k † H X k ) V k − 2 μ X k † H F n k (35)\bm V_{k+1} = (\bm I - 2 \bm \mu \bm X_{k}^{\dag} \bm H \bm X_{k}) \bm V_{k} - 2 \bm \mu \bm X_{k}^{\dag} \bm H \bm F \bm n_{k} \tag{35} Vk+1​=(I−2μXk†​HXk​)Vk​−2μXk†​HFnk​(35)

给 $(35)$ 乘以 μ−1/2 \bm \mu^{-1/2} μ−1/2，可得：
μ − 1 / 2 V k + 1 = μ − 1 / 2 ( I − 2 μ X k † H X k ) μ 1 / 2 μ − 1 / 2 V k − 2 μ + 1 / 2 X k † H F n k (36)\bm \mu^{-1/2} \bm V_{k+1} = \bm \mu^{-1/2} (\bm I - 2 \bm \mu \bm X_{k}^{\dag} \bm H \bm X_{k}) \bm \mu^{1/2} \bm \mu^{-1/2} \bm V_{k} - 2 \bm \mu^{+1/2} \bm X_{k}^{\dag} \bm H \bm F \bm n_{k} \tag{36} μ−1/2Vk+1​=μ−1/2(I−2μXk†​HXk​)μ1/2μ−1/2Vk​−2μ+1/2Xk†​HFnk​(36)

使用以下定义：
U k = μ − 1 / 2 V k (37)\bm U_{k} = \bm \mu^{-1/2} \bm V_{k} \tag{37} Uk​=μ−1/2Vk​(37)
G k = μ − 1 / 2 ( I − 2 μ X k † H X k ) μ 1 / 2 (38)\bm G_{k} = \bm \mu^{-1/2} (\bm I - 2 \bm \mu \bm X_{k}^{\dag} \bm H \bm X_{k}) \bm \mu^{1/2} \tag{38} Gk​=μ−1/2(I−2μXk†​HXk​)μ1/2(38)