目前只讲解模型流程以及本质为线性滤波器的证明，后续会添加更多细节

MODEL

  • 聚合信息：

    聚合信息：LightGCN采用简单的加权和聚合器，弃用特征变换与非线性激活。其传播规则为：

    eu(k+1)=∑i∈Nu1∣Nu∣∣Ni∣ei(k), \mathbf{e}_u^{(k+1)}=\sum_{i\in\mathcal{N}_u}\frac{1}{\sqrt{|\mathcal{N}_u|}\sqrt{|\mathcal{N}_i|}}\mathbf{e}_i^{(k)}, ei(k+1)=∑u∈Ni1∣Ni∣∣Nu∣eu(k). \mathbf{e}_i^{(k+1)}=\sum_{u\in\mathcal{N}_i}\frac{1}{\sqrt{|\mathcal{N}_i|}\sqrt{|\mathcal{N}_u|}}\mathbf{e}_u^{(k)}.

    对称归一化项 1∣Nu∣∣Ni∣\frac{1}{\sqrt{|\mathcal{N}_u|}\sqrt{|\mathcal{N}_i|}} 继承自标准GCN[23]，可避免嵌入在多次卷积后尺度不断增大；也可用其他归一化（如L1L_1），但实证上对称归一化效果较好（4.4.2节）。

  • 层组合：
    LightGCN唯一可以训练的参数是第0层嵌入：所有用户的 eu(0)\mathbf{e}_u^{(0)} 与所有物品的 ei(0)\mathbf{e}_i^{(0)}。
    之后高层嵌入高层嵌入可由式2计算。经过KK层传播后，将各层嵌入加权求和得到最终表示：

    eu=∑k=0Kαkeu(k);ei=∑k=0Kαkei(k). \mathbf{e}_u=\sum_{k=0}^{K}\alpha_k\mathbf{e}_u^{(k)};\quad \mathbf{e}_i=\sum_{k=0}^{K}\alpha_k\mathbf{e}_i^{(k)}.

    其中 αk≥0\alpha_k\ge0 表示第kk层嵌入的重要性。
    LightGCN论文里采用αk=1K+1\alpha_k=\frac{1}{K+1}。

  • 预测分数：
    预测分数定义为最终用户与物品表示的内积：

y^ui=euTei. \hat{y}_{ui}=\mathbf{e}_u^T\mathbf{e}_i.
  • LightGCN的矩阵表示，可以参考下文关于LightGCN本质的探讨。

LightGCN本质为线性滤波器

有部分GSP的前置知识要求，可以参考GF-CF论文。

1.LightGCN公式化梳理

目标：借助归一化邻接矩阵A~\tilde{A}推理lightgcn过程

总结：Lightgcn的过程可以看作：初始嵌入右乘某个矩阵的多项式，这里的某个矩阵就是归一化邻接矩阵:A~=D−1/2AD−1/2\tilde{A} = D^{-1/2} A D^{-1/2}

一、准备数据/相关矩阵：

用户数为 ∣U∣|\mathcal{U}|，物品数为 ∣I∣|\mathcal{I}|，总节点数 N=∣U∣+∣I∣N = |\mathcal{U}| + |\mathcal{I}|。

交互矩阵 RR：(∣U∣×∣I∣|\mathcal{U}| \times |\mathcal{I}|)

Ru,i={1,用户 u 与物品 i 有交互0,否则R_{u,i} = \begin{cases} 1, & \text{用户 } u \text{ 与物品 } i \text{ 有交互} \\ 0, & \text{否则} \end{cases}

邻接矩阵 AA：(N×NN \times N )

A=[0RRT0]A = \begin{bmatrix} 0 & R \\ R^T & 0 \end{bmatrix}

无向图

二、构造归一化邻接矩阵A~\tilde A

度矩阵D：

D=diag(d1,d2,…,dN)D = \text{diag}(d_1, d_2, \dots, d_N) (di=∑j=1NAi,j)(d_i = \sum_{j=1}^{N} A_{i,j}),表示第i个节点的度数。

对称归一化：

A~=D−1/2AD−1/2 \tilde{A} = D^{-1/2} A D^{-1/2}

元素表示：A~i,j=Ai,jdi⋅dj\tilde{A}_{i,j} = \frac{A_{i,j}}{\sqrt{d_i \cdot d_j}}

三、Lightgcn传播过程

初始化嵌入矩阵：
LightGCN 为每个节点随机初始化一个 dd 维嵌入向量。所有节点的初始嵌入堆叠成矩阵：

E(0)=[e1(0)e2(0)⋮eN(0)]∈RN×d E^{(0)} = \begin{bmatrix} e_1^{(0)} \\ e_2^{(0)} \\ \vdots \\ e_N^{(0)} \end{bmatrix} \in \mathbb{R}^{N \times d}

LightGCN 的核心传播公式：

E(k+1)=A~E(k) E^{(k+1)} = \tilde{A} E^{(k)}

用初始嵌入表示各层输出：

第 0 层（输入）：

E(0) E^{(0)}

第 1 层：

E(1)=A~E(0) E^{(1)} = \tilde{A} E^{(0)}

第 2 层：

E(2)=A~E(1)=A~(A~E(0))=A~2E(0) E^{(2)} = \tilde{A} E^{(1)} = \tilde{A} (\tilde{A} E^{(0)}) = \tilde{A}^2 E^{(0)}

第 3 层：

E(3)=A~E(2)=A~(A~2E(0))=A~3E(0) E^{(3)} = \tilde{A} E^{(2)} = \tilde{A} (\tilde{A}^2 E^{(0)}) = \tilde{A}^3 E^{(0)}

以此类推，第 kk 层：

E(k)=A~kE(0) E^{(k)} = \tilde{A}^k E^{(0)}

每一层实际在做什么？
以单个节点 ii 为例，E(1)E^{(1)} 的第 ii 行是：

ei(1)=∑j∈N(i)1didj ej(0) e_i^{(1)} = \sum_{j \in \mathcal{N}(i)} \frac{1}{\sqrt{d_i d_j}} \, e_j^{(0)}

即，把节点 ii 的所有邻居的初始嵌入加权求和，权重与两端节点度数的平方根成反比。其实就是“平滑”操作的本质。

四、Lightgcn-层组合（加权求和）

LightGCN 不使用最后一层的输出，而是将所有层的嵌入加权求和作为最终嵌入：

Efinal=α0E(0)+α1E(1)+α2E(2)+⋯+αKE(K)=α0E(0)+α1A~E(0)+α2A~2E(0)+⋯+αKA~KE(0) \begin{aligned} E_{\text{final}} &= \alpha_0 E^{(0)} + \alpha_1 E^{(1)} + \alpha_2 E^{(2)} + \dots + \alpha_K E^{(K)} \\[6pt] &= \alpha_0 E^{(0)} + \alpha_1 \tilde{A} E^{(0)} + \alpha_2 \tilde{A}^2 E^{(0)} + \dots + \alpha_K \tilde{A}^K E^{(0)} \end{aligned}

将公因子 E(0)E^{(0)} 提出：

Efinal=(α0I+α1A~+α2A~2+⋯+αKA~K)E(0) \boxed{ E_{\text{final}} = \left( \alpha_0 I + \alpha_1 \tilde{A} + \alpha_2 \tilde{A}^2 + \dots + \alpha_K \tilde{A}^K \right) E^{(0)} }

其中 II 是 N×NN \times N 的单位矩阵。

括号里的部分，就是一个关于 A~\tilde{A} 的多项式矩阵：

P(A~)=∑k=0KαkA~k P(\tilde{A}) = \sum_{k=0}^{K} \alpha_k \tilde{A}^k

LightGCN 的整个前向传播过程，可以简化为用一个多项式矩阵 P(A~)P(\tilde{A}) 左乘初始嵌入矩阵 E(0)E^{(0)}。

2.线性滤波器整理为多项式形式

这部分推理：
如何从线性滤波器的频域多项式定义，推导出它在空域等价于图拉普拉斯矩阵 LL 的多项式。

一、线性滤波器定义（频域）

考虑一个图信号 x∈Rnx \in \mathbb{R}^n。图拉普拉斯矩阵 LL 是对称的，因此可以正交对角化：

L=UΛUT L = U \Lambda U^T

其中：

  • Λ=diag(λ1,…,λn)\Lambda = \mathrm{diag}(\lambda_1, \dots, \lambda_n)，特征值从小到大排列：λ1≤λ2≤⋯≤λn\lambda_1 \le \lambda_2 \le \dots \le \lambda_n。
  • U=[u1,…,un]U = [u_1, \dots, u_n] 是由对应特征向量组成的正交矩阵，满足 UTU=IU^T U = I。

线性滤波器在频域的定义：
对信号 xx 做图傅里叶变换 x^=UTx\hat{x} = U^T x，然后对每个频率分量分别乘以一个关于特征值的多项式缩放因子，再逆变换回来。即：

y=U⋅diag(h(λ1),…,h(λn))⋅UTx y = U \cdot \mathrm{diag}\big( h(\lambda_1), \dots, h(\lambda_n) \big) \cdot U^T x

其中 h(λ)h(\lambda) 是一个关于 λ\lambda 的 KK 次多项式：

h(λi)=∑k=0Kαkλik h(\lambda_i) = \sum_{k=0}^{K} \alpha_k \lambda_i^k

这里的 αk\alpha_k 是滤波系数。

二、把线性滤波器对应的多项式代入滤波器矩阵

滤波器矩阵的解释：
图卷积就是在做：y=H(L)x\boldsymbol{y}=\mathcal{H}(L)\boldsymbol{x}，也就是：原始信号向量左乘滤波器矩阵，进行滤波器矩阵对应的线性变换。
而滤波器矩阵的实际过程，通过下面的定义可以理解为：

H(L)\mathcal{H}(L)是在LL基础上做一些处理，处理的实际内容为：

针对L=UΛUTL = U \Lambda U^T，对里面的对角矩阵Λ\Lambda里面每一个数值套上h()h()函数。

定义滤波器矩阵为：

H(L)=U⋅diag(h(λ1),…,h(λn))⋅UT \mathcal{H}(L) = U \cdot \mathrm{diag}\big( h(\lambda_1), \dots, h(\lambda_n) \big) \cdot U^T

线性滤波器公式化表述就是：h(λi)=∑k=0Kαkλikh(\lambda_i) = \sum_{k=0}^{K} \alpha_k \lambda_i^k.

将 h(λi)=∑k=0Kαkλikh(\lambda_i) = \sum_{k=0}^{K} \alpha_k \lambda_i^k 代入对角矩阵：

diag(h(λ1),…,h(λn))=diag(∑k=0Kαkλ1k,…,∑k=0Kαkλnk)=∑k=0Kαk  diag(λ1k,…,λnk) \begin{aligned} \mathrm{diag}\big( h(\lambda_1), \dots, h(\lambda_n) \big) &= \mathrm{diag}\left( \sum_{k=0}^{K} \alpha_k \lambda_1^k, \dots, \sum_{k=0}^{K} \alpha_k \lambda_n^k \right) \\ &= \sum_{k=0}^{K} \alpha_k \; \mathrm{diag}(\lambda_1^k, \dots, \lambda_n^k) \end{aligned}

拆开的逻辑：因为对角矩阵的和等于每个对角矩阵分别求和再相加，而系数 αk\alpha_k 可以提到矩阵前面。

三、处理线性滤波器对应的 滤波器矩阵

提取滤波器矩阵的系数
将上述等式代回 H(L)\mathcal{H}(L)：

H(L)=U(∑k=0Kαk  diag(λ1k,…,λnk))UT=∑k=0Kαk  (U⋅diag(λ1k,…,λnk)⋅UT) \begin{aligned} \mathcal{H}(L) &= U \left( \sum_{k=0}^{K} \alpha_k \; \mathrm{diag}(\lambda_1^k, \dots, \lambda_n^k) \right) U^T \\ &= \sum_{k=0}^{K} \alpha_k \; \Big( U \cdot \mathrm{diag}(\lambda_1^k, \dots, \lambda_n^k) \cdot U^T \Big) \end{aligned}

这是因为 UU 和 UTU^T 是固定矩阵，数乘和加法可以分配到求和里面。

利用拉普拉斯矩阵的幂的性质

性质：对于正交对角化的矩阵 L=UΛUTL = U \Lambda U^T，它的 kk 次幂具有非常简洁的形式：

Lk=(UΛUT)k=UΛkUT L^k = (U \Lambda U^T)^k = U \Lambda^k U^T

这个等式成立是因为：

  • (UΛUT)k(U \Lambda U^T)^k 中间的 UTU=IU^T U = I 全部消掉，只剩下 UΛkUTU \Lambda^k U^T。
  • 而 Λk=diag(λ1k,…,λnk)\Lambda^k = \mathrm{diag}(\lambda_1^k, \dots, \lambda_n^k)。

正是这个性质，让频域的多项式和空域的矩阵多项式得以等价。

于是，上一步括号里的部分恰好就是 LkL^k：

U⋅diag(λ1k,…,λnk)⋅UT=Λk 的矩阵表示=Lk U \cdot \mathrm{diag}(\lambda_1^k, \dots, \lambda_n^k) \cdot U^T = \Lambda^k \text{ 的矩阵表示} = L^k

得到空域的多项式形式

把 LkL^k 代回 H(L)\mathcal{H}(L)：

H(L)=∑k=0KαkLk \boxed{ \mathcal{H}(L) = \sum_{k=0}^{K} \alpha_k L^k }

这就是线性图滤波器在空域的等价形式。

  • 空域的解释：
    真实空间，图拉普拉斯矩阵就是针对空域/真实空间的产物。

    LL 和 ∑k=0KαkLk\sum_{k=0}^{K} \alpha_k L^k 是**空域**的表述。 U⋅diag(h(λi))⋅UTU \cdot \text{diag}(h(\lambda_i)) \cdot U^T 是**频域**的表述。

    两者说的是同一个东西，只是语言不同——空域用节点和边说话，频域用频率和特征向量说话。

它完全摆脱了特征分解！现在滤波器可以用图拉普拉斯矩阵 LL 的幂及其线性组合来表示。对于任何输入信号 xx，操作就是：

y=H(L)x=α0x+α1Lx+α2L2x+⋯+αKLKx y = \mathcal{H}(L) x = \alpha_0 x + \alpha_1 L x + \alpha_2 L^2 x + \dots + \alpha_K L^K x

3.联系线性滤波器与LightGCN

一、整理两种多项式表述

  • LightGCN过程的多项式表述：
    物品最终嵌入表示为：

    Efinal=(α0I+α1A~+α2A~2+⋯+αKA~K)E(0) E_{\text{final}} = \left( \alpha_0 I + \alpha_1 \tilde{A} + \alpha_2 \tilde{A}^2 + \dots + \alpha_K \tilde{A}^K \right) E^{(0)}

    括号内内容整合为多项式形式：

    P(A~)=∑k=0KαkA~k P(\tilde{A}) = \sum_{k=0}^{K} \alpha_k \tilde{A}^k

    LightGCN简化为用一个多项式矩阵 P(A~)P(\tilde{A}) 乘初始嵌入矩阵 E(0)E^{(0)}。

  • 线性滤波器的多项式表示：
    对应的滤波器矩阵：

    H(L)=U⋅diag(h(λ1),…,h(λn))⋅UT \mathcal{H}(L) = U \cdot \mathrm{diag}\big( h(\lambda_1), \dots, h(\lambda_n) \big) \cdot U^T

    其中h(λi)=∑k=0Kαkλikh(\lambda_i) = \sum_{k=0}^{K} \alpha_k \lambda_i^k.
    整理为多项式形式：

    y=H(L)x=α0x+α1Lx+α2L2x+⋯+αKLKx=(∑k=0KαkLk)x \begin{align} y &= \mathcal{H}(L) x \\ &= \alpha_0 x + \alpha_1 L x + \alpha_2 L^2 x + \dots + \alpha_K L^K x \\ &= \left( \sum_{k=0}^{K} \alpha_k L^k \right) x \end{align}

    线性滤波器简化为用一个多项式矩阵左乘初始信号向量x

二、 将 LightGCN 多项式改写为关于 LL 的形式

LightGCN 的多项式：

P(A~)=∑k=0KαkA~k P(\tilde{A}) = \sum_{k=0}^{K} \alpha_k \tilde{A}^k

代入 A~=I−L~\tilde{A} = I - \tilde L：

P(I−L~)=∑k=0Kαk(I−L~)k P(I - \tilde L) = \sum_{k=0}^{K} \alpha_k (I - \tilde L)^k

展开后合并 LL 的同次幂，得到关于 LL 的另一个多项式：

P(I−L~)=∑k=0KβkL~k P(I - \tilde L) = \sum_{k=0}^{K} \beta_k \tilde L^k

其中系数 βk\beta_k 可由 αk\alpha_k 与二项式系数确定。

因此，LightGCN 的最终嵌入：

Efinal=P(A~)E(0)=(∑k=0KβkL~k)E(0) E_{\text{final}} = P(\tilde{A}) E^{(0)} = \left( \sum_{k=0}^{K} \beta_k \tilde L^k \right) E^{(0)}

这正是线性滤波器的形式（以 LL 为多项式参数）。