矩阵偏分

文章目录

1. 1. 符号
2. 2. 矩阵微分规律
3. 3. 雅可比矩阵
4. 4. Hessian
5. 5. 链式表达式
6. 6. 行向量偏导形式
7. 7. 合适做法
8. 8. 参考资料

在学习深度学习的过程中,很多次遇到了矩阵求导的问题,发现网上很多教程写的不是很好理解,记录自己的浅薄认知.

（矩阵求导有分子转置（和分子行数一样）和分母转置（和分母行数一样）两种，两种结果互为转置。本篇介绍的不太一样，因为很多教程也是混杂的（太难蚌了）。

符号

标量：\(x\)

向量：\(\mathbf{x}\) （）

矩阵：\(X\)

逐点乘积：\(\odot\)（）

矩阵的迹：\(tr(X)\)

加入有两个矩阵\(A_{m\times n},B_{m\times n}\)，其中一个转置乘以另一个得到矩阵\(C\)，该矩阵的迹为两个矩阵对应位置的元素相乘并相加 ，可以理解为向量的点积在矩阵上的推广，即：

\[ \begin{align*} \text{tr}\left( AB^T \right) &= a_{11}b_{11} + a_{12}b_{12} + \cdots + a_{1n}b_{1n} \\ &+ a_{21}b_{21} + a_{22}b_{22} + \cdots + a_{2n}b_{2n} \\ &+ \cdots \\ &+ a_{m1}b_{m1} + a_{m2}b_{m2} + \cdots + a_{mn}b_{mn} \\ \end{align*} \]

矩阵微分规律

梯度矩阵里的微分：

假设\(A\)矩阵维度列表为\([a_1,a_2,...,a_n]\)

假设\(B\)矩阵维度列表为\([b_1,b_2,...,b_{m}]\)

\(A\)矩阵对\(B\)矩阵求偏导的结果\(C\),维度上相当于\(A\)矩阵维度列表和\(B\)矩阵维度列表连接起来

即\(C\)矩阵维度列表为\([a_1,a_2,...,a_n,b_1,b_2,...,b_{m}]\)

根据维度信息也能很方便的推导各个元素的含义,即为\(A\)矩阵的每个元素对\(B\)矩阵的每个元素求一个偏导。

当然，高维的矩阵微分应用场景有限，我们很少需要求一个矩阵关于另一个矩阵的偏导。因此这个规律可能因为博主实践较少有误。

在深度学习的场景中，一般是标量对矩阵求导，因此主要介绍标量对矩阵微分的情况。

一般对于向量，默认为列向量，\(\mathbf{x}=[x_1,x_2,...,x_n]^{T}\)，我们有标量函数\(f(\mathbf{x})\)，那么对应的梯度为

\[ \frac{\partial f}{\partial \mathbf{x}}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},..\frac{\partial f}{\partial x_n}]^\top \]

根据这个公式我们可以发现，这个梯度向量的每个元素都是函数对该元素的偏导。

因此，我们有，

\[ \partial f = (\frac{\partial f}{\partial \mathbf{x}})^\top \partial \mathbf{x} \]

对于标量对向量到梯度来说，在左边乘以其梯度的转置就可以对应得到目标的微分。

对于矩阵来说，逐点乘积\(\odot\)然后对应位置求和应该是更广泛的规律。但向量是特殊的，逐点乘积求和和转置相乘的结果是一样的。

对于函数值为标量，变量为二维矩阵的情况，函数值的微分是梯度矩阵和变量矩阵的转置乘积的迹。

\[ df(X)=tr((\frac{df(X)}{dX})^\top \cdot X) \]

雅可比矩阵

雅可比矩阵指的是向量对于向量的微分，假如我们有：

\[ F:R^{N}\to R^{M} ,\mathbf{y}=F(\mathbf{x}) \]

那么雅克比矩阵为，

\[ J_{F:\mathrm{x\to y}}= \left[ \begin {array}{c c c} \frac{\partial y_1}{\partial x_1}&&\frac{\partial y_1}{\partial x_N}\\ &&\\ \frac{\partial y_M}{\partial x_1}&&\frac{\partial y_M}{\partial x_N}\\ \end{array} \right] \]

其中第\(i\)行是\(y_i\)关于\(\mathbf{x}\)的微分的转置。

我们有一阶泰勒展开式：

\[ F({\bf{x}}+d{\bf{x}})=F({\bf{x}})+J_{F:x \to y}d{\bf{x}}+o(\|d{\bf{x}}\,\|). \]

Hessian

在向量微积分中，Hessian 矩阵用于表示标量关于向量的二阶偏导数。

假如我们有

\[ f(\mathbf{x}) : \mathbb{R}^N \to \mathbb{R} \]

那么我们有，

\[ H_{x \to f} = \frac{d^2 f}{dx \, dx^\top} = \left[ \frac{\partial f}{\partial x_i \partial x_j} \right] \]

通过定义也可以看出，Hessian 矩阵可以写成一阶导数构成的向量关于自变量的雅可比矩阵。

令\(f\)关于变量的一阶梯度为，

\[ \mathbf{a}(\mathbf{x}) = \left[ \frac{\partial f}{\partial x_i} \right] \]

那么hessian矩阵还可以写为，

\[ H_{x \to f} = \frac{d\mathbf{a}}{d\mathbf{x}} = \left[ \frac{d a_i}{d x_j} \right] = \left[ \frac{\partial f}{\partial x_i \partial x_j} \right] \]

对应的，我们也能得到二阶泰勒展开式，

\[ f(\mathbf{x} + d\mathbf{x}) = f(\mathbf{x}) + \mathbf{a}^\top d\mathbf{x} + \frac{1}{2} d\mathbf{x}^\top H_{x \to f} \, d\mathbf{x} + o(\|d\mathbf{x}\|^2) \]

这里的二次项的推导方式为：

\[ \begin{align*} &\frac{1}{2}(\partial \mathbf{a})^\top\partial \mathbf{x} \\ =&\frac{1}{2}((\frac{\partial \mathbf{a}}{\partial \mathbf{x}})^\top \partial \mathbf{x})^\top\partial \mathbf{x} \\ =&\frac{1}{2} d\mathbf{x}^\top \frac{\partial \mathbf{a}}{\partial \mathbf{x}} \ d\mathbf{x} \\ =&\frac{1}{2} d\mathbf{x}^\top H_{x \to f} d\mathbf{x} \\ \end{align*} \]

根据这个例子我们也能很容易总结规律并且推广到更多公式。（从定义出发推导式子，向量乘以自己的梯度转置获得目标的微分）

链式表达式

假设我们有，

\[ \begin{align*} y &= f(g(h(x))) \\ q &= h(x) \\ k &= g(q) \\ y &= f(k) \end{align*} \]

我们希望得到

\[ \begin{align*} &\partial y \\ =& (\frac{\partial y}{\partial k})^\top \partial k \\ =& (\frac{\partial y}{\partial k})^\top (\frac{\partial k}{\partial q})^\top \partial q \\ =& (\frac{\partial y}{\partial k})^\top (\frac{\partial k}{\partial q})^\top (\frac{\partial q}{\partial x})^\top \partial x \\ =& (\frac{\partial q}{\partial x} \frac{\partial k}{\partial q} \frac{\partial y}{\partial k})^\top \partial x \\ \end{align*} \]

所以我们有

\[ \frac{\partial y}{\partial x} = \frac{\partial q}{\partial x} \frac{\partial k}{\partial q} \frac{\partial y}{\partial k} \]

这个推导前置条件只有：向量左乘其梯度的转置就可以对应得到目标的微分。

别的布局的推导方式也类似。

在数学公式的推导中，链式法则的记忆要点为：能乘维数对就对（可能维度信息其实就包含了部分信息）。

行向量偏导形式

有一种操作把矩阵变成按列堆栈向量化\(vec\)，然后进行处理，就可以利用部分在低维中的规律进行计算：

\[ vec(X)=[x_{11},x_{21},..,x_{12},x_{22},...,x_{1n},x_{2n},...,x_{nm}]^T \]

更多介绍阅读矩阵论、弗罗贝尼乌斯内积、克罗内克积等相关资料。

因为博主也不会，只是计算机系的，在深度学习里不会用到所有的数学知识。

合适做法

合适的做法还是对于矩阵的每个元素单独看梯度和贡献，然后根据指标的变化来总结公式。

比如，计算\(x_{ij}\)是如何影响\(y_{ik}\)的，然后总结梯度公式。

示例1：

\[ Y=X*A,而X \in R^{n \times p}, A \in R^{p \times m},Y \in R^{n \times m},l为标量 \\ 已知\frac{\partial l}{\partial Y},求\frac{\partial l}{\partial X} \\ 计算x_{ik}的贡献,有 \frac{\partial l}{\partial x_{ik}}=\sum_{j}a_{kj}\frac{\partial l}{\partial y_{ij}} \\ 根据维度信息(i在左侧,k在右侧)总结,得到\frac{\partial l}{\partial X}=\frac{\partial l}{\partial Y}A^T \]

tip:由于一维向量很多时候会被写为列向量,所以有的教程理解不是很方便,但如果接触过pytorch框架,会方便理解很多.

参考资料

• 矩阵求导的本质与分子布局、分母布局的本质（矩阵求导——本质篇） - 知乎 (zhihu.com)
• 矩阵求导公式的数学推导（矩阵求导——基础篇） - 知乎 (zhihu.com)
• 矩阵求导公式的数学推导（矩阵求导——进阶篇） - 知乎 (zhihu.com)
• 【ML-0-3】矩阵求导-链式法则 - 忆凡人生 - 博客园 (cnblogs.com)
• [机器学习-数学] 矩阵求导(分母布局与分子布局)，以及常用的矩阵求导公式
• 矩阵论——导数与梯度_矩阵的梯度-CSDN博客