矩阵求导

说明
符号说明
向量求导定义
矩阵求导定义
- 矩阵对标量求导定义
- 标量对矩阵求导定义
求导法则
一些恒等式

说明

本文大部分内容翻译自Matrix calculus，部分结合自身的理解。

简单来说，矩阵求导就是分别将各元素进行求导，然后将求导的结果写成矩阵的形式（向量为矩阵特殊形式），根据写成的矩阵的排列方式，又分为分子布局和分母布局。

分子布局：行数和分子相同的维度，列数和分母相同的维度。如列向量对列向量的导数为分子各元素分别对分母各元素的导数，然后将结果排列为矩阵，矩阵的行数为分子的行数，矩阵的列数为分母的行数
分母布局：行数和分母相同的维度，列数和分子相同的维度。如列向量对列向量的导数为分子各元素分别对分母各元素的导数，然后将结果排列为矩阵，矩阵的行数为分母的行数，矩阵的列数为分子的行数
混合布局：向量或者矩阵在分子时采用分子布局，向量或矩阵在分母时采用分母布局。

布局方式详细参见Layout conventions，不同的文章可能使用不同的布局方式，如在深度学习的领域中，如在优化算法中需要计算 $W - α \frac{\partial L}{W}$ 时，为了保证维度相容，就采用的是分母布局或混合布局。无需纠结，最终只是在求导结果中相差个转置，其实只要保证求导的结果矩阵维度相容，一般就没有问题，本文采用分子布局。

向量和矩阵之间，矩阵和矩阵之间的导数涉及到三维、四维张量，这里暂不考虑这种导数。

符号说明

我们使用 $M (n, m)$ 表示包含 $n$ 行 $m$ 列的 $n * m$ 实矩阵的空间，该空间中的一般矩阵用粗体大写字母表示，如 $A, X, Y$ 等，

而若该矩阵属于 $M (n, 1)$ ，即列向量，则用粗体小写字母表示，如 $a, x, y$ 等，不做特别说明的话，向量默认为列向量，

特别地， $M (1, 1)$ 空间中的元素为标量，用小些斜体字母表示，如 $a, x, y$ 等。

通常使用字母表的前半部分 $(a, b, c, \dots)$ 用于表示常量，字母表的后半部分 $(x, y, z, \dots)$ 表示变量。

标量 $a, b, c, d, e$ 为常量，标量 $u, v$ 为 $x$ 、 $x$ 或 $X$ 的函数
向量 $a, b, c, d, e$ 为常向量，向量 $u, v$ 为 $x$ 、 $x$ 或 $X$ 的函数
矩阵 $A, B, C, D, E$ 为常矩阵，矩阵 $U, V$ 为 $x$ 、 $x$ 或 $X$ 的函数

矩阵的转置： $X^{T}$ ，矩阵的迹： $tr (X)$ ，矩阵的行列式： $det (X)$ 或 $| X |$ ，矩阵的范数： $| | X | |$ 。

向量求导定义

向量可以看作只有一列的矩阵，是矩阵求导的特殊情况

向量对标量求导定义

向量 $y = [y_{1}, y_{2}, \dots, y_{m}]^{T}$ 对标量 $x$ 的导数写成如下形式：

\frac{\partial y}{\partial x} = [\frac{\partial y_{1}}{\partial x}, \frac{\partial y_{2}}{\partial x}, \dots, \frac{\partial y_{m}}{\partial x}]^{T}

即：

(\frac{\partial y}{\partial x})_{i} = \frac{\partial y_{i}}{\partial x}

标量对向量求导定义

标量 $y$ 对向量 $x^{T} = [x_{1}, x_{2}, \dots, x_{n}]$ 对的导数写成如下形式：

\frac{\partial y}{\partial x^{T}} = [\frac{\partial y}{\partial x_{1}}, \frac{\partial y}{\partial x_{2}}, \dots, \frac{\partial y}{\partial x_{n}}]^{T}

即：

(\frac{\partial y}{\partial x^{T}})_{i} = \frac{\partial y}{\partial x_{i}}

向量对向量求导定义

向量 $y = [y_{1}, y_{2}, \dots, y_{m}]^{T}$ 对向量 $x = [x_{1}, x_{2}, \dots, x_{n}]^{T}$ 对的导数写成如下形式：

\frac{\partial y}{\partial x} = [\begin{matrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{1}}{\partial x_{2}} & \dots & \frac{\partial y_{1}}{\partial x_{n}} \\ \frac{\partial y_{2}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{2}} & \dots & \frac{\partial y_{2}}{\partial x_{n}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{\partial y_{m}}{\partial x_{1}} & \frac{\partial y_{m}}{\partial x_{2}} & \dots & \frac{\partial y_{m}}{\partial x_{n}} \end{matrix}]

为 $m * n$ 维矩阵，也叫做雅可比矩阵。即：

(\frac{\partial y}{\partial x})_{i j} = \frac{\partial y_{i}}{\partial x_{j}}

矩阵求导定义

矩阵对标量求导定义

矩阵 $Y$ 对标量 $x$ 的导数定义如下：

\frac{\partial Y}{\partial x} = [\begin{matrix} \frac{\partial y_{11}}{\partial x} & \frac{\partial y_{12}}{\partial x} & \dots & \frac{\partial y_{1 n}}{\partial x} \\ \frac{\partial y_{21}}{\partial x} & \frac{\partial y_{22}}{\partial x} & \dots & \frac{\partial y_{2 n}}{\partial x} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{\partial y_{m 1}}{\partial x} & \frac{\partial y_{m 2}}{\partial x} & \dots & \frac{\partial y_{m n}}{\partial x} \end{matrix}]

即：

(\frac{\partial Y}{\partial x})_{i j} = \frac{\partial y_{i j}}{\partial x}

标量对矩阵求导定义

标量 $y$ 对矩阵 $X$ 的导数定义如下：

\frac{\partial y}{\partial X} = [\begin{matrix} \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \dots & \frac{\partial y}{\partial x_{p 1}} \\ \frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} & \dots & \frac{\partial y}{\partial x_{p 2}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{\partial y}{\partial x_{1 q}} & \frac{\partial y}{\partial x_{2 q}} & \dots & \frac{\partial y}{\partial x_{p q}} \end{matrix}]

即：

(\frac{\partial y}{\partial X})_{i j} = \frac{\partial y}{\partial x_{j i}}

求导法则

在微分、求导过程中，有三条法则非常重要，在矩阵的微分、求导过程中也同样重要。

链式法则：如果 $y = f (g (x))$ ，则 $y^{'} (x) = f^{'} (g (x)) g^{'} (x)$
乘积法则： $(f g)^{'} = f^{'} g + f g^{'}$
求和法则： $(f + g)^{'} = f^{'} + g^{'}$

求和法则是通用的，由于矩阵乘积不是可交换的，所以乘积法则需要注意顺序。链式法则在矩阵对标量和标量对矩阵求导时不适用（这个情况下，一般使用迹运算）。

一些恒等式

常用等式

| | X | |^{2} = t r (X^{T} \cdot X) = t r (X \cdot X^{T})

t r (A B C D) = t r (B C D A) = t r (C D A B) = t r (D A B C)

转置

由上述的向量、矩阵的导数定义，易知：

\frac{\partial y^{T}}{\partial x} = \frac{\partial y}{\partial x^{T}} = (\frac{\partial y}{\partial x})^{T}

其中 $x, y$ 为满足上述定义的标量、向量或矩阵。

向量对向量求导恒等式

vector_by_vector

根据上面的定义和求导法则，很容易推导上述结果，下面选择一个进行推导证明：

\begin{aligned} (\frac{\partial v u}{\partial x})_{i j} & = \frac{\partial v u_{i}}{\partial x_{j}} \\ = v \frac{\partial u_{i}}{\partial x_{j}} + \frac{\partial v}{\partial x_{j}} u_{i} \\ = v \frac{\partial u_{i}}{\partial x_{j}} + u_{i} \frac{\partial v}{\partial x_{j}} \\ = v (\frac{\partial u}{\partial x})_{i j} + (u \frac{\partial v}{\partial x})_{i j} \\ \Rightarrow \frac{\partial v u}{\partial x} & = v \frac{\partial u}{\partial x} + u \frac{\partial v}{\partial x} \end{aligned}

标量对向量求导恒等式

scalar_by_vector1 scalar_by_vector2

向量对标量求导恒等式

vector_by_scalar

标量对矩阵求导恒等式

scalar_by_matrix1 scalar_by_matrix3 scalar_by_matrix4

这里选择几个进行证明：

\begin{aligned} \frac{\partial (X a + b)^{T} C (X a + b)}{\partial X} & = \frac{\partial t r ((X a + b)^{T} C (X a + b))}{\partial X} \\ = \frac{\partial t r ((X a + b)^{T} C (X_{1} a + b))}{\partial X_{1}} + \frac{\partial t r ((X_{2} a + b)^{T} C (X a + b))}{\partial X_{2}} \\ = \frac{\partial t r ((X a + b)^{T} C X_{1} a)}{\partial X_{1}} + \frac{\partial t r ((X_{2} a)^{T} C (X a + b))}{\partial X_{2}} \\ = a (X a + b)^{T} C + (C (X a + b) a^{T})^{T} \\ = a (X a + b)^{T} (C + C^{T}) \end{aligned} ◼

\begin{aligned} f = \frac{\partial t r (X^{- 1} A)}{\partial X} & = \frac{\partial t r (X^{- 1} X X^{- 1} A)}{\partial X} \\ = \frac{\partial t r (X_{1}^{- 1} X X^{- 1} A)}{\partial X_{1}} + \frac{\partial t r (X^{- 1} X_{2} X^{- 1} A)}{\partial X_{2}} + \frac{\partial t r (X^{- 1} X X_{3}^{- 1} A)}{\partial X_{3}} \\ = f + X^{- 1} A X^{- 1} + f \\ \Rightarrow f & = - X^{- 1} A X^{- 1} \end{aligned} ◼

\begin{aligned} | X | I = a d j (X) X \Rightarrow & | X | = \sum_{j} a d j (X)_{i j} X_{j i} \forall i \\ \Rightarrow & (\frac{\partial | X |}{\partial X})_{i j} = \frac{\partial | X |}{\partial X_{j i}} = a d j (X)_{i j} \\ \Rightarrow & \frac{\partial | X |}{\partial X} = a d j (X) = | X | X^{- 1} \end{aligned} ◼

上面证明过程中用到了伴随矩阵的性质，伴随矩阵的第 $i$ 行对应的是代数余子式的第 $i$ 列，而代数余子式的第 $i$ 列的元素必定去掉了元素 $X$ 的第 $i$ 列，也就是说伴随矩阵的第 $i$ 行元素全部与 $X_{j i}$ 无关。关于伴随矩阵的具体性质可以参见Adjugate matrix。

其他大部分证明过程类似，或者用了类似的思想，这里由于敲公式太累了，也没有这么多时间，就不一一放出证明过程了。

矩阵对标量求导恒等式

matrix_by_scalar

标量对标量求导恒等式

scalar_by_scalar