矩阵论（八）：矩阵微分与矩阵求导

exp(i)

于 2019-02-20 23:54:21 发布

5224

分类专栏：机器学习的数学基础文章标签：矩阵论矩阵微分矩阵求导反向传播算法

本文链接：https://blog.csdn.net/niu_123ming/article/details/86751878

版权

机器学习的数学基础专栏收录该内容

14 篇文章 127 订阅

订阅专栏

矩阵论专栏：专栏（文章按照顺序排序）

做机器学习的几乎避免不了矩阵求导，尤其是神经网络方面的，反向传播算法说白了就是在做矩阵求导，拿到代价函数对模型中每个参数矩阵的导数，才能找到一个下降方向，进而更新这些参数来降低损失。虽然实际编程时大可不必考虑这些繁琐的数学计算，但是要真正理解凸优化中的一些方法，掌握这个基本的数学工具还是有必要的。

【1】下面的探讨均在实数域内进行。
【2】虽然 $R^n$ 定义为实数域 $R$ 中的 $n$ 个数组成的有序数组 $x_1,x_2,...,x_n)$ 的集合，但当我们讨论 $R^n$ 中向量时，总是约定它是列向量的形式，即总是一个 $n\times 1$ 矩阵。这样更符合一般的习惯，比如线性方程组的表达： $A\in R^{m\times n},x\in R^n,b\in R^m$ 。
【3】我们讨论三种情形。向量对向量求导、矩阵对标量求导、标量对矩阵求导。标量对标量求导、标量对向量求导、向量对标量求导都可以看作是向量对向量求导的特例，而向量对矩阵求导、矩阵对向量求导和矩阵对矩阵求导涉及到高阶张量的运算，可以通过把矩阵向量化，从而把高阶运算用低阶运算代替。这样的方法需要向量化运算vec和kronecker积的基础，本篇博客不引入这两个概念，后面的博客探讨矩阵函数的微分时再引入。
【4】符号 $\frac{\partial y}{\partial x}$ 表示偏导，本文为表示方便，用 $\frac{\partial y}{\partial x}(a)$ 表示在点 $a$ 处的偏导的值（原本的表示应为 $\frac{\partial y}{\partial x}|_{x=a}$ 或 $\frac{\partial f(x)}{\partial x}|_{x=a}$ ）

矩阵微分与矩阵求导
- 布局约定
- 向量对向量求导
  - 可微与可导的关系
  - 复合函数的链式求导法则
  - 微分的形式不变性
  - 例子
- 矩阵对标量求导
  - 链式法则
  - 几个公式
- 标量对矩阵求导
  - 微分的定义
  - 复合函数的微分
  - 常用的微分公式
  - 例子
应用
- 线性回归问题的最小二乘解
  - L2正则化情形
- 多层前馈网络（BP网络）的反向传播
- 循环神经网络（RNN）的反向传播

矩阵微分与矩阵求导

布局约定

详细请见数学-矩阵计算（4）两种布局。在本文中，多数情况下采用分子布局。分子布局和分母布局实际上无需刻意区分，只要两种布局采用不同的符号就可以了。然而，有时候有些作者对分子布局和分母布局采用相同的符号，这时候就必须事先知道作者采用的是什么样的布局，才能确定该符号表达的布局是怎样的。例如，设有m维向量 $y$ 和n维向量 $x$ ， $\frac{\partial y}{\partial x}$ 如果采用的是分子布局，则是 $m\times n$ 矩阵，而如果采用的是分母布局，则是 $n\times m$ 矩阵。在本文中，我们通过符号来区分分子布局和分母布局（实际上，有了符号的约定以后，可以抛却这两个概念不谈）。

首先，正如文章开头所提，我们默认一个未显式指出究竟是行还是列的向量为列的形式，即任取 $x\in R^n$ ，我们默认 $x$ 是列向量。接下来，导数的布局通过微商符号的分子和分母的形式推定。以向量对向量的偏导为例， $\frac{\partial y}{\partial x^T}$ 分子上(即 $y$ )是列向量，分母上(即 $x^T$ )是行向量，则在该矩阵的布局中， $y$ 的分量 $y_1,y_2,...,y_m$ 是按列排布的， $x$ 的分量 $x_1,x_2,...,x_n$ 是按行排布的（这里真不知道怎么表达才好，实际上我是想说 $\partial y_1,\partial y_2,...\partial y_m$ 这样的顺序总是出现在矩阵的一列上， $\partial x_1,\partial x_2,...\partial x_n$ 总是出现在矩阵的一行上），即 $\frac{\partial y}{\partial x^T}=$

[\begin{matrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{1}}{\partial x_{2}} & . . . & \frac{\partial y_{1}}{\partial x_{n}} \\ \frac{\partial y_{2}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{2}} & . . . & \frac{\partial y_{2}}{\partial x_{n}} \\ . . . & . . . & . . . & . . . \\ \frac{\partial y_{m}}{\partial x_{1}} & \frac{\partial y_{m}}{\partial x_{2}} & . . . & \frac{\partial y_{m}}{\partial x_{n}} \end{matrix}]

\frac{\partial y}{\partial x ^{T}} = ⎣ ⎢ ⎢ ⎢ ⎡ \frac{\partial y _{1}}{\partial x _{1}} \frac{\partial y _{2}}{\partial x _{1}} . . . \frac{\partial y _{m}}{\partial x _{1}} \frac{\partial y _{1}}{\partial x _{2}} \frac{\partial y _{2}}{\partial x _{2}} . . . \frac{\partial y _{m}}{\partial x _{2}} . . . . . . . . . . . . \frac{\partial y _{1}}{\partial x _{n}} \frac{\partial y _{2}}{\partial x _{n}} . . . \frac{\partial y _{m}}{\partial x _{n}} ⎦ ⎥ ⎥ ⎥ ⎤

这就是所谓的分子布局。而

[\begin{matrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{1}} & . . . & \frac{\partial y_{m}}{\partial x_{1}} \\ \frac{\partial y_{1}}{\partial x_{2}} & \frac{\partial y_{2}}{\partial x_{2}} & . . . & \frac{\partial y_{m}}{\partial x_{2}} \\ . . . & . . . & . . . & . . . \\ \frac{\partial y_{1}}{\partial x_{n}} & \frac{\partial y_{2}}{\partial x_{n}} & . . . & \frac{\partial y_{m}}{\partial x_{n}} \end{matrix}]

就是所谓的分母布局。这两种布局间的关系是

\frac{\partial y^T}{\partial x}=(\frac{\partial y}{\partial x^T})^T

。总结一下就是，我们可以通过符号推定导数的布局是什么样的，在符号（微商）中，一个向量本来是什么形式，它在导数中就是怎样的排布，矩阵也同理。例如设有标量

x\in R

和矩阵

Y=[Y_{ij}]\in R^{m\times n}

，则

[\begin{matrix} \frac{\partial x}{\partial Y_{11}} & \frac{\partial x}{\partial Y_{12}} & . . . & \frac{\partial x}{\partial Y_{1 n}} \\ \frac{\partial x}{\partial Y_{21}} & \frac{\partial x}{\partial Y_{22}} & . . . & \frac{\partial x}{\partial Y_{2 n}} \\ . . . & . . . & . . . & . . . \\ \frac{\partial x}{\partial Y_{m 1}} & \frac{\partial x}{\partial Y_{m 2}} & . . . & \frac{\partial x}{\partial Y_{m n}} \end{matrix}]

而

[\begin{matrix} \frac{\partial x}{\partial Y_{11}} & \frac{\partial x}{\partial Y_{21}} & . . . & \frac{\partial x}{\partial Y_{m 1}} \\ \frac{\partial x}{\partial Y_{12}} & \frac{\partial x}{\partial Y_{22}} & . . . & \frac{\partial x}{\partial Y_{m 2}} \\ . . . & . . . & . . . & . . . \\ \frac{\partial x}{\partial Y_{1 n}} & \frac{\partial x}{\partial Y_{2 n}} & . . . & \frac{\partial x}{\partial Y_{m n}} \end{matrix}]

向量对向量求导

在谈求导前，有必要谈一下微分的概念。一方面在后面可以看到可微是比可导更强的概念，在可微的条件下运用一阶微分的形式不变性可以简化复合函数的求导运算；另一方面，凸优化中的很多结论都是以可微为前提的，仅仅可导是远远不够的。
可微的定义：

定义1：设 $c\in R^n$ ，函数 $f:D\rightarrow R^m$ 在 $c$ 的某个半径为 $r > 0$ 的邻域 $U (c)$ 内有定义。若存在矩阵 $A\in R^{m\times n}$ ，使得对于任意的 $u\in \mathring U(0)$ （ $0\in R^n$ 是零向量，去心邻域 $\mathring U(0)$ 的半径为 $r$ ）有如下关系成立： $f(c+u)-f(c)=Au+\omicron(||u||_2)$ ，其中 $\omicron(||u||_2)$ 是当 $u\rightarrow 0$ 时的一个高阶无穷小，则称 $f$ 在点 $c$ 处是可微的，称 $u$ 的线性函数 $A u$ （又叫 $f$ 在点 $c$ 处的线性主部）为 $f$ 在点 $c$ 处的微分，记作 $d f (c) = A u$ ，并称 $A$ 是 $f$ 在点 $c$ 处的一阶导数矩阵，简称一阶导数。
【注1】“ $f$ 在 $c$ 的某个半径为 $r > 0$ 的邻域 $U (c)$ 内有定义”中“某个”的意思是指存在一个邻域 $U (c)$ ，它在 $f$ 的定义域内
【注2】当点 $c$ 给定后， $A$ 就是一个常矩阵，即要求 $A$ 与 $u$ 是无关的， $A$ 可以看做是 $c$ 的函数 $A (c)$
【注3】微分的基本思想是将非线性函数局部线性化。 $f (c + u) - f (c)$ 可以看做是 $f$ 在点 $c$ 处，自变量改变量为 $u$ 时的函数值改变量（因变量改变量），若忽略高阶无穷小项 $\omicron(||u||_2)$ 则得到 $f (c + u) - f (c) = A u$ ，即在点 $c$ 的某个邻域内（即“局部”的意思）将 $f$ 用一个线性函数 $A u$ 替代
【注4】符号 $d f (c)$ 直观上可以理解为 $f$ 在点 $c$ 处的一个微小改变量，相应地 $u$ 则是 $f$ 的自变量的一个微小改变量，常记作 $d c$ ，故微分的式子可以写作 $d f (c) = A d c$ （为什么自变量的改变量要采用微分符号d，实际上后面证明了一阶微分的形式不变性后就知道了）
【注5】高阶无穷小 $\omicron(||u||_2)$ 在 $u = 0$ 处是无定义的，常补充定义 $\omicron(0)=0$ ，这样定义中的关系式无论 $u$ 是否为零都成立

可微是比可导更强的概念，我们在说一个多元向量值函数可导时，往往是指它的每个分量对自变量的每个分量的偏导都存在。再严格一点的，就是指函数的每个分量对自变量的任意方向导数都存在。可微一定可导，可导不一定可微（在一元数量值函数的情形下，这个结论退化成可微与可导等价）。下面给出偏导的概念并证明可微与可导间的关系。

偏导的定义：

定义2：设 $c\in R^n$ ，函数 $f:D\rightarrow R^m$ 在 $c$ 的某个半径为 $r > 0$ 的邻域 $U (c)$ 内有定义。设 $0\neq t<r$ ，称极限（若存在的话） $\lim_{t\rightarrow 0}\frac{f_i(c+te_j)-f_i(c)}{t}$ （其中 $e_j$ 是第j个标准向量，其第 $j$ 个分量为1，其他分量为零）为 $f$ 的分量 $f_i$ 在点 $c$ 处对自变量 $x\in R^n$ 的第 $j$ 个分量的偏导，记作 $\frac{\partial f_i}{\partial x_j}(c)$ 。
定义3（Jacobian矩阵）：函数 $f:D\rightarrow R^m(D\subseteq R^n)$ 在点 $c$ 处对自变量 $x$ 的Jacobian矩阵定义如下 $[\begin{matrix} \frac{\partial f_{1}}{\partial x_{1}} (c) & \frac{\partial f_{1}}{\partial x_{2}} (c) & . . . & \frac{\partial f_{1}}{\partial x_{n}} (c) \\ \frac{\partial f_{2}}{\partial x_{1}} (c) & \frac{\partial f_{2}}{\partial x_{2}} (c) & . . . & \frac{\partial f_{2}}{\partial x_{n}} (c) \\ . . . & . . . & . . . & . . . \\ \frac{\partial f_{m}}{\partial x_{1}} (c) & \frac{\partial f_{m}}{\partial x_{2}} (c) & . . . & \frac{\partial f_{m}}{\partial x_{n}} (c) \end{matrix}]$
【注1】当 $f$ 是数量值函数时，Jacobian矩阵退化为一维行向量，即 $f$ 的梯度的转置（梯度常常写作列向量）；需要注意的是，Jacobian矩阵的第i行就是 $f$ 的第i个分量 $f_i$ 的梯度的转置；当 $f$ 是一元数量值函数时，Jacobian矩阵退化为一元情形下的导数的概念。
【注2】需要区分Jacobian矩阵和梯度矩阵的概念：梯度矩阵是Jacobian矩阵的转置

可微与可导间的关系：

定理1：设 $c\in R^n$ ，若 $f$ 在点 $c$ 处可微，则 $f$ 在 $c$ 处的Jacobian矩阵存在，且导数矩阵 $A(c)=\frac{\partial f}{\partial x^T}(c)$ 。
证明：
根据可微的定义，存在 $r > 0$ ，对任意 $u$ 满足 $0<||u||_2<r$ ，有 $f(c+u)-f(c)=A(c)u+\omicron (||u||_2)$ ，故 $\lim_{u\rightarrow 0}\frac{f(c+u)-f(c)-A(c)u}{||u||_2}=0$ 令 $u=te_j,t<r$ ，则 $\lim_{t\rightarrow 0}\frac{f(c+te_j)-f(c)-tA(c)e_j}{t}=0$ 故对任意 $i = 1, 2, . . ., m$ 及 $j = 1, 2, . . ., n$ 有 $\frac{\partial f_i}{\partial x_j}|_c=\lim_{t\rightarrow 0}\frac{f_i(c+te_j)-f_i(c)}{t}=e_i^TA(c)e_j=a_{ij}$ 其中 $a_{ij}$ 是导数矩阵 $A (c)$ 的 $(i, j)$ 元素。得证。

这个定理告诉我们，可微一定可导，且导数矩阵就是Jacobian矩阵。可导不一定可微，有很多反例，这里不再列举。反向传播算法是以复合函数链式求导法则为基础的，实际上，链导法是复合函数微分法则的一个附带结果，下面给出复合函数微分法则，并导出复合函数的链导法则。

定理2：若函数 $f:D_f\rightarrow R^m(D_f\subseteq R^n)$ 在点 $a$ 处可微，函数 $g:D_g\rightarrow R^r(D_g\supseteq R(f))$ 在点 $b = f (a)$ 处可微，则复合函数 $g\circ f$ 在点 $a$ 处可微，且 $d g (f (a)) = B (b) A (a) d a$ ，其中 $B (b)$ 是 $g$ 在点 $b$ 处的导数， $A (a)$ 是 $f$ 在点 $a$ 处的导数
证明：（下面涉及到的所有高阶无穷小都在点 $0$ 处补充定义 $\omicron(0)=0$ ）
由可微的定义，存在半径为 $r_1>0$ 的邻域 $U (a)$ ，使得任意 $u||_2<r_1$ 有 $f(a+u)-f(a)=A(a)u+\omicron_1 (||u||_2)\qquad (1)$ 存在半径为 $r_2>0$ 的邻域 $U (b)$ ，其中 $b = f (a)$ ，使得任意 $v||_2<r_2$ 有 $g(b+v)-g(b)=B(b)v+\omicron_2 (||v||_2)\qquad (2)$ 令 $\Delta f=f(a+u)-f(a)$ ，令（1）式两端 $u\rightarrow 0$ 得到 $\Delta f\rightarrow 0$ ，故 $||\Delta f||_2\rightarrow 0$ ，由极限的定义知存在 $r_3>0$ 使得任意 $u||_2<r_3$ 有 $||\Delta f||_2<r_2$ 。由（2）知可将 $v=\Delta f$ 代入，得 $g(b+\Delta f)-g(b)=B(b)\Delta f+\omicron_2 (||\Delta f||_2)$ ，即 $g(f(a+u))-g(f(a))=B(b)A(a)u+\alpha$ 对任意 $u||_2<\min\{r_1,r_3\}$ 成立，其中 $\alpha=B(b)\omicron_1 (||u||_2)+\omicron_2(||\Delta f||_2)$ 。要证明 $g\circ f$ 在点 $a$ 处可微，只需证明 $\lim_{u\rightarrow 0}\frac{\alpha}{||u||_2}=0$ 即可。由于 $\lim_{u\rightarrow 0}B(b)\frac{\omicron_1(||u||_2)}{||u||_2}=0$ ，故只需证明 $\lim_{u\rightarrow 0}\frac{\omicron_2(||\Delta f||_2)}{||u||_2}=0$ 。引入函数 ${\begin{cases} \frac{ο_{2} (| | Δ f | |_{2})}{| | Δ f | |_{2}} & Δ f \neq 0 \\ 0 & Δ f = 0 \end{cases}$ ，其中 $u||_2<\min\{r_1,r_3\}$ ，可以证明当 $u\rightarrow 0$ 时 $Q(u)\rightarrow 0$ ，此处略去，证明见注释。由于 $\frac{\omicron_2(||\Delta f||_2)}{||u||_2}=Q(u)\frac{||\Delta f||_2}{||u||_2}$ ， $\frac{||\Delta f||_2}{||u||_2}\leqslant \frac{||A(a)u||_2}{||u||_2}+\frac{||\omicron_1(||u||_2)||_2}{||u||_2}$ ，由矩阵不等式 $A(a)^TA(a)\leqslant \lambda(a)I$ ，其中 $\lambda(a)$ 是 $A(a)^TA(a)$ 的最大特征值，得到 $\frac{||A(a)u||_2}{||u||_2}\leqslant \sqrt{\lambda(a)}$ ，又由 $\lim_{u\rightarrow 0}\frac{||\omicron_1(||u||_2)||_2}{||u||_2}=0$ ，得到 $\frac{||\omicron_1(||u||_2)||_2}{||u||_2}$ 是局部有界的，故 $\frac{||\Delta f||_2}{||u||_2}$ 是局部有界的。综上有 $\lim_{u\rightarrow 0}\frac{\omicron_2(||\Delta f||_2)}{||u||_2}=0$ ，证毕。
【注1】矩阵不等式见矩阵的正定性
【注2】 $\lim_{u\rightarrow 0}Q(u)=0$ 的证明：
利用 $lim_{u\rightarrow 0}\Delta f=0$ 以及 $lim_{v\rightarrow 0}\frac{\omicron_2(||v||_2)}{||v||_2}=0$ 这两个条件即可。 $\forall \epsilon>0,\exist \delta>0,\forall v$ 满足 $0<||v||_2<\delta$ 都有 $||\frac{\omicron_2(||v||_2)}{||v||_2}||_2<\epsilon$ ， $\exist \delta_1>0,\forall u$ 满足 $0<||u||_2<\delta_1$ 都有 $||\Delta f||_2<\delta$ ，故由如下结论： $\forall \epsilon >0,\exist \delta_1>0,\forall u$ 满足 $0<||u||_2<\delta_1$ ，若 $\Delta f=0$ ，则 $||Q(u)||_2=0<\epsilon$ ，若 $0<||\Delta f||_2<\delta$ ，则 $||Q(u)||_2=||\frac{\omicron_2(||\Delta f||_2)}{||\Delta f||_2}||_2<\epsilon$ ，即无论 $||\Delta f||_2$ 是否为零都有 $||Q(u)||_2<\epsilon$ ，故 $\lim_{u\rightarrow 0}Q(u)=0$ 。

下面由复合函数的微分法则导出复合函数的链式求导法则：

推论：若函数 $y=f(x)(D_f\subseteq R^n,y\in R^m)$ 在点 $a$ 处可微，函数 $z=g(y)(D_g\supseteq R(f),z\in R^r)$ 在点 $b = f (a)$ 处可微，则复合函数 $g\circ f$ 在点 $a$ 处可微，且其在点 $a$ 处的导数 $\frac{\partial z}{\partial x^T}(a)=\frac{\partial z}{\partial y^T}(b)\frac{\partial y}{\partial x^T}(a)$

通过一阶微分的形式不变性，我们可以通过求微分来计算复合函数的导数，这在很多情况下是有用的，例如，在矩阵求导中通过计算微分，可以一次性得到多个参变量矩阵的导数。下面给出一阶微分的形式不变性：

一阶微分的形式不变性：
设函数 $f:D_f\rightarrow R^m(D_f\subseteq R^n)$ 在点 $a$ 处可微，其微分为 $d f (a) = A (a) d a$ ，函数 $g:D_g\rightarrow R^r(D_g\supseteq R(f))$ 在点 $b = f (a)$ 处可微，其微分为 $d g (b) = B (b) d b$ ，则由复合函数的微分法则知，函数 $g\circ f$ 在点 $a$ 处的微分为 $d g (f (a)) = B (b) A (a) d a$ 。注意到 $d f (a) = A (a) d a$ ，于是 $d g (f (a)) = B (b) A (a) d a = B (b) d f (a)$ ，即 $d g (b) = B (b) d b$ ，这恰好就是 $g$ 在 $b$ 处的微分的形式。这说明无论函数 $g$ 的变量是自变量还是中间变量，其微分形式就和 $g$ 只有自变量时一样（这里可以这样理解：给定一个函数，其微分是一个线性函数，即一个线性映射，即使该函数与其他函数复合，这并不影响该函数本身的微分这个线性映射）。
【注】一阶微分的形式不变性说明了为什么自变量的微小增量也用微分符号d表示： $d f (a) = A (a) d a$ 中， $d a$ 既能表示 $f$ 在 $a$ 处的微分这个线性函数的自变量（这是人为规定的），又能表示把 $f$ 的自变量当成因变量（中间变量），其取值为 $a$ 时的微小增量（这是由形式不变性决定的）。

对于函数有多个自变量的情况，例如 $y=f(x_1,x_2,...,x_n)$ ，其中 $x_1,x_2,...,x_n$ 分别是 $m_1,m_2,...,m_n$ 维向量，实际上可以看成只有一个自变量 $x$ ，其中 $x=(x_1^T,x_2^T,...,x_n^T)^T\in R^{\sum_{i=1}^nm_i}$ , $f$ 的微分的定义仍适用。实际上，可以把 $f$ 的微分的定义等价地拆开写成

\begin{aligned} f (x_{1} + u_{1}, x_{2} + u_{2}, . . ., x_{n} + u_{n}) - f (x_{1}, x_{2}, . . ., x_{n}) \\ = & A_{1} u_{1} + A_{2} u_{2} + . . . + A_{n} u_{n} + ο (\sqrt{| | u_{1} | |_{2}^{2} + | | u_{2} | |_{2}^{2} + . . . + | | u_{n} | |_{2}^{2}}) \end{aligned}

= f (x_{1} + u_{1}, x_{2} + u_{2}, . . ., x_{n} + u_{n}) - f (x_{1}, x_{2}, . . ., x_{n}) A_{1} u_{1} + A_{2} u_{2} + . . . + A_{n} u_{n} + ο (∣ ∣ u_{1} ∣ ∣_{2}^{2} + ∣ ∣ u_{2} ∣ ∣_{2}^{2} + . . . + ∣ ∣ u_{n} ∣ ∣_{2}^{2})

相应地微分写成

dy=A_1dx_1+A_2dx_2+...+A_ndx_n=Adx

，其中

A_i

是

y

对

x_i

的导数，

[\begin{matrix} A_{1} & A_{2} & . . . & A_{n} \end{matrix}]

。

对于函数有多个中间变量的情况，复合函数的微分法则与一阶微分的形式不变性仍适用。例如 $z=g(y_1,y_2,...,y_m)$ ， $y_i=f_i(x_1,x_2,...,x_n)$ ，若 $f_1,f_2,...,f_m$ 都在点 $x_0=(c_1^T,c_2^T,..,c_n^T)^T$ 可微， $g$ 在点 $f_1^T(x_0),f_2^T(x_0),...,f_m^T(x_0))^T$ 可微，那么复合函数 $z=g(f_1(x),f_2(x),...,f_m(x)),x=(x_1^T,x_2^T,..,x_n^T)^T$ 是否在点 $x_0$ 可微呢？答案是肯定的，有如下定理保证：

定理3：函数 $f:D_f\rightarrow R^m(D_f\subseteq R^n)$ 在点 $a$ 处可微的充要条件为 $f$ 的每个分量都在点 $a$ 处可微（证明略）
【注】比较 $f$ 的微分 $d f$ 和分量 $f_i$ 的微分 $df_i$ 可知， $df=(df_1,df_2,...,df_m)^T$

对于上述情形，利用该定理可知 $f_i$ 的任意分量都在 $x_0$ 可微（ $i = 1, 2, . ., m$ ），再利用该定理知 $f=(f_1^T,f_2^T,...,f_m^T)^T$ 在 $x_0$ 可微，于是由复合函数微分法则得到上述结论。由于多个中间变量可以看成只有一个中间变量，故一阶微分的形式不变性仍成立。

例1：设 $z=f(x,y)=x^TAy,x\in R^m,y\in R^n$ ，求 $\frac{\partial z}{\partial x}$ 和 $\frac{\partial z}{\partial y}$ 。
法1：根据梯度矩阵（梯度）的定义

\begin{aligned} \frac{\partial z}{\partial x} & = [\begin{matrix} \frac{\partial z}{\partial x_{1}} \\ ⋮ \\ \frac{\partial z}{\partial x_{m}} \end{matrix}] \\ = [\begin{matrix} \frac{\partial \sum_{i} a_{i} y x_{i}}{\partial x_{1}} \\ ⋮ \\ \frac{\partial \sum_{i} a_{i} y x_{i}}{\partial x_{m}} \end{matrix}] \\ = [\begin{matrix} a_{1} y \\ ⋮ \\ a_{m} y \end{matrix}] \\ = A y \end{aligned}

\frac{\partial z}{\partial x} = ⎣ ⎢ ⎡ \frac{\partial z}{\partial x _{1}} ⋮ \frac{\partial z}{\partial x _{m}} ⎦ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ \frac{\partial \sum _{i} a _{i} y x _{i}}{\partial x _{1}} ⋮ \frac{\partial \sum _{i} a _{i} y x _{i}}{\partial x _{m}} ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎡ a_{1} y ⋮ a_{m} y ⎦ ⎥ ⎤ = A y

式中

a_i

是矩阵

A

的第i行。同理可得

\frac{\partial z}{\partial y}=A^Tx

。
法2：利用一阶微分的形式不变性
根据一阶微分的形式不变性容易证明以下几个微分公式：

$d(x^Ty)=y^Tdx+x^Tdy$
$d (A x) = A d x$

所以 $d(x^TAy)=(Ay)^Tdx+x^Td(Ay)=(Ay)^Tdx+x^TAdy=(Ay)^Tdx+(A^Tx)^Tdy$ ，由微分与导数的关系和梯度与导数的关系得 $\frac{\partial z}{\partial x}=Ay$ 和 $\frac{\partial z}{\partial y}=A^Tx$ 。

例2：设 $z=f(x,y)=(Ax)\odot(By),x\in R^m,y\in R^n,z\in R^t$ ，求 $\frac{\partial z}{\partial x^T}$ 和 $\frac{\partial z}{\partial y^T}$
【注】 $\odot$ 是Hardamard积，即逐元素乘积
法1：根据Jacobian矩阵（导数）的定义

\begin{aligned} \frac{\partial z}{\partial x^{T}} & = [\begin{matrix} \frac{\partial z_{1}}{\partial x_{1}} & \dots & \frac{\partial z_{1}}{\partial x_{m}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial z_{t}}{\partial x_{1}} & \dots & \frac{\partial z_{t}}{\partial x_{m}} \end{matrix}] \\ = [\begin{matrix} \frac{\partial (a_{1} x) (b_{1} y)}{\partial x_{1}} & \dots & \frac{\partial (a_{1} x) (b_{1} y)}{\partial x_{m}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial (a_{t} x) (b_{t} y)}{\partial x_{1}} & \dots & \frac{\partial (a_{t} x) (b_{t} y)}{\partial x_{m}} \end{matrix}] \\ = [\begin{matrix} a_{11} (b_{1} y) & \dots & a_{1 m} (b_{1} y) \\ ⋮ & ⋱ & ⋮ \\ a_{t 1} (b_{t} y) & \dots & a_{t m} (b_{t} y) \end{matrix}] \\ = d i a g (B y) A \end{aligned}

\frac{\partial z}{\partial x ^{T}} = ⎣ ⎢ ⎡ \frac{\partial z _{1}}{\partial x _{1}} ⋮ \frac{\partial z _{t}}{\partial x _{1}} \dots ⋱ \dots \frac{\partial z _{1}}{\partial x _{m}} ⋮ \frac{\partial z _{t}}{\partial x _{m}} ⎦ ⎥ ⎤ = ⎣ ⎢ ⎢ ⎡ \frac{\partial ( a _{1} x ) ( b _{1} y )}{\partial x _{1}} ⋮ \frac{\partial ( a _{t} x ) ( b _{t} y )}{\partial x _{1}} \dots ⋱ \dots \frac{\partial ( a _{1} x ) ( b _{1} y )}{\partial x _{m}} ⋮ \frac{\partial ( a _{t} x ) ( b _{t} y )}{\partial x _{m}} ⎦ ⎥ ⎥ ⎤ = ⎣ ⎢ ⎡ a_{11} (b_{1} y) ⋮ a_{t 1} (b_{t} y) \dots ⋱ \dots a_{1 m} (b_{1} y) ⋮ a_{t m} (b_{t} y) ⎦ ⎥ ⎤ = d i a g (B y) A

其中

a_i,b_i

分别是

A

，

B

的第i行。同理可得

\frac{\partial z}{\partial y^T}=diag(Ax)B

。
法2：利用一阶微分的形式不变性
根据一阶微分的形式不变性可以证明如下微分公式：

$d(x\odot y)=y\odot dx+x\odot dy=diag(y)dx+diag(x)dy$

所以 $dz=(By)\odot d(Ax)+(Ax)\odot d(By)=(By)\odot (Adx)+(Ax)\odot (Bdy)=diag(By)Adx+diag(Ax)Bdy$ ，故由微分与导数的关系得 $\frac{\partial z}{\partial x^T}=diag(By)A$ 和 $\frac{\partial z}{\partial y^T}=diag(Ax)B$ 。

矩阵对标量求导

矩阵对标量求导用的不多，只简单提一下。
仿照定义1，我们可以写出以标量为自变量的矩阵函数的微分的定义，但由定理3启发，我们可以给出一个等价的定义：

定义4：若矩阵函数 $A (t)$ 的每个元素 $a_{ij}(t)$ 在点 $t_0\in R$ 处可微，则称 $A (t)$ 在 $t_0$ 处可微，且其在该点的导数为 $\frac{\partial A}{\partial t}(t_0)=$
$[\begin{matrix} \frac{\partial a_{11}}{\partial t} (t_{0}) & \dots & \frac{\partial a_{1 n}}{\partial t} (t_{0}) \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial a_{m 1}}{\partial t} (t_{0}) & \dots & \frac{\partial a_{m n}}{\partial t} (t_{0}) \end{matrix}]$ $\frac{\partial A}{\partial t} (t_{0}) = ⎣ ⎢ ⎡ \frac{\partial a _{11}}{\partial t} (t_{0}) ⋮ \frac{\partial a _{m 1}}{\partial t} (t_{0}) \dots ⋱ \dots \frac{\partial a _{1 n}}{\partial t} (t_{0}) ⋮ \frac{\partial a _{m n}}{\partial t} (t_{0}) ⎦ ⎥ ⎤$
【注】 $A (t)$ 在 $t_0$ 处的微分写作 $dA(t_0)=(dt_0)\frac{\partial A}{\partial t}(t_0)$
定理4（链式法则）：设 $A=A(\alpha)$ 在 $\alpha=\alpha_0$ 处可微，标量 $\alpha(t)$ 在 $t_0$ 处可微， $\alpha_0=\alpha(t_0)$ ，则 $A(\alpha(t))$ 在 $t_0$ 可微，且 $\frac{\partial A\circ\alpha}{\partial t}(t_0)=\frac{\partial \alpha}{\partial t}(t_0)\frac{\partial A}{\partial t}(\alpha(t_0))$ 。

矩阵对标量求导有一些简单的公式，在此作为例子：
设 $A (t), B (t)$ 在 $t_0$ 处可微，则有

若 $A$ ， $B$ 可加，则 $\frac{\partial (A+B)}{\partial t}(t_0)=\frac{\partial A}{\partial t}(t_0)+\frac{\partial B}{\partial t}(t_0)$
若 $A$ ， $B$ 可乘，则 $\frac{\partial AB}{\partial t}(t_0)=\frac{\partial A}{\partial t}(t_0)B(t_0)+A(t_0)\frac{\partial B}{\partial t}(t_0)$
设标量函数 $\alpha(t)$ 在 $t_0$ 处可微，则 $\frac{\partial \alpha A}{\partial t}(t_0)=\frac{\partial \alpha}{\partial t}(t_0)B(t_0)+\alpha(t_0)\frac{\partial B}{\partial t}(t_0)$

标量对矩阵求导

这部分内容才是机器学习中需要用到的矩阵微分的核心内容。神经网络往往以一个标量值的代价函数作为优化目标，网络参数往往是矩阵形式的，前向传播的过程可以视为计算一个以多个矩阵为自变量的复合函数的值，反向传播的过程可以视为运用链式法则（或复合函数的微分法则）计算该标量函数对各个矩阵参数的导数。

鉴于以（多个）矩阵为自变量的标量函数本质上是多元数量值函数，我们先研究多元数量值函数的微分和导数的定义，然后将它们推广。由于多元数量值函数的微分可以视作多元向量值函数的微分的特例，因此在定义1中令 $m = 1$ ，就得到了多元数量值函数微分的概念：

定义5：设 $c\in R^n$ ，函数 $f:D\rightarrow R$ 在 $c$ 的某个半径为 $r > 0$ 的邻域 $U (c)$ 内有定义。若存在向量 $a\in R^{n}$ ，使得对于任意的 $u\in \mathring U(0)$ （ $0\in R^n$ 是零向量，去心邻域 $\mathring U(0)$ 的半径为 $r$ ）有如下关系成立： $f(c+u)-f(c)=a^Tu+\omicron(||u||_2)=\sum_{i}a_iu_i+\omicron(\sqrt{\sum_{i}u_i^2})$ ，其中 $\omicron(||u||_2)$ 是当 $u\rightarrow 0$ 时的一个高阶无穷小，则称 $f$ 在点 $c$ 处是可微的，称 $u$ 的线性函数 $a^Tu$ 为 $f$ 在点 $c$ 处的微分，记作 $df(c)=a^Tu$ ，并称 $a$ 是 $f$ 在点 $c$ 处的梯度向量，简称梯度。

注意到微分的本质是把函数局部线性化，得到函数在某一点的邻域内的线性主部，故很容易将定义5推广到以矩阵为自变量的标量函数的情形：

定义6：设 $(a_{ij})_{m\times n}=A\in R^{m\times n}$ ，存在 $r > 0$ ，数量值函数 $y = f (X)$ 当 $X-A||_F<r$ 时有定义。若存在 $(b_{ij})_{m\times n}=B\in R^{m\times n}$ ，使得对于任意的 $(u_{ij})_{m\times n}=U\in R^{m\times n}$ 满足 $0<||U||_F<r$ 有如下关系成立： $f(A+U)-f(A)=\sum_{ij}b_{ij}u_{ij}+\omicron(\sqrt{\sum_{ij}u_{ij}^2})=tr(B^TU)+\omicron(||U||_F)$ ，则称 $f$ 在点 $A$ 处是可微的，称 $U$ 的 $m\times n$ 个元素的线性函数 $tr(B^TU)$ 为 $f$ 在点 $A$ 处的微分，记作 $df(A)=tr(B^TU)$ ，并称 $B$ 是 $f$ 在点 $A$ 处的梯度矩阵，简称梯度。 $U$ 是自变量在 $A$ 处的增量，常记作 $U = d A$ ，即 $df(A)=tr(B^TdA)$
【注】 $tr(\bullet)$ 是指矩阵的迹； $||\bullet||_F$ 是指矩阵的Frobenius范数，当矩阵为行向量或列向量时， $||\bullet||_F$ 就是向量的Frobenius范数，即2范数，矩阵范数的内容见矩阵的条件数

用类似定理1的证明方法，可以证明 $B=\frac{\partial f}{\partial X}(A)=(\frac{\partial f}{\partial x_{ij}}(A))_{m\times n}$ 即梯度矩阵与 $f$ 对 $X$ 的偏导相等（需要注意的是，以矩阵为自变量的实值函数也有Jacobian矩阵的定义，Jacobian矩阵是梯度矩阵的转置）
利用该结论可以证明如下微分公式：

$d|X|=tr(X^*dX)$ ，其中 $∣ X ∣$ 是方阵 $X$ （阶数大于等于2）的行列式， $X^*$ 是 $X$ 的伴随矩阵
证：
由行列式的定义， $|X|=\sum_jx_{ij}A_{ij}$ 对任意 $i = 1, 2, . . ., n$ 成立，其中 $A_{ij}$ 是 $x_{ij}$ 的代数余子式（注意 $x_{ij}$ 不是 $A_{ij}$ 的自变量，即 $A_{ij}$ 的取值与 $x_{ij}$ 无关），则 $\frac{\partial |X|}{\partial x_{ij}}=A_{ij}$ ，故 $\frac{\partial |X|}{\partial X}=(X^*)^T$ ， $d|X|=tr(X^*dX)$

还可以证明如下导数公式：
设 $f (X), g (X)$ 是以矩阵 $X$ 为自变量的数量值函数，若 $f$ 和 $g$ 在 $A$ 处可微，则 $f (X) g (X), f (X) + g (X)$ 在 $A$ 处可微，且：

$\frac{\partial f(X)g(X)}{\partial X}=\frac{\partial f(X)}{\partial X}g(X)+f(X)\frac{\partial g(X)}{\partial X}$
$\frac{\partial f(X)\pm g(X)}{\partial X}=\frac{\partial f(X)}{\partial X}\pm\frac{\partial g(X)}{\partial X}$

现在我们依次考虑两种复合函数的情形：

内层函数是以矩阵为自变量的数量值函数，外层函数是一元数量值函数
内层函数是以矩阵为自变量的矩阵值函数（称为矩阵函数），外层函数是以矩阵为自变量的数量值函数

第一种情形：

定理5：设 $y=f(X),y\in R, X\in R^{m\times n}$ 在点 $A$ 处可微， $z=g(y),z\in R,y\in R$ 在点 $b = f (A)$ 处可微，则 $z = g (f (X))$ 在点 $A$ 处可微，且在点 $A$ 处的微分为 $dg(f(A))=tr((g'(b)\frac{\partial f}{\partial X}(A))^TdX)$

证明思路与定理2是类似的，证明的关键在于 $lim_{\Delta X\rightarrow O}\frac{\omicron(|\Delta y|)}{||\Delta X||_F}=0$ ，基本思路是改写为 $lim_{\Delta X\rightarrow O}\frac{\omicron(|\Delta y|)}{|\Delta y|}\frac{|\Delta y|}{||\Delta X||_F}=0$ ，证明 $lim_{\Delta X\rightarrow O}\frac{\omicron(|\Delta y|)}{|\Delta y|}=0$ 且 $\frac{|\Delta y|}{||\Delta X||_F}$ 局部有界即可。利用绝对值不等式放缩， $|\Delta y|\leqslant|tr((\frac{\partial f}{\partial X}(A))^T\Delta X)|+|\omicron(||\Delta X)||_F)|$ ， $\frac{|\omicron(||\Delta X)||_F)|}{||\Delta X||_F}$ 局部有界是显然的，而 $\frac{|tr((\frac{\partial f}{\partial X}(A))^T\Delta X)|}{||\Delta X||_F}\leqslant\sum_{ij}\frac{|(\frac{\partial f}{\partial X_{ij}}(A_{ij})||\Delta X_{ij}|}{||\Delta X||_F}\leqslant\sum_{ij}|(\frac{\partial f}{\partial X_{ij}}(A_{ij})|$ ，也是局部有界的。

第二种情形：
需要考虑矩阵函数的微分，下面给出矩阵函数的微分的定义。
这里不引入向量化和kronecker积的运算，在定义6的基础上仿照定义4的方式给出矩阵函数的微分的定义：

定义7：设有矩阵函数 $Y=F(X),X\in R^{m\times n},Y\in R^{p\times q}$ ，若 $F (X)$ 的每个元素 $f_{ij}(X),i=1,2,...,p,j=1,2,...,q$ 都在点 $A$ 处可微，则称 $F (X)$ 在点 $A$ 处可微，且点 $A$ 处的微分为 $[\begin{matrix} d f_{11} (A) & . . . & d f_{1 q} (A) \\ ⋮ & ⋱ & ⋮ \\ d f_{p 1} (A) & \dots & d f_{p q} (A) \end{matrix}]$ 该矩阵称为微分矩阵

复合矩阵函数的微分法则是成立的（从而微分的形式不变性也是成立的），但在不使用vec+kronecker计算的情况下应该是无法证明的，这个在后面的博客中再说（vec+kronecker可以参考数学-矩阵计算（2）矩阵函数微积分前奏）

下面考虑有多个矩阵自变量的情况：

定义8：设 $A_i\in R^{m_i\times n_i},i=1,2,...,k$ ，存在 $r > 0$ ，数量值函数 $y=f(X_1,X_2,...,X_k),X_i\in R^{m_i\times n_i}$ 当 $\sqrt{\sum_{i}||X_i-A_i||_F^2}<r$ 时有定义。若存在 $B_i\in R^{m_i\times n_i},i=1,2,...,k$ ，使得对于任意的 $U_i\in R^{m_i\times n_i},i=1,2,...,k$ 满足 $0<\sqrt{\sum_i||U_i||_F^2}<r$ 有如下关系成立： $f(A_1+U_1,A_2+U_2,...,A_k+U_k)-f(A_1,A_2,...,A_k)=\sum_itr(B_i^TU_i)+\omicron(\sqrt{\sum_i||U_i||_F^2})$ ，则称 $f$ 在 $A_1,A_2,...,A_k)$ 处是可微的，记作 $df(A_1,...A_k)=\sum_itr(B_i^TdA_i)$

可以证明定义中的 $B_i$ 恰好是 $f$ 对 $X_i$ 在 $A_i$ 处的偏导 $\frac{\partial f}{\partial X_i}(A_i)$ ，微分形式不变性等仍成立，不再赘述。
下面根据定义7以及一阶微分的形式不变性证明若干常用的微分矩阵的计算公式，前面的例子中出现的微分公式都可以视作下面的公式的特例：（以下设 $\alpha\in R$ 为常数， $\beta \in R$ 为变量， $A=(a_{ij})$ 为常矩阵， $X=(x_{ij})$ , $Y=(y_{ij})$ 为变量，这三个矩阵的大小视公式中出现的运算而定）

$d A = O$
证：
$[\begin{matrix} d a_{11} & \dots & d a_{1 n} \\ ⋮ & ⋱ & ⋮ \\ d a_{m 1} & \dots & d a_{m n} \end{matrix}]$
$d(\alpha X)=\alpha dX$
证：
$[\begin{matrix} d (α x_{11}) & \dots & d (α x_{1 n}) \\ ⋮ & ⋱ & ⋮ \\ d (α x_{m 1}) & \dots & d (α x_{m n}) \end{matrix}]$
$d(\beta X)=(d\beta)X+\beta dX$
证：
$[\begin{matrix} d (β x_{11}) & \dots & d (β x_{1 n}) \\ ⋮ & ⋱ & ⋮ \\ d (β x_{m 1}) & \dots & d (β x_{m n}) \end{matrix}]$
$dX^T=(dX)^T$
证：
$[\begin{matrix} d x_{11} & \dots & d x_{m 1} \\ ⋮ & ⋱ & ⋮ \\ d x_{1 n} & \dots & d x_{m n} \end{matrix}]$
$d t r (X) = t r (d X)$
证：
$dtr(X)=d\sum_ix_{ii}=\sum_idx_{ii}=tr(dX)$
设 $F$ 是一个逐元素函数，即 $[\begin{matrix} f (x_{11}) & \dots & f (x_{1 n}) \\ ⋮ & ⋱ & ⋮ \\ f (x_{m 1}) & \dots & f (x_{m n}) \end{matrix}]$ ，则 $dF(X)=F'(X)\odot dX$ ，其中 $F^{'}$ 也是逐元素函数
证：
$[\begin{matrix} d f (x_{11}) & \dots & d f (x_{1 n}) \\ ⋮ & ⋱ & ⋮ \\ d f (x_{m 1}) & \dots & d f (x_{m n}) \end{matrix}]$
$d(X\pm Y)=dX\pm dY$
证：
$[\begin{matrix} d (x_{11} \pm y_{11}) & . . . & d (x_{1 n} \pm y_{1 n}) \\ ⋮ & ⋱ & ⋮ \\ d (x_{m 1} \pm y_{m 1}) & . . . & d (x_{m n} \pm y_{m n}) \end{matrix}]$
$d (X Y) = (d X) Y + X d Y$
证：
由于 $(d(XY))_{ij}=d\sum_kx_{ik}y_{kj}=\sum_k(y_{kj}dx_{ik}+x_{ik}dy_{kj})=((dX)Y)_{ij}+(XdY)_{ij}$ ，故 $d (X Y) = (d X) Y + X d Y$ 。
$d(X\odot Y)=dX\odot Y+X\odot dY$
证：
由于 $(d(X\odot Y))_{ij}=d(x_{ij}y_{ij})=y_{ij}dx_{ij}+x_{ij}dy_{ij}=(dX\odot Y)_{ij}+(X\odot dY)_{ij}$ ，故 $d(X\odot Y)=dX\odot Y+X\odot dY$ 。
【注】 $\odot$ 是逐元素乘积
$d(X\oslash Y)=(dX\odot Y-X\odot dY)\oslash(Y\odot Y)$
证：
由于 $(d(X\oslash Y))_{ij}=d\frac{x_{ij}}{y_{ij}}=\frac{y_{ij}dx_{ij}-x_{ij}dy_{ij}}{y_{ij}^2}=Z_{ij}$ ，其中 $Z=(dX\odot Y-X\odot dY)\oslash(Y\odot Y)$ ，故 $d(X\oslash Y)=Z=(dX\odot Y-X\odot dY)\oslash(Y\odot Y)$ 。
【注】 $\oslash$ 是逐元素除法

上面的公式基本就够用了，这些公式可以用来计算复合函数等复杂函数的微分矩阵，进而计算梯度矩阵/偏导矩阵。下面举几个微分矩阵和标量对矩阵求导的例子：（我们当然可以直接根据Jacobian矩阵或梯度矩阵的定义计算，但下面利用定义7/8+上面的微分公式+微分形式不变性来推导这些结果）
【注】关于矩阵的迹的运算律参考链接。
微分矩阵：

$dX^{-1}=-X^{-1}(dX)X^{-1}$
证：
对 $X^{-1}X=I$ 两边微分，得 $dX^{-1})X+X^{-1}dX=O$ ，用 $X^{-1}$ 右乘式的两端，得 $dX^{-1}+X^{-1}(dX)X^{-1}=O$ ，即 $dX^{-1}=-X^{-1}(dX)X^{-1}$ 。
$d\ln(X)=dX \oslash X$ ，其中 $\ln(X)$ 是将以e为底的对数函数逐元素应用到矩阵 $X$ 上
证：
$d\ln(X)=(1\oslash X)\odot dX=dX\oslash X$
$d\sigma(X)=\sigma(X)\odot\sigma(-X)\odot dX$ ，其中 $\sigma(X)$ 是将sigmoid函数逐元素应用到矩阵 $X$ 上
【注】sigmoid函数是神经网络中常用的激活函数，定义为 $\sigma:R\rightarrow R_+,\sigma(z)=\frac{1}{1+e^{-z}}$
证：
只需证明 $\forall z\in R,\sigma'(z)=\sigma(z)\sigma(-z)$ 。由sigmoid函数的定义得 $(1+e^{-z})\sigma(z)=1$ ，两端微分得 $-e^{-z}\sigma(z)dz+(1+e^{-z})\sigma'(z)dz=0$ ，故 $-e^{-z}\sigma(z)+(1+e^{-z})\sigma'(z)=0$ ， $\sigma'(z)=\frac{e^{-z}\sigma(z)}{1+e^{-z}}=\frac{\sigma(z)}{1+e^{z}}=\sigma(z)\sigma(-z)$ 。
$dg(x)=\frac{1^Te^xdiag(e^x)-e^x(e^x)^T}{(1^Te^x)^2}dx$ ，其中 $g(x)=\frac{e^x}{1^Te^x},x\in R^n$ ， $e^x$ 是将以 $e$ 为底的指数函数逐元素应用到向量 $x$ 上
【注】这里定义的函数 $g$ 就是softmax函数，softmax函数是神经网络中常用的激活函数，在分类问题中常用于输出层得到概率分布
证：
由 $g(x)=\frac{e^x}{1^Te^x},x\in R^n$ 得 $1^Te^xg(x)=e^x$ ，两端微分得 $1^T(e^x\odot dx)g(x)+1^Te^xdg(x)=e^x\odot dx$ ，又因为 $1^T(e^x\odot dx)=tr(1^T(e^x\odot dx))=tr((1\odot e^x)^Tdx)=(e^x)^Tdx$ ，故 $dg(x)=\frac{e^x\odot dx-(e^x)^Tdxg(x)}{1^Te^x}=\frac{diag(e^x)dx-g(x)(e^x)^Tdx}{1^Te^x}=\frac{1^Te^xdiag(e^x)-e^x(e^x)^T}{(1^Te^x)^2}dx$ 。

梯度矩阵/Jacobian矩阵：

$\frac{\partial tr(X)}{\partial X}=I$
证：
由 $d t r (X) = t r (d X)$ 及定义7即证。
$\frac{\partial tr(X^TX)}{\partial X}=2X$
证：
由 $d(tr(X^TX))=tr(d(X^TX))=tr((dX^T)X+X^TdX)=tr((dX)^TX)+tr(X^TdX)=2tr(X^TdX)$ 及定义7即证。
设 $y=g(x),x,y\in R^n$ ，其中 $g$ 是softmax函数，则 $[\begin{matrix} y_{1} (1 - y_{1}) & - y_{1} y_{2} & \dots & - y_{1} y_{n} \\ - y_{2} y_{1} & y_{2} (1 - y_{2}) & \dots & - y_{2} y_{n} \\ \dots & \dots & \dots & \dots \\ - y_{n} y_{1} & - y_{n} y_{2} & \dots & y_{n} (1 - y_{n}) \end{matrix}]$
证：
利用 $dg(x)=\frac{1^Te^xdiag(e^x)-e^x(e^x)^T}{(1^Te^x)^2}dx$ （这个例子也可以直接根据Jacobian矩阵的定义计算）。 $\begin{aligned} \frac{\partial y}{\partial x^{T}} & = \frac{1^{T} e^{x} d i a g (e^{x}) - e^{x} (e^{x})^{T}}{(1^{T} e^{x})^{2}} \\ = \frac{1}{(\sum_{i} e^{x_{i}})^{2}} (\sum_{i} e^{x_{i}} [\begin{matrix} e^{x_{1}} \\ e^{x_{2}} \\ \dots \\ e^{x_{n}} \end{matrix}] - [\begin{matrix} e^{x_{1}} e^{x_{1}} & e^{x_{1}} e^{x_{2}} & \dots & e^{x_{1}} e^{x_{n}} \\ e^{x_{2}} e^{x_{1}} & e^{x_{2}} e^{x_{2}} & \dots & e^{x_{2}} e^{x_{n}} \\ \dots & \dots & \dots & \dots \\ e^{x_{n}} e^{x_{1}} & e^{x_{n}} e^{x_{2}} & \dots & e^{x_{n}} e^{x_{n}} \end{matrix}]) \\ = [\begin{matrix} \frac{e^{x_{1}}}{\sum_{i} e^{x_{i}}} (1 - \frac{e^{x_{1}}}{\sum_{i} e^{x_{i}}}) & - \frac{e^{x_{1}}}{\sum_{i} e^{x_{i}}} \frac{e^{x_{2}}}{\sum_{i} e^{x_{i}}} & \dots & - \frac{e^{x_{1}}}{\sum_{i} e^{x_{i}}} \frac{e^{x_{n}}}{\sum_{i} e^{x_{i}}} \\ - \frac{e^{x_{2}}}{\sum_{i} e^{x_{i}}} \frac{e^{x_{1}}}{\sum_{i} e^{x_{i}}} & \frac{e^{x_{2}}}{\sum_{i} e^{x_{i}}} (1 - \frac{e^{x_{2}}}{\sum_{i} e^{x_{i}}}) & \dots & - \frac{e^{x_{2}}}{\sum_{i} e^{x_{i}}} \frac{e^{x_{n}}}{\sum_{i} e^{x_{i}}} \\ \dots & \dots & \dots & \dots \\ - \frac{e^{x_{n}}}{\sum_{i} e^{x_{i}}} \frac{e^{x_{1}}}{\sum_{i} e^{x_{i}}} & - \frac{e^{x_{n}}}{\sum_{i} e^{x_{i}}} \frac{e^{x_{2}}}{\sum_{i} e^{x_{i}}} & \dots & \frac{e^{x_{n}}}{\sum_{i} e^{x_{i}}} (1 - \frac{e^{x_{n}}}{\sum_{i} e^{x_{i}}}) \end{matrix}] \\ = [\begin{matrix} y_{1} (1 - y_{1}) & - y_{1} y_{2} & \dots & - y_{1} y_{n} \\ - y_{2} y_{1} & y_{2} (1 - y_{2}) & \dots & - y_{2} y_{n} \\ \dots & \dots & \dots & \dots \\ - y_{n} y_{1} & - y_{n} y_{2} & \dots & y_{n} (1 - y_{n}) \end{matrix}] \end{aligned}$

应用

线性回归问题的最小二乘解

机器学习中的线性回归问题表述如下：
设有m个样本 $s_1,s_2,...,s_m$ （为表示方便，假设 $s_i$ 是行向量），每个样本包含n个特征（ $s_i^T\in R^n$ ），样本的标签分别是 $y_1,y_2,...,y_m\in R$ 。现要求得一线性模型 $y_i=s_i\theta+b$ 对于任意i成立，其中 $\theta\in R^n$ 和 $b\in R$ 是要求解的参数。该问题可写成如下矩阵形式：设 $a_i=$

[\begin{matrix} 1 & s_{i} \end{matrix}]

a_{i} = [1 s_{i}]

，

[\begin{matrix} a_{1} \\ a_{2} \\ . . . \\ a_{m} \end{matrix}]

（A称为设计矩阵），

[\begin{matrix} b \\ θ \end{matrix}]

，

[\begin{matrix} y_{1} \\ y_{2} \\ . . . \\ y_{m} \end{matrix}]

，求解参数向量x使得

A x = y

。可见线性回归问题实质上就是求解一个线性方程组。

在前面的博客中，曾给出线性方程组最小二乘解的广义逆解法和投影矩阵解法，并证明了这些方法的正确性。现在利用矩阵微分的方法解决这个问题：
根据最小二乘解的定义，我们要最小化 $f(x)=||Ax-y||_2$ ，这等价于最小化 $z=f(x)^2=||Ax-y||_2^2=(Ax-y)^T(Ax-y)$ 。 $dz=(Adx)^T(Ax-y)+(Ax-y)^TAdx=2(Ax-y)^TAdx$ ，得 $\frac{\partial z}{\partial x}=2A^T(Ax-y)$ 。 $d\frac{\partial z}{\partial x}=2A^TAdx$ ，故Hessian矩阵为 $\frac{\partial}{\partial x^T}(\frac{\partial z}{\partial x})=2A^TA$ ，是对称半正定的，故 $z$ 是凸函数。令 $\frac{\partial z}{\partial x}=0$ 即得到全局最优解，得正规方程 $A^TAx=A^Ty$ ，这就证明了求最小二乘解等价于解正规方程。

L2正则化情形

正则化是一种提高模型泛化能力的技术，通过“权值衰减”的方式，缓解模型的过拟合问题。在线性回归中讨论L2正则化，不仅是因为这项技术能够增强模型的泛化能力，还因为对于线性回归问题来说，只要进行L2正则化，那么最优解存在且唯一。
令

[\begin{matrix} s_{1} \\ s_{2} \\ . . . \\ s_{m} \end{matrix}]

S = ⎣ ⎢ ⎢ ⎡ s_{1} s_{2} . . . s_{m} ⎦ ⎥ ⎥ ⎤

，

[\begin{matrix} 0 & 0_{1 \times n} \\ 0_{n \times 1} & I_{n} \end{matrix}]

，则

[\begin{matrix} 1_{m \times 1} & S \end{matrix}]

，

\theta=Px

。加入正则化项

\lambda ||\theta||_2^2,\lambda>0

后，我们要优化的函数为

f(x)=||Ax-y||^2_2+\lambda ||\theta||_2^2=||Ax-y||^2_2+\lambda ||Px||_2^2

对该式微分得

\begin{aligned} \frac{1}{2} d f & = (A x - y)^{T} A d x + λ x^{T} P^{T} P d x \\ = (A x - y)^{T} A d x + λ x^{T} P d x \end{aligned}

于是

\frac{1}{2}\frac{\partial f}{\partial x}=A^T(Ax-y)+\lambda P^Tx=A^T(Ax-y)+\lambda Px

再求一次微分可得Hessian矩阵，易验证其为对称半正定的，于是带有L2正则化的线性回归仍是凸优化问题。令

\frac{\partial f}{\partial x}=0

得如下方程

(A^TA+\lambda P)x=A^Ty

只要

A^TA+\lambda P

可逆，则方程的解存在且唯一。为此，我们证明如下结论：

定理： $A^TA+\lambda P$ 是对称正定矩阵
证明：
对称性易证。现证明正定性：由 $[\begin{matrix} 1_{m \times 1} & S \end{matrix}]$ 及 $[\begin{matrix} 0 & 0_{1 \times n} \\ 0_{n \times 1} & I_{n} \end{matrix}]$ 知 $[\begin{matrix} m & 1_{m \times 1}^{T} S \\ S^{T} 1_{m \times 1} & S^{T} S \end{matrix}]$ $[\begin{matrix} m & 1_{m \times 1}^{T} S \\ S^{T} 1_{m \times 1} & S^{T} S + λ I_{n} \end{matrix}]$ 任意 $0\neq z\in R^{n+1}$ ， $z^TA^TAz=(Az)^T(Az)=||Az||_2^2\geqslant 0$ （即 $A^TA$ 是对称半正定的），令 $z=(z_1,\text{\~{z}}^T)$ ，其中 $\text{\~{z}}\in R^n$ ，则 $\begin{aligned} z^{T} A^{T} A z & = z^{T} [\begin{matrix} m & 1_{m \times 1}^{T} S \\ S^{T} 1_{m \times 1} & S^{T} S \end{matrix}] z \\ = m z_{1}^{2} + 2 ({\~{z}}^{T} S^{T} 1_{m \times 1}) z_{1} + {\~{z}}^{T} S^{T} S \~{z} \\ ⩾ 0 \end{aligned}$ $\begin{aligned} z^{T} (A^{T} A + λ P) z & = z^{T} [\begin{matrix} m & 1_{m \times 1}^{T} S \\ S^{T} 1_{m \times 1} & S^{T} S + λ I_{n} \end{matrix}] z \\ = m z_{1}^{2} + 2 ({\~{z}}^{T} S^{T} 1_{m \times 1}) z_{1} + {\~{z}}^{T} S^{T} S \~{z} + λ | | \~{z} | |_{2}^{2} \\ = z^{T} A^{T} A z + λ | | \~{z} | |_{2}^{2} \end{aligned}$ 当 $\text{\~{z}}=0$ 时，由 $z\neq 0$ 知 $z_1\neq 0$ ， $z^T(A^TA+\lambda P)z=mz_1^2\gt 0$ ；当 $\text{\~{z}}\neq 0$ 时， $\lambda||\text{\~{z}}||_2^2\gt 0$ ，故 $z^T(A^TA+\lambda P)z=z^TA^TAz+\lambda||\text{\~{z}}||_2^2\gt 0$ 。
综上，只要 $z\neq 0$ 就有 $z^T(A^TA+\lambda P)z>0$ ，故 $A^TA+\lambda P$ 是对称正定矩阵。

因为 $A^TA+\lambda P$ 是对称正定矩阵，故 $A^TA+\lambda P$ 一定可逆。这就证明了 $f (x)$ 的最优解存在且唯一，且为 $x=(A^TA+\lambda P)^{-1}A^Ty$ 。

多层前馈网络的反向传播

多层前馈网络又称多层感知机或BP网络，是回归问题/分类问题中常用的模型。
图片来自维基百科
在推导反向传播前，先看一下前向传播是怎么进行的。

单样本：
设 $a^{[l]}\in R^{n_l}$ 是神经网络中第 $l$ 层的激励值，其中 $n_l$ 是第 $l$ 层的神经元个数， $g^{[l]}$ 是第 $l$ 层的激活函数， $W^{[l]}$ 和 $b^{[l]}$ 是第 $l$ 层的参数。设输入层是第0层，即对于样本 $x\in R^{n_0}$ ，有 $a^{[0]}=x$ ， $n_0$ 即该样本的特征数量。输出层是第 $L$ 层，即对于样本 $x$ ，网络的预测值 $\hat y=a^{[L]}\in R^{n_L}$ 。则前向传播的过程形式化如下：
依次对 $l = 1, 2, . . ., L$ 计算下式： $z^{[l]}=W^{[l]}a^{[l-1]}+b^{[l]}\\a^{[l]}=g^{[l]}(z^{[l]})$ 得到神经网络的预测值 $\hat y=a^{[L]}$ 后，计算损失函数的值 $L(\hat y,y)$ ，其中 $y$ 是样本 $x$ 的真实标签。

多样本：
设有 $m$ 个样本 $x^{(1)},x^{(2)},...,x^{(m)}$ 按列构成矩阵 $X$ ，即 $X\in R^{n_0\times m}$ ，它们的标签 $y^{(1)},y^{(2)},...,y^{(m)}$ 按列构成矩阵 $Y$ ， $Y\in R^{n_L\times m}$ （在分类问题中，样本的标签是one-hot向量，即目标概率分布）。多样本的情形实际上只是让 $m$ 个样本同时前向传播，神经网络的参数和单样本时是相同的。设 $A^{[l]}=$

[\begin{matrix} a^{[l] (1)} & a^{[l] (2)} & \dots & a^{[l] (m)} \end{matrix}]

A^{[l]} = [a^{[l] (1)} a^{[l] (2)} \dots a^{[l] (m)}]

，其中

a^{[l](i)}\in R^{n_l}

是第

l

层第

i

个样本的激励值。多样本情形下的前向传播可形式化如下：
依次对

l = 1, 2, . . ., L

计算下式：

Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}1_{m\times 1}^T\\A^{[l]}=G^{[l]}(Z^{[l]})

函数

G^{[l]}:R^{n_l\times m}\rightarrow R^{n_l\times m}

满足

[\begin{matrix} g^{[l]} (z^{[l] (1)}) & g^{[l]} (z^{[l] (2)}) & \dots & g^{[l]} (z^{[l] (m)}) \end{matrix}]

，其中

g^{[l]}

是第

l

层的激活函数（实际上多数激活函数是逐元素函数（softmax等除外），此时

G^{[l]}

与

g^{[l]}

可以统一定义为一个以矩阵为自变量的逐元素函数，不需要区分开）。神经网络的预测值为

[\begin{matrix} {\hat{y}}^{(1)} & {\hat{y}}^{(2)} & \dots & {\hat{y}}^{(m)} \end{matrix}]

，其中

\hat y^{(i)}=g^{[L]}(z^{[L](i)})

，损失函数

J(\hat Y,Y)

的值一般取每个样本的损失函数值的平均值，即

J(\hat Y,Y)=\frac{1}{m}\sum_iL(\hat y^{(i)},y^{(i)})

常用的损失函数：
对于回归问题，常用均方误差函数MSE：

L(\hat y,y)=||\hat y-y||_2^2

容易推导出对于多样本的情形有

J(\hat Y, Y)=\frac{1}{m}||\hat Y-Y||_F^2

对于分类问题，常用交叉熵代价函数CrossEntropyLoss：
如果输出层的激励函数采用sigmoid函数的话，则

L(\hat y,y)=-\sum_{i=1}^{n_L}(y_i\ln\hat y_i+(1-y_i)\ln(1-\hat y_i))=-(y^T\ln\hat y+(1-y)^T\ln(1-\hat y))

容易推导出对于多样本的情形有

J(\hat Y, Y)=-\frac{1}{m}tr(Y^T\ln\hat Y+(1-Y)^T\ln(1-\hat Y))

如果输出层的激励函数采用softmax函数的话，则

L(\hat y,y)=-\sum_{i=1}^{n_L}y_i\ln\hat y_i=-y^T\ln\hat y

对于多样本的情形有

J(\hat Y,Y)=-\frac{1}{m}tr(Y^T\ln\hat Y)

一句话总结，前向传播就是在计算以多个矩阵为自变量的非线性实值函数

f(X,Y,\Theta)=J(\hat Y, Y)

，其中

\Theta

是神经网络的参数组，包含神经网络中的所有参数

W^{[1]},b^{[1]},W^{[2]},b^{[2]},...,W^{[L]},b^{[L]}

（很多资料中前向传播的概念是仅仅计算到输出层的值就可以了，但由于反向传播是从代价函数开始的，因此这里我们把使用输出层的值计算代价函数也视为前向传播的一部分）。由于计算过程是从输入层到输出层逐层传递的，因此称为“前向传播”。

由凸优化的相关理论知，最小化代价函数需要找到函数的一个下降方向，而负梯度方向是一个自然存在的下降方向，因此需要一个算法求出代价函数对网络的各个参数矩阵的梯度矩阵。反向传播算法（BP）以复合函数的微分法则（或复合函数的链导法则）为理论基础，从输出层（准确说是从代价函数）开始到输入层，逐层求解代价函数对各层参数的梯度矩阵，从而得到代价函数的一个下降方向。

下面以分类问题为例推导BP算法，输出层激励函数采用Softmax，代价函数采用交叉熵代价函数。由于单样本的前向、反向传播过程可以视为多样本情形的特例（即 $m = 1$ ），因此下面只推导多样本情形：

一些前提结论（这些结论将在推导过程中直接使用）：

$dg(x)\oslash g(x)=dx-1_{n\times 1}g(x)^Tdx,x\in R^n$ ，其中 $g$ 是softmax函数
证：
由于 $dg(x)\oslash g(x)=d\ln g(x)$ ，因此先计算 $\ln g(x)$ 。 $\begin{aligned} \ln g (x) & = \ln \frac{e^{x}}{1^{T} e^{x}} \\ = \ln (e^{x} ⊘ (1^{T} e^{x} 1_{n \times 1})) \\ = \ln e^{x} - \ln (1^{T} e^{x} 1_{n \times 1}) \\ = x - \ln (1^{T} e^{x} 1_{n \times 1}) \end{aligned}$ $\begin{aligned}\begin{aligned}d\ln g(x)&=dx-d\ln(1^Te^x1_{n\times 1})\\&=dx-(1^T(de^x)1_{n\times 1})\oslash(1^Te^x1_{n\times 1})\\&=dx-\frac{1^T(e^x\odot dx)1_{n\times 1}}{1^Te^x}\\&=dx-\frac{(e^x)^Tdx1_{n\times 1}}{1^Te^x}\\&=dx-1_{n\times 1}g(x)^Tdx\end{aligned}$
设 $[\begin{matrix} a_{1} & a_{2} & \dots & a_{n} \end{matrix}]$ ，则 $[\begin{matrix} a_{1}^{T} b_{1} 1_{n \times 1} & a_{2}^{T} b_{2} 1_{n \times 1} & \dots & a_{n}^{T} b_{n} 1_{n \times 1} \end{matrix}]$
（它们的值都是 $\sum_{ij}a_{ij}b_{ij}$ ）
在分类问题中有 $Y^T1_{n_L\times 1}=1_{m\times 1}$ ，其中 $Y\in R^{n_L\times m}$ 是m个样本的标签（one-hot形式）按列排成的矩阵， $n_L$ 是网络的输出层的神经元数目，即类别数
（这是因为概率分布的总和是1，也可以从one-hot向量的格式看出来，one-hot向量只有一个分量是1，其他分量都是0）
前面提到过的一些微分公式

推导过程：
从代价函数开始到输出层（输出层激励函数 $g^{[L]}$ 是softmax函数）：

\begin{aligned} d J & = - \frac{1}{m} t r (Y^{T} d \ln \hat{Y}) \\ = - \frac{1}{m} t r (Y^{T} (d \hat{Y} ⊘ \hat{Y})) \end{aligned}

d J = - \frac{1}{m} t r (Y^{T} d ln \hat{Y}) = - \frac{1}{m} t r (Y^{T} (d \hat{Y} ⊘ \hat{Y}))

\begin{aligned} d \hat{Y} ⊘ \hat{Y} & = d G^{[L]} (Z^{[L]}) ⊘ G^{[L]} (Z^{[L]}) \\ = [\begin{matrix} d g^{[L]} (z^{[L] (1)}) & \dots & d g^{[L]} (z^{[L] (m)}) \end{matrix}] ⊘ [\begin{matrix} g^{[L]} (z^{[L] (1)}) & \dots & g^{[L]} (z^{[L] (m)}) \end{matrix}] \\ = [\begin{matrix} d g^{[L]} (z^{[L] (1)}) ⊘ g^{[L]} (z^{[L] (1)}) & \dots & d g^{[L]} (z^{[L] (m)}) ⊘ g^{[L]} (z^{[L] (m)}) \end{matrix}] \\ = [\begin{matrix} d z^{[L] (1)} - 1_{n_{L} \times 1} g^{[L]} (z^{[L] (1)})^{T} d z^{[L] (1)} & \dots & d z^{[L] (m)} - 1_{n_{L} \times 1} g^{[L]} (z^{[L] (m)})^{T} d z^{[L] (m)} \end{matrix}] \\ = d Z^{[L]} - [\begin{matrix} 1_{n_{L} \times 1} ({\hat{y}}^{(1)})^{T} d z^{[L] (1)} & \dots & 1_{n_{L} \times 1} ({\hat{y}}^{(m)})^{T} d z^{[L] (m)} \end{matrix}] \end{aligned}

\begin{aligned} - m d J & = t r (Y^{T} (d \hat{Y} ⊘ \hat{Y})) \\ = t r (Y^{T} (d Z^{[L]} - [\begin{matrix} 1_{n_{L} \times 1} ({\hat{y}}^{(1)})^{T} d z^{[L] (1)} & \dots & 1_{n_{L} \times 1} ({\hat{y}}^{(m)})^{T} d z^{[L] (m)} \end{matrix}])) \\ = t r (Y^{T} d Z^{[L]}) - t r ([\begin{matrix} Y^{T} 1_{n_{L} \times 1} ({\hat{y}}^{(1)})^{T} d z^{[L] (1)} & \dots & Y^{T} 1_{n_{L} \times 1} ({\hat{y}}^{(m)})^{T} d z^{[L] (m)} \end{matrix}]) \\ = t r (Y^{T} d Z^{[L]}) - t r ([\begin{matrix} 1_{m \times 1} ({\hat{y}}^{(1)})^{T} d z^{[L] (1)} & \dots & 1_{m \times 1} ({\hat{y}}^{(m)})^{T} d z^{[L] (m)} \end{matrix}]) \\ = t r (Y^{T} d Z^{[L]}) - t r ({\hat{Y}}^{T} d Z^{[L]}) \\ = t r ((Y - \hat{Y})^{T} d Z^{[L]}) \end{aligned}

由微分和梯度矩阵的关系得

\frac{\partial J}{\partial Z^{[L]}}=\frac{1}{m}(\hat Y-Y)

，可见梯度矩阵的形式十分简单。这就是机器学习框架（如Tensorflow和Pytorch）中CrossEntropyLoss的实现要把softmax集成到loss函数中的原因，因为这样的话在反向传播时能节省大量不必要的运算，做个矩阵减法就是导数了（还有一点就是前向传播时log和softmax结合也可以简化运算）。
Pytorch官方文档

【注】当输出层的激励函数采用sigmoid函数，代价函数采用交叉熵代价函数时，反向传播有类似的结果，感兴趣的读者可以自己试一下。

输出层还没算完： $dZ^{[L]}=(dW^{[L]})A^{[L-1]}+W^{[L]}dA^{[L-1]}+(db^{[L]})1_{m\times 1}^T$

\begin{aligned} d J & = t r ((\frac{\partial J}{\partial Z^{[L]}})^{T} d Z^{[L]}) \\ = t r ((\frac{\partial J}{\partial Z^{[L]}})^{T} (d W^{[L]}) A^{[L - 1]}) + t r ((\frac{\partial J}{\partial Z^{[L]}})^{T} W^{[L]} d A^{[L - 1]}) + t r ((\frac{\partial J}{\partial Z^{[L]}})^{T} (d b^{[L]}) 1_{m \times 1}^{T}) \\ = t r ((\frac{\partial J}{\partial Z^{[L]}} (A^{[L - 1]})^{T})^{T} d W^{[L]}) + t r (((W^{[L]})^{T} \frac{\partial J}{\partial Z^{[L]}})^{T} d A^{[L - 1]}) + t r ((\frac{\partial J}{\partial Z^{[L]}} 1_{m \times 1})^{T} d b^{[L]}) \end{aligned}

d J = t r ((\frac{\partial J}{\partial Z ^{[L]}})^{T} d Z^{[L]}) = t r ((\frac{\partial J}{\partial Z ^{[L]}})^{T} (d W^{[L]}) A^{[L - 1]}) + t r ((\frac{\partial J}{\partial Z ^{[L]}})^{T} W^{[L]} d A^{[L - 1]}) + t r ((\frac{\partial J}{\partial Z ^{[L]}})^{T} (d b^{[L]}) 1_{m \times 1}^{T}) = t r ((\frac{\partial J}{\partial Z ^{[L]}} (A^{[L - 1]})^{T})^{T} d W^{[L]}) + t r (((W^{[L]})^{T} \frac{\partial J}{\partial Z ^{[L]}})^{T} d A^{[L - 1]}) + t r ((\frac{\partial J}{\partial Z ^{[L]}} 1_{m \times 1})^{T} d b^{[L]})

故由微分与梯度矩阵的关系得

\frac{\partial J}{\partial W^{[L]}}=\frac{\partial J}{\partial Z^{[L]}}(A^{[L-1]})^T

，

\frac{\partial J}{\partial b^{[L]}}=\frac{\partial J}{\partial Z^{[L]}}1_{m\times 1}

，

\frac{\partial J}{\partial A^{[L-1]}}=(W^{[L]})^T\frac{\partial J}{\partial Z^{[L]}}

。这就得到了代价函数对输出层参数

W^{[L]},b^{[L]}

的梯度。通过将

\frac{\partial J}{\partial A^{[L-1]}}

保存下来，求导运算可以继续传播下去。为了后面表示方便，我们把上面的微分式中的每一项用单个符号代替，即简写为

dJ=dJ_{W^{[L]}}+dJ_{A^{[L-1]}}+dJ_{b^{[L]}}

，注意后面计算时只会把

dJ_{A^{[L-1]}}

展开，

dJ_{W^{[L]}}

和

dJ_{b^{[L]}}

是不会再变的。同理，对于任意变量

V

，

dJ_{V}

表示

J

对

V

的微分项。

从第 $l$ 层到第 $l - 1$ 层：
假设第 $l$ 层的梯度已得出，即已知 $\frac{\partial J}{\partial W^{[l]}}$ ， $\frac{\partial J}{\partial b^{[l]}}$ ， $\frac{\partial J}{\partial A^{[l-1]}}$ ，则通过 $\frac{\partial J}{\partial A^{[l-1]}}$ 可以计算第 $l - 1$ 层的梯度：

\begin{aligned} d A^{[l - 1]} & = d G^{[l - 1]} (Z^{[l - 1]}) \\ = [\begin{matrix} d g^{[l - 1]} (z^{[l - 1] (1)}) & \dots & d g^{[l - 1]} (z^{[l - 1] (m)}) \end{matrix}] \\ = [\begin{matrix} \frac{\partial g^{[l - 1]}}{\partial z^{[l - 1] (1)^{T}}} d z^{[l - 1] (1)} & \dots & \frac{\partial g^{[l - 1]}}{\partial z^{[l - 1] (m)^{T}}} d z^{[l - 1] (m)} \end{matrix}] \end{aligned}

d A^{[l - 1]} = d G^{[l - 1]} (Z^{[l - 1]}) = [d g^{[l - 1]} (z^{[l - 1] (1)}) \dots d g^{[l - 1]} (z^{[l - 1] (m)})] = [\frac{\partial g ^{[l - 1]}}{\partial z ^{[l - 1] (1)^{T}}} d z^{[l - 1] (1)} \dots \frac{\partial g ^{[l - 1]}}{\partial z ^{[l - 1] (m)^{T}}} d z^{[l - 1] (m)}]

\begin{aligned} d J_{A^{[l - 1]}} & = t r ((\frac{\partial J}{\partial A^{[l - 1]}})^{T} d A^{[l - 1]}) \\ = t r ([\begin{matrix} (\frac{\partial J}{\partial A^{[l - 1]}})^{T} \frac{\partial g^{[l - 1]}}{\partial z^{[l - 1] (1)^{T}}} d z^{[l - 1] (1)} & \dots & (\frac{\partial J}{\partial A^{[l - 1]}})^{T} \frac{\partial g^{[l - 1]}}{\partial z^{[l - 1] (m)^{T}}} d z^{[l - 1] (m)} \end{matrix}]) \\ = t r ((B^{[l - 1]})^{T} d Z^{[l - 1]}) \end{aligned}

其中

[\begin{matrix} (\frac{\partial g^{[l - 1]^{T}}}{\partial z^{[l - 1] (1)}} \frac{\partial J}{\partial A^{[l - 1]}})_{1} & \dots & (\frac{\partial g^{[l - 1]^{T}}}{\partial z^{[l - 1] (m)}} \frac{\partial J}{\partial A^{[l - 1]}})_{m} \end{matrix}]

故由微分与梯度矩阵的关系得

\frac{\partial J}{\partial Z^{[l-1]}}=B^{[l-1]}

。
实际上，大多激活函数都是逐元素函数（例如sigmoid,tanh,relu等等），此时

G^{[l-1]}

也是一个逐元素函数，故

dA^{[l-1]}=dG^{[l-1]}(Z^{[l-1]})=G^{[l-1]'}(Z^{[l-1]})\odot dZ^{[l-1]}

\begin{aligned} d J_{A^{[l - 1]}} & = t r ((\frac{\partial J}{\partial A^{[l - 1]}})^{T} d A^{[l - 1]}) \\ = t r ((\frac{\partial J}{\partial A^{[l - 1]}})^{T} (G^{[l - 1]^{'}} (Z^{[l - 1]}) ⊙ d Z^{[l - 1]})) \\ = t r ((\frac{\partial J}{\partial A^{[l - 1]}} ⊙ G^{[l - 1]^{'}} (Z^{[l - 1]}))^{T} d Z^{[l - 1]})) \end{aligned}

故由微分与梯度矩阵的关系得

\frac{\partial J}{\partial Z^{[l-1]}}=\frac{\partial J}{\partial A^{[l-1]}}\odot G^{[l-1]'}(Z^{[l-1]})

。得到了

\frac{\partial J}{\partial Z^{[l-1]}}

后，计算代价函数对第

l - 1

层的参数

W^{[l-1]},b^{[l-1]}

的梯度的方法与输出层是相同的，故不再赘述。

循环神经网络的反向传播（待补充）

exp(i)

关注

4
点赞
踩
0
评论
31
收藏
打赏
扫一扫，分享内容

点击复制链接

专栏目录

参与评论您还未登录，请先登录后发表或查看评论

矩阵论（八）：矩阵微分与矩阵求导

矩阵微分与矩阵求导

布局约定

向量对向量求导

矩阵对标量求导

标量对矩阵求导

应用

线性回归问题的最小二乘解

L2正则化情形

多层前馈网络的反向传播

循环神经网络的反向传播（待补充）

“相关推荐”对你有帮助么？