DeepLearning-0.数学符号
条评论《深度学习》本书所使用数学符号。
数和数组
符号 | 含义 | LaTex表示 |
---|---|---|
$\mathit{a}$ | 标量(整数或实数) | \mathit{a} |
$\vec{a}$ | 向量 | \vec{a} |
$\mathit{A}$ | 矩阵 | \mathit{A} |
$\mathbf{A}$ | 张量 | \mathbf{A} |
$\mathit{I}\mathit{n}$ | n行n列的单位矩阵 | \mathit{I}\mathit{n} |
$\mathit{I}$ | 维度蕴含于上下文的单位矩阵 | \mathit{I} |
$e^{(i)}$ | 标准基向量[0,…,0,1,0,…,0],其中索引i处的值为1 | e^{(i)} |
$diag(a)$ | 对角方阵,其中对角元素由$\vec{a}$给定 | diag(a) |
a | 标量随机变量 | a |
a | 向量随机变量 | a |
A | 矩阵随机变量 | A |
集合和图
符号 | 含义 | LaTex表示 |
---|---|---|
$\mathbb{A}$ | 集合 | \mathbb{A} |
$\mathbb{R}$ | 实数集 | \mathbb{R} |
$\{0,1\}$ | 包含0和1的集合 | \{0,1\} |
$\{0,1,…,n\}$ | 包含0和n之间所有整数的集合 | \{0,1,…,n\} |
$\left [ a,b \right ]$ | 包含a和b的实数区间 | \left [ a,b \right ] |
$\left ( a,b \right ]$ | 不包含a但包含b的实数区间 | \left ( a,b \right ] |
$\mathbb{A}\backslash\mathbb{B}$ | 差集,即其元素包含于A,但不包含于B | \mathbb{A}\backslash\mathbb{B} |
$\mathit{G}$ | 图 | \mathit{G} |
$P_{ag}( x_{i})$ | 图 $\mathit{G}$ 中 $( x_{i})$ 的父节点 | P_{ag}( x_{i}) |
索引
符号 | 含义 | LaTex表示 |
---|---|---|
$\vec{a}_{i}$ | 向量a的第i个元素,其中索引从1开始 | \vec{a}_{i} |
$\vec{a}_{-i}$ | 除了第i个元素,a的所有元素 | \vec{a}_{-i} |
$A_{i,j}$ | 矩阵A的i,j元素 | A_{i,j} |
$A_{i,:}$ | 矩阵A的第i行 | A_{i,:} |
$A_{:,i}$ | 矩阵A的第i列 | A_{:,i} |
$\mathbf{A}_{i,j,k}$ | 三维张量A的(i,j,k)元素 | \mathbf{A}_{i,j,k} |
$\mathbf{A}_{:,:,i}$ | 三维张量的二维切片 | \mathbf{A}_{:,:,i} |
$a_{i}$ | 随机向量a的第i个元素 | a_{i} |
线性代数中的操作
符号 | 含义 | LaTex表示 |
---|---|---|
$A^{\top}$ | 矩阵A的转置 | A^{\top} |
$A^{+}$ | 矩阵A的Moore-Penrose伪逆 | A^{+} |
$A\odot B$ | A和B的遂元素乘积(Hadamard乘积) | A\odot B |
$\det(A)$ | A的行列式 | \det(A) |
微积分
符号 | 含义 | LaTex表示 |
---|---|---|
$\frac{\mathrm{d} y}{\mathrm{d} x}$ | y关于x的导数 | \frac{\mathrm{d} y}{\mathrm{d} x} |
$\frac{\partial y}{\partial x}$ | y关于x的偏导 | \frac{\partial y}{\partial x} |
$\nabla_{x}y$ | y关于x的梯度 | \nabla_{x}y |
$\nabla_{X}y$ | y关于X的矩阵导数 | \nabla_{X}y |
$\nabla_{\mathbf{X}}y$ | y关于$\mathbf{A}$求导后的张量 | \nabla_{\mathbf{X}}y |
$\frac{\partial f}{\partial x}$ | f:$\mathbb{R}^{n} \rightarrow \mathbb{R}^{m}$ 的Jacobian矩阵$J\in \mathbb{R}^{m\times n}$ | \frac{\partial f}{\partial x} |
$\nabla_{2}^{x}f(x)\ or \ H(f)(x)$ | f在点x处的Hessian矩阵 | \nabla_{2}^{x}f(x)\ or \ H(f)(x) |
$\int f(x)d_{x}$ | x整个域上的定积分 | \int f(x)d_{x} |
$\int_{\mathbb{S}}f(x)d_{x}$ | 集合$\mathbb{S}$上关于x的定积分 | \int_{\mathbb{S}}f(x)d_{x} |
概率和信息论
符号 | 含义 | LaTex表示 |
---|---|---|
$a\perp b$ | a和b相互独立的随机变量 | a\perp b |
$a\perp b \ \mid \ c$ | 给定c后条件独立 | a\perp b \ \mid \ c |
$P(a)$ | 离散变量上的概率分布 | P(a) |
$p(a)$ | 连续变量(或变量类型未指定时)上的概率分布 | p(a) |
$a\sim P$ | 具有分布P的随机变量a | a\sim P |
$\mathbb{E}_{x \sim P}[f(x)] \ or \ \mathbb{E}f(x)$ | f(x)关于P(x)的期望 | \mathbb{E}_{x \sim P}[f(x)] \ or \ \mathbb{E}f(x) |
$Var(f(x))$ | f(x)在分布P(x)下的方差 | Var(f(x)) |
$Cov(f(x),g(x))$ | f(x)和g(x)在分布P(x)下的协方差 | Cov(f(x),g(x)) |
$H(x)$ | 随机变量x的香农熵 | H(x) |
$D_{KL}(P\parallel Q)$ | P和的KL散度 | D_{KL}(P\parallel Q) |
$N(x;\mu ,\Sigma )$ | 均值为$\mu$,协方差为$\Sigma$,x上的高斯分布 | N(x;\mu ,\Sigma ) |
函数
符号 | 含义 | LaTex表示 |
---|---|---|
$f:\mathbb{A}\rightarrow \mathbb{B}$ | 定义域为$\mathbb{A}$,值域为$\mathbb{B}$的函数f | f:\mathbb{A}\rightarrow \mathbb{B} |
$f\circ g$ | f和g的组合 | f\circ g |
$f(x;\theta )$ | 由$\theta$参数化,关于x的函数(有时为简化表示,我们忽略$\theta$而记为f(x)) | f(x;\theta ) |
$\log x$ | x的自然对数 | \log x |
$\sigma (x)$ | Logistic sigmoid,$\frac{1}{1+exp(-x)}$ | \sigma (x) |
$\zeta (x)$ | Softplus,$\log(1+\exp(x))$ | \zeta (x) |
$\parallel x \parallel _{p}$ | x的$L^{p}$范数 | \parallel x \parallel _{p} |
$\parallel x \parallel$ | x的$L^{2}$范数 | \parallel x \parallel |
$x^{+}$ | x的正数部分,即max(0,x) | x^{+}$ |
$1_{condition}$ | 如果条件为真则为1,否则为0 | 1_{condition} |
数据集合发布
符号 | 含义 | LaTex表示 |
---|---|---|
$p_{data}$ | 数据生成分布 | p_{data} |
$\hat{p}_{train}$ | 由训练集定义的经验分布 | \hat{p}_{train} |
$\mathbb{X}$ | 训练样本的集合 | \mathbb{X} |
$x^{(i)}$ | 数据集的第i个样本(输入) | x^{(i)} |
$y^{(i)}$或$y^{(i)}$ | 监督学习中与$x^{(i)}关联的目标$ | y^{(i)} |
$\mathit{X}$ | $m\times n$的矩阵,其中行$X_{i,:}$为输入样本$x^{(i)}$ | \mathit{X} |