联合概率,条件概率和编辑概率的概念

联合概率,条件概率和编辑概率的概念

离散分布

对于离散分布来说,联合概率、编辑概率的解释如下表所示:

矩阵求导

矩阵求导

矩阵求导

矩阵求导的定义

自变量↓\因变量→标量$y$向量$\mathbf{y}$矩阵$\mathbf{Y}$
标量$x$$\frac{\partial y}{\partial x}$$\frac{\partial \mathbf{y}}{\partial x}$$\frac{\partial \mathbf{Y}}{\partial x}$
向量$\mathbf{x}$$\frac{\partial y}{\partial \mathbf{x}}$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$\frac{\partial \mathbf{Y}}{\partial \mathbf{x}}$
矩阵$\mathbf{X}$$\frac{\partial y}{\partial \mathbf{X}}$$\frac{\partial \mathbf{y}}{\partial \mathbf{X}}$$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$

矩阵求导的两种布局:

分子布局($numerator\ layout$)和分母布局($denominator\ layout$ )。

关系代数基础

关系代数基础

名称英文符号说明
选择select$\sigma$类似于 SQL 中的 where
投影project$\sqcap$类似于 SQL 中的 select
union$\cup$类似于 SQL 中的 union
集合差set-difference$-$SQL中没有对应的操作符
笛卡儿积Cartesian-product$\times$类似于 SQL 中不带 on 条件的 inner join
重命名rename$\rho$类似于 SQL 中的 as
集合交intersection$\cap$SQL中没有对应的操作符
自然连接natural join$\Join$类似于 SQL 中的 inner join
赋值assignment
深度学习数学基础-大数定律和中心极限定律

深度学习数学基础-大数定律和中心极限定律

大数定律

大数定律一般有以下几种表述方式

深度学习的数学知识-微积分相关概念

深度学习的数学知识-微积分相关概念

本文主要记录我在学习机器学习过程中对梯度概念复习的笔记,主要参考《高等数学》《简明微积分》以及维基百科上的资料为主,文章小节安排如下:
1)导数
2)导数和偏导数
3)导数与方向导数
4)导数与梯度
5)梯度下降法

概率与统计相关概念

概率与统计相关概念

均值

$mean$,数列的算术平均值,反应了数列的集中趋势,等于有效数值的合除以有效数值的个数。也称为数学期望

深度学习数学基础-常见的概率分布

深度学习数学基础-常见的概率分布

离散概率分布

伯努利概率分布

伯努利分布($Bernoulli \ distribution$)就是对单次抛硬币的建模,伯努利分布的概率密度函数($PDF, Probability\ Density\ Function $)为:

$$
f(x) = p^x(1-p)^{1-x}
\tag{1.1}
$$

$$
P(X=x) = \left\lbrace
\begin{align}
1-p \qquad &, x = 0 \\
p \qquad &, x = 1
\end{align}
\right.
\tag{1.2}
$$

随机变量$x$只能取${0,1}$。对于所有的$PDF$,都要归一化!而这里对于伯努利分布,已经天然归一化了,因此归一化参数就是$1$。

深度学习数学基础-线性代数-标量、向量、矩阵和张量

深度学习数学基础-线性代数-标量、向量、矩阵和张量

标量、向量、矩阵、张量可以分别理解为0维、1维、2维和多维数组,对应着0维、1维、2维和多维空间(2019年8月14日)。

标量、向量、矩阵、张量可以分别理解为0阶、1阶、2阶和多阶数组,对应着0维、1维、2维和多维空间,每一个单位量的元素个数可以看做是维数,如:

深度学习数学基础

深度学习数学基础

:该页面目前无法在部分移动端显示不正常,给您带来的不便请谅解。

推荐文章(由hexo文章推荐插件驱动)

Agile Angularjs Animation Application Artificial Intelligence BP Babel Bokeh Book C4.5 CART CD CLI CSS CentOS Cinder Clipboardjs Concept Continuous Delivery DeepLearning Department DevOps Develop Development Directive Distribution Django Document ES5 ES6 Echarts Engine Entropy Filter Front End Gallery Git Gradient descent Hexo Horizon ID3.5 Icarus JavaScript Javascript KVM LaTeX LibreOffice Linux MNIST Machine Learning Matrix MiddleWare Module Native Network Nginx NodeJS OOP OpenStack OpenStackApi Operations Oprations PDF Pipline Probability Python React Relational algebra Restful Route SVD SVM Scalar Sigmoid Team Tempest Tensor TensorFlow Testing Time TimeMachine Tips Vector Vmware Vue Vuex WSGI Web Word Cut aliyun auth babel certbot decision tree git homebrew jwt keystone loader mathematics migrate openstack pdf2html pm2 singular value decomposition vue-router vue-ssr webpack 事件 事件代理 事件冒泡 事件捕获 低通滤波器 入门 全局变量 全局对象 全栈 公式 决策树 函数 分类器 加速 匹配滤波边缘检测 卷积 卷积核 原型链 双向绑定 反向传播 发布 变量类型 官方示例 对偶形式 对象 平移和查分边缘检测 感知机模型 拉格朗日乘子法 推导 提交阶段 数据绑定 最大似然估计 最小二乘估计 最小二乘法 朴素贝叶斯 机器学习 条件概率 梯度下降 梯度方向边缘检测 概念 概率 求导 流程 源码阅读 生命周期 矩阵 神经网络 私有对象 线性回归 联合概率 识别 贝叶斯判定准则 边缘检测 边际概率 闭包 间隔 高斯分布 高通滤波器
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×