奇异值分解的原理与使用

奇异值分解的原理与使用

奇异值分解的原理

特征值和特征向量

特征值和特征向量的定义如下:
$$
Ax = \lambda x
\tag{1}
$$
其中,$\lambda$是一个标量,$x$是一个向量,$\lambda$称作矩阵$A$的特征值,$x$是其对应的特征向量。

求得所有特征值和特征向量后,我们就可以对矩阵A进行特征分解。具体如下:
$$
A = W \Sigma W^{-1}
\tag{2}
$$
其中,$W$是由$A$的所有特征向量组成的$n\times n$维矩阵。$\Sigma$是以$A$的所有特征值$\lambda_1,\lambda_2,\dots, \lambda_n$为对角线的对角矩阵。我们一般会把$W$的这$n$个特征向量标准化,即满足$||w_i|| = 1$或者$w_i^T \cdot w_i = w_i^T w_i=1$,此时,$W$的$n$个向量为标准正交基。

故:
$$
W^{-1} = W^T
\tag{3}
$$
这样我们的特征分解表达式可以写成
$$
A = W \Sigma W^T
\tag{4}
$$

深度学习数学基础-大数定律和中心极限定律

深度学习数学基础-大数定律和中心极限定律

大数定律

大数定律一般有以下几种表述方式

深度学习的数学知识-微积分相关概念

深度学习的数学知识-微积分相关概念

本文主要记录我在学习机器学习过程中对梯度概念复习的笔记,主要参考《高等数学》《简明微积分》以及维基百科上的资料为主,文章小节安排如下:
1)导数
2)导数和偏导数
3)导数与方向导数
4)导数与梯度
5)梯度下降法

对机器学习的一点思考

对机器学习的一点思考

机器学习的定义

通常情况下来讲,机器学习有如下几个定义:

  1. 机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能。
  2. 机器学习是对能通过经验自动改进的计算机算法的研究。
  3. 机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。
  4. 一种经常引用的英文定义是:A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
概率与统计相关概念

概率与统计相关概念

均值

$mean$,数列的算术平均值,反应了数列的集中趋势,等于有效数值的合除以有效数值的个数。也称为数学期望

深度学习数学基础-常见的概率分布

深度学习数学基础-常见的概率分布

离散概率分布

伯努利概率分布

伯努利分布($Bernoulli \ distribution$)就是对单次抛硬币的建模,伯努利分布的概率密度函数($PDF, Probability\ Density\ Function $)为:

$$
f(x) = p^x(1-p)^{1-x}
\tag{1.1}
$$

$$
P(X=x) = \left\lbrace
\begin{align}
1-p \qquad &, x = 0 \\
p \qquad &, x = 1
\end{align}
\right.
\tag{1.2}
$$

随机变量$x$只能取${0,1}$。对于所有的$PDF$,都要归一化!而这里对于伯努利分布,已经天然归一化了,因此归一化参数就是$1$。

深度学习数学基础-线性代数-标量、向量、矩阵和张量

深度学习数学基础-线性代数-标量、向量、矩阵和张量

标量、向量、矩阵、张量可以分别理解为0维、1维、2维和多维数组,对应着0维、1维、2维和多维空间(2019年8月14日)。

标量、向量、矩阵、张量可以分别理解为0阶、1阶、2阶和多阶数组,对应着0维、1维、2维和多维空间,每一个单位量的元素个数可以看做是维数,如:

Agile Angularjs Animation Application Artificial Intelligence BP Babel Bokeh Book C4.5 CART CD CLI CSS CentOS CheetSheet Cinder Clipboardjs Concept Continuous Delivery DeepLearning Department DevOps Develop Development Directive Distribution Django Document ECMA ELU ES5 ES6 ES7 Echarts Engine Entropy Filter Front End GELU Gallery Git Gradient descent Hexo Horizon ID3 ID3.5 Icarus JavaScript Javascript KVM LaTeX LeetCode LibreOffice Linux Logestic MNIST Machine Learning Mathematics Matrix MiddleWare Module Native Network Nginx NodeJS Numpy OOP OpenSSH OpenStack OpenStackApi Operations Oprations PDF PLA Pandas Pipline Probability Python ReLU React Relational algebra Restful Route SVD SVM Scalar Sigmoid SoftPlus Swish Team Tempest Tensor TensorFlow Testing Time TimeMachine Tips Vector Vmware Vue Vuex WSGI Web Word Cut aliyun auth babel certbot cost function debounce decision tree dns docker dockerfile eject error function footer git header homebrew html5 http https jupyter jwt keystone lab loader lodash loss function mathematics migrate nav openstack outline pdf2html pm2 proto prototype python replace request response rp rt ruby scikit-learn section singular value decomposition sklearn stylus tanh throttle url vue-router vue-ssr webpack 事件 事件代理 事件冒泡 事件捕获 位运算 低通滤波器 入门 全局 全局变量 全局对象 全栈 公式 决策树 几何意义 函数 分类器 剪枝 加速 动态变量 匹配滤波边缘检测 卷积 卷积核 原型链 双向绑定 反向传播 发布 变量类型 可视化 基尼指数 官方示例 对偶形式 对象 小技巧 平移和查分边缘检测 思维导图 感知机模型 手动实现 拉格朗日乘子法 推导 提交阶段 数据 数据绑定 最大似然估计 最小二乘估计 最小二乘回归树 最小二乘法 本地 朴素贝叶斯 朴素贝叶斯算法 机器学习 条件概率 标签模板 梯度下降 梯度方向边缘检测 概念 概率 模板字符 模板字符串 正则 求导 流程 源码 源码阅读 激活函数 灰度 特征值 特征向量 特征工程 生命周期 矩阵 神经元 神经网络 私有对象 科学计算 算法 算法实现 线性代数 线性回归 编译 缺失 联合概率 脚手架 识别 调试 贝叶斯 贝叶斯判定准则 边缘检测 边际概率 闭包 间隔 防抖动 限流 随机森林 高斯分布 高通滤波器
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×