MathForMachineLearning

机器学习之数学基础系列

包括三个内容：《机器学习之概率与统计推断》、《机器学习之矩阵》、《机器学习之凸优化》。机器学习是一门集概率论、线性代数、数值计算、最优化理论和计算机科学等多个领域的交叉学科。本系列知识以机器学习中的数学基础为主要内容，摆脱传统的讲概念、记公式、解体的数学学习模式，避开冗长的数学证明，从现实任务出发，让听众在短时间内完美补充概率与统计、线性代数和凸优化等数学基础知识，从而快速上手机器学习。

---

第一部分：机器学习之概率与统计推断

理解概率和统计基本概念，会利用合适的概率分布解释机器学习算法原理，运用统计知识求解机器学习模型参数，为后续的机器学习打下扎实的数学基础。

知识点

Part1：随机变量及其分布

1. 概率公理及推论
2. 随机事件之间的关系：条件概率、贝叶斯公式
3. 随机变量及其分布： pmf/pdf、CDF、均值、方差、分位数
4. 常用随机变量分布：离散型随机变量、连续性随机变量
5. 概率密度估计
6. 应用：Kaggle竞赛数据分析（直方图／核密度估计）、xgboost近似搜索（分位数）

Part2：多元随机向量及其分布

1. 联合概率、边缘概率、条件概率、条件独立
2. 常用多元分布
3. 朴素贝叶斯
4. 应用：MRF、CRF、RBM

Part3：极大似然估计

1. 极大似然估计：似然函数、极大似然估计
2. 估计评价：偏差-方差分解、Bootstrap
3. 应用：线性回归参数估计、logistic回归参数估计

Part4：贝叶斯估计

1. 贝叶斯估计：先验/共轭先验、似然、后验、最大后验估计
2. 正则
3. 应用：岭回归、Lasso

---

第二部分：机器学习之矩阵

知识点

Part1：矩阵初步

1. 矩阵的基本概念： （1）实数、向量、矩阵、张量 （2）矩阵和向量的关系 （3）矩阵和方程组的关系 （4）特殊矩阵：单位矩阵，数量矩阵，对角矩阵，三角矩阵
2. 矩阵的基本运算： （1）矩阵的加、减、乘（数乘和矩阵乘法）、除，转置（对称矩阵），求行列式 （2）方程组的矩阵表示 （3）矩阵三个初等变换 （4）矩阵的逆、秩、迹

Part2：矩阵变换和线性空间

1. 线性空间 （1）线性的概念、线性相关、线性表示（线性组合）和方程组的关系 （2）线性空间、线性子空间（生成子空间）、向量组的值域和核 （3）线性空间的范数、范数（p=1、2、）、矩阵的Frobenius范数
2. 矩阵分解 （1）特征分解、正交分解、正定（半正定）矩阵、正定矩阵和特征分解之间的关系、SVD分解（Moore-Penrose伪逆） （2）应用举例：PCA

Part3：矩阵求导

1. 梯度向量、Hessin矩阵、方向导数、多元函数泰勒展开、梯度下降
2. 应用举例：最小二乘法

---

第三部分：机器学习之凸优化

知识点

Part1：机器学习与优化方法简介与关系

1. 机器学习简介
2. 优化问题求解与凸优化
3. 典型案例：支持向量机与深度学习

Part2：求解凸优化问题的算法

1. 传统凸优化求解方法、一阶与二阶优化方法
2. 机器学习问题求解的现成工具
3. 案例：支持向量机中的凸优化方法

Part3：深度学习与非凸优化

1. 深度学习简介
2. 深度模型训练中的优化问题
3. 案例分析：深度学习中的梯度下降算法