机器学习中的数学基础（三）：随机变量

• 3 随机变量
• • 3.1 离散型随机变量
  • 3.2 连续型随机变量
  • 3.3 简单随机抽样
  • 3.4 似然函数
  • 3.5 极大似然估计

在看西瓜书的时候有些地方的数学推导（尤其是概率论的似然、各种分布）让我很懵逼，本科的忘光了，感觉有点懂又不太懂，基于此，干脆花一点时间简单从头归纳一下机器学习中的数学基础，也就是高数、线代、概率论（其实大学都学过）。
本文全部都是基于我自己的数学基础、尽量用方便理解的文字写的，记录的内容都是我本人记忆不太牢靠、需要时常来翻笔记复习的知识，已经完全掌握的比如极限连续性啥的都不会出现在这里。

学习内容来自这里

3 随机变量

3.1 离散型随机变量

概率函数（概率质量函数） →专为离散型随机变量定义的：p(x)=Prob(X=x),p(x)=Prob(X=x),p(x)=Prob(X=x),XXX是随机变量的取值，PPP是概率。

离散型随机变量概率分布：f(x)f(x)f(x)，f(xi)≥0,i=1,2,...f(x_i)\geq 0, i=1,2,...f(xi​)≥0,i=1,2,...，∑f(xi)=1\sum f(x_i)=1∑f(xi​)=1。
f(xi)=P(X=x)f(x_i)=P(X=x)f(xi​)=P(X=x)就是离散型随机变量的概率函数。

3.2 连续型随机变量

连续型随机变量画不出离散型随机变量中的分布表。
概率密度→专门描述连续型随机变量的：对于连续型随机变量X，我们不能给出其取每一个值的概率，也就是画不出那个分布表。
即，假如体重范围在50~120kg，那么有没有可能一个人的体重在60.618kg呢？完全有可能，但是在连续型随机变量中，取个别点的概率为0，因为没办法计算一个点！

所以可以用区间来解决，用区间中的频数来计算这个区间的概率，绘制频率分布直方图：

分组越多，轮廓层次感越强，越接近一条曲线；如果组足够多，每个组里只有一个样本，那这个曲线就是描述数据的。

其实求密度就是求每一个区间占的面积，也就是积分。

分布函数肯定是越来越接近1的。

3.3 简单随机抽样

抽取的样本满足两点:
(1)样本X1，X2…Xn是相互独立的随机变量；
(2)样本X1，X2.….Xn与总体X同分布。

独立同分布，所以联合的可以直接累乘。

3.4 似然函数

似然：拿到了一些样本，但是不知道这些样本是受什么样的参数控制的。
举例：是否下雨有据可循，受到某种参数的影响，这就是θ\thetaθ，而x就是一天天的数据。
所以似然函数的目标是把这个θ\thetaθ整出来。

离散情况下：

也就是，拿到了一个结果以后，是什么参数使这个结果的可能性更大。

连续情况下：

对于离散和连续（后面的常数可以约掉），最后的结果都是一样的。

总结：
概率：给定参数θ\thetaθ时，X=x的可能性；
似然：给定样本X=x时，参数θ\thetaθ的可能性！

3.5 极大似然估计

理解：

找到一个参数，使得在这个参数值下，样本出现的概率最大。

怎么解？

• 先构造似然函数：
  
• 对似然函数取对数，方便求解：lnL(θ)\text{ln} L(\theta)lnL(θ)
• 求偏导得到θ\thetaθ值：dlnLdθ=0，\frac{d\text{ln}L}{d\theta}=0，dθdlnL​=0，虽然前面对似然函数取了对数，这会影响L的极大值，但是对数是单调递增的，并不会影响极值点。

举例：