猪猪的机器学习笔记（一）微积分和概率论
微积分和概率论
作者：樱花猪
摘要：
本文为七月算法（julyedu.com）12月机器学习第一次课在线笔记。本次课以机器学习的观点来看待曾经学过的数学问题，为未来的做机器学习的公式推导做理论基础。主要内容包括高等数学和概率论部分内容。课程通过简单的数学知识串讲，唤起封存已久的记忆。
引言：
由于项目需求时间紧迫和仗着自己经历了各种考试和刚刚手热的数学知识，原本准备放弃掉前面几次有关于数学的课程，虽说直接上机器学习时对于基础知识这一块压力不算太大，但有些地方模糊不清，心底发虚，总想回来看看。在最后听邹博的课程后，瞬间变成其脑残粉，机器学习班的数学课把曾经课本上分的泾渭分明的理论基础贯穿起来进行了一次头脑风暴，蓦然回首，发现数学原来可以这么玩。
本文按照上课顺序分为高等数学部分和概率论部分。在高等数学（微积分）部分主要介绍了极限、导数、梯度、泰勒展开等高数经典问题，并在最后简单的介绍了凸函数。在概率论部分，我们分享了常用的概率公式包括条件概率、全概率公式以及贝叶斯公式和一些常见的概率分布模型。
预备知识：
高等数学、概率论
高数：
常数e
导数、梯度
Taylor展式
凸函数
概率论
古典概型
常用概率公式
常见概率分布
一、高等数学
1.1 极限与自然底数e
1、什么是自然底数e： ，n越大越e越接近真值
2、证明函数极限：极限存在，值为e，证明方案两边夹定理
3、有用的备注：
（1）
（2）单调有界数列必有极限（证明收敛常用方案）
1.2 导数
1、导数的几何意义：导数就是曲线的斜率，反应曲线的变化快慢。
2、二阶导反应斜率的变化快慢，表征曲线的凹凸性。二阶导连续的曲线称为“光顺”
1.3 泰勒公式和麦克劳林公式
应用：在计算机中对于三角函数、自然对数等做近似计算提高运算速率。
1.4方向导数和梯度
1、若函数在
可微：则函数在该店沿L方向的导数存在，且有：
，其中
为方向L与X的夹角。
2、梯度是一个向量。记做，
1.5凸函数
澄清一下平时的记忆，在机器学习中这种形状叫做凸函数。（记忆，上境界是凸集）
1.6 常用导数
思忖再三，还是贴出来以备不时之需。
二、概率论
2.1古典概型：等可能概率模型。
2.2常用概率公式：
2.3常用分布：
1、两点分布（0-1分布）分布律：
2、二项分布：多次0-1分布
3、泊松分布（跟自然对数有关）
在实际事例中，当一个随机事件，以固定的平均瞬时速率λ(或称密度)随机且独立地出现时，那么这个事件在单位时间(面积或体积) 内出现的次数或个数就近似地服从泊松分布P(λ)。
例如：某一服务设施在一定时间内到达的人数；电话交换机接到呼叫的次数；汽车站台的候客人数；机器出现的故障数；自然灾害发生的次数；一块产品上的缺陷数；微镜下单位分区内的细菌分布数；某放射性物质单位时间发射出的粒子数。
跟泊松亮斑没啥关系。
4、均匀分布
5、指数分布：
无记忆性，如果x是某电器元件的寿命，已知元件使用 了s小时，则共使用至少s+t小时的条件概率，与 从未使用开始至少使用t小时的概率相等。
指数分布可以用来表示独立随机事件发生的时间间隔，比如旅客进机场的时间间隔、软件更新的时间间隔等等。
许多电子产品的寿命分布一般服从指数分布。有的系统的寿命 分布也可用指数分布来近似。它在可靠性研究中是最常用的一种分布形式。
6、正态分布（非常常用的一种分布）
2.4常用分布总结：