常用分布

0-1分布 X~B（1,p)

\(E(X)=p * 1+(1-p) * 0=p\)
\(E\left(X^{2}\right)=0^{2} *(1-p)+1^{2} * p=p\)
\(D(X)=E\left(X^{2}\right)-E(X)^{2}=p-p^{2}=p(1-p)\)

二项分布 X~B(n,p)

设 \(X=X_{1}+X_{2}+\cdots+X_{n}, X_{i} \sim B(1, p)\)
\(E(X)=E\left(X_{1}+X_{2}+\cdots+X_{n}\right)=\sum_{i=1}^{n} E\left(X_{i}\right)=n p\)
\(D(X)=D\left(\sum_{i=1}^{n} X_{i}\right)=\sum_{i=1}^{n} D\left(X_{i}\right)=n p(1-p)\)

均匀分布 X~U(a,b)

\(X\) 的概率密度为

泊松分布 \(X \sim \pi(\lambda), P(\lambda)\)

\(P(X=k)=\frac{\lambda^{k}}{k !} e^{-\lambda}\)
\(E(X)=\sum_{k=0}^{\infty} k \frac{\lambda^{k}}{k !} e^{-\lambda}=0 \frac{\lambda^{0}}{0 !} e^{-\lambda}+\lambda e^{-\lambda} \sum_{k-1=0}^{\infty} \frac{\lambda^{k-1}}{(k-1) !}=\lambda e^{-\lambda} e^{\lambda}=\lambda\)
注释
\(e^{x}\) 在 \(x=0\) 处展开 \(e^{x}=1+x+x^{2} / 2 !+\ldots+x^{n} / n !+\ldots=\sum_{n=0}^{\infty} \frac{x^{n}}{n !}\)
同理 \(E[X(X-1)]=\sum_{k=0}^{\infty} k(k-1) \frac{\lambda^{k}}{k !} e^{-\lambda}=\lambda^{2}\)
\(E\left(X^{2}\right)=E(X(X-1)+X)=E[X(X-1)]+E(X)=\lambda^{2}+\lambda\)
\(D(X)=E\left(X^{2}\right)-E(X)^{2}=\lambda^{2}+\lambda-\lambda^{2}=\lambda\)

指数分布 \(X \sim E(\theta)\)

\(f(x)=\left\{\begin{array}{ll}\frac{1}{\theta} e^{-x / \theta}, & x>0 \\ 0 & x \leq 0\end{array},(\theta>0)\right.\)
(这是其中一种形式, 还有形式有 \(\lambda=1 / \theta\) 作为参数的等等 \()\)

\(E(X)=\int_{-\infty}^{\infty} x f(x) d x\)
\(=\int_{0}^{\infty} x \frac{1}{\theta} e^{-x / \theta} d x\)
\(=\left[\frac{1}{\theta} x(-\theta) e^{-x / \theta}-\int \frac{1}{\theta}(-\theta) e^{-x / \theta} d x\right]_{0}^{\infty}\)
\(=\left[-x e^{-x / \theta}-\theta e^{-x / \theta}\right]_{0}^{\infty}\)
\(=\theta\)
同理 \(E\left(X^{2}\right)=\int_{-\infty}^{\infty} x^{2} f(x) d x=2 \theta^{2}\)
\(D(X)=E\left(X^{2}\right)-E(X)^{2}=2 \theta^{2}-\theta^{2}=\theta^{2}\)

正态/高斯分布 \(X \sim N\left(\mu, \sigma^{2}\right)\)

设 \(Z=\frac{X-\mu}{\sigma} \therefore Z \sim N(0,1)\)
容易知道 \(E(Z)=0, D(Z)=1\) 由 \(X=\mu+\sigma Z\)

但是事实上用定义来做也能得出这个结果

常用结论

卡方分布 $ \chi^{2} \sim \chi^{2}(n)$

因为 \(E\left(X_{i}^{2}\right)=E\left(\left(X_{i}-0\right)^{2}\right)=D\left(X_{i}\right)=1,\) 则
\(E\left(\chi^{2}\right)=E\left(\sum_{i=1}^{n} X_{i}^{2}\right)=n\)
因为 \(D\left(X_{i}^{2}\right)=E\left(X_{i}^{4}\right)-E\left(X_{i}^{2}\right)^{2}=3-1=2\),所以
\(D\left(\chi^{2}\right)=D\left(\sum_{i=1}^{n} X_{i}^{2}\right)=2 n\)
注释

证明用 \(E(g(X))=\int_{-\infty}^{\infty} g(x) f(x) d x\) 方法

常用结论
若 \(X_{i} \sim N\left(\mu, \sigma^{2}\right)\) 则

1. \(\sum_{i=1}^{n}\left(\frac{X_{i}-\mu}{\sigma}\right)^{2} \sim \chi^{2}(n)\)
2. \(\frac{(n-1) S^{2}}{\sigma^{2}}=\sum_{i=1}^{n}\left(\frac{X_{i}-\bar{X}}{\sigma}\right)^{2} \sim \chi^{2}(n-1)\) (在1式情况下, 当 \(\mu\) 未知时, 用 \(\bar{X}\) 来代替 \(\left.\mu\right)\)
3. \(\bar{X}, \quad S^{2}\) 相互独立, 且 \(\frac{\bar{X}-\mu}{S / \sqrt{n}} \sim t(n-1)\) (在把 \(\bar{X}\) 标准化的时候, 当 \(\sigma\) 未知时, 用 \(S\) 来代替 \(\sigma,\) 指 \(t\) -分布 \()\)

t分布 \(T \sim t_{n}\)

μ=0，σ=1的标准正态分布（standard normaldistribution）,亦称u分布。根据中心极限定理，通过抽样模拟试验表明，在正态分布总体中以固定 n 抽取若干个样本时，样本均数的分布仍服从正态分布，即N（μ，σ）。所以，对样本均数的分布进行u变换，也可变换为标准正态分布N (0,1)。

由于在实际工作中，往往σ(总体方差)是未知的，常用s（样本方差）作为σ的估计值，为了与u变换区别，称为t变换，统计量t 值的分布称为t分布。

设随机变量 \(X \sim N(0,1), Y \sim \chi_{n}^{2},\) 且 \(X\) 和 \(Y\) 独立，则称

为自由为 \(n\) 的 \(t\) 变量，其分布称为由为 \(n\) 的 \(t\) 分布，记为 \(T \sim t_{n}\)

F分布 \(F \sim F_{m, n}\)

设随机变量 \(X \sim \chi_{m}^{2}, Y \sim \chi_{n}^{2},\) 且 \(X\) 和 \(Y\) 独立, 则称

为自由度分别是 \(m\) 和 \(n\) 的 \(F\) 变量，其分布称为自由度分 别是 \(m\) 和 \(n\) 的 \(F\) 分布，记为 \(F \sim F_{m, n}\).

抽样分布（1） 样本均值 \(\bar{X} \sim N\left(\mu, \sigma^{2} / n\right)\)

我们通常定义

注释
以下证明 \(\bar{X} \sim N\left(\mu, \sigma^{2} / n\right)\)
由定理 当 \(X \sim N\left(\mu_{x}, \sigma_{x}^{2}\right), Y \sim N\left(\mu_{y}, \sigma_{y}^{2}\right)\) 且 \(X, Y\) 独立时,则 \(a X+b Y\) (a,b为不全为0的系数)也遵循正态 分布, \(a X+b Y \sim N\left(a \mu_{x}+b \mu_{y}, a^{2} \sigma_{x}^{2}+b^{2} \sigma_{y}^{2}\right)\)
所以 \(\bar{X}=\frac{1}{n} \sum_{i=1}^{n} X_{i} \sim N\left(\frac{1}{n} \sum_{i=1}^{n} \mu_{i}, \frac{1}{n^{2}} \sum_{i=1}^{n} \sigma_{i}^{2}\right)=N\left(\mu, \sigma^{2} / n\right)\)

抽样分布（2） 样本方差 $$S^2$$

我们通常定义

\(E\left(S^{2}\right)=E\left[\frac{1}{n-1}\left(\left(\sum_{i=1}^{n} X_{i}^{2}\right)-n \bar{X}^{2}\right)\right]\)
\(=\frac{1}{n-1}\left[\left(\sum_{i=1}^{n} E\left(X_{i}^{2}\right)\right)-n E\left(\bar{X}^{2}\right)\right]\)
\(=\frac{1}{n-1}\left[\left(\sum_{i=1}^{n} \sigma^{2}+\mu^{2}\right)-n\left(\sigma^{2} / n+\mu^{2}\right)\right]\)
\(=\sigma^{2}\)
实际上在上面提到对 \(S^{2}\) 有 \(\frac{(n-1) S^{2}}{\sigma^{2}}=\sum_{i=1}^{n}\left(\frac{X_{i}-\bar{X}}{\sigma}\right)^{2} \sim \chi^{2}(n-1)\)
所以 \(2(n-1)=D\left(\frac{(n-1) S^{2}}{\sigma^{2}}\right)=\frac{(n-1)^{2}}{\sigma^{4}} D\left(S^{2}\right),\) 即
\(D\left(S^{2}\right)=\frac{2 \sigma^{4}}{n-1}\)

反过来想, 有 \(E\left(\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right)\)
\(=(n-1) E\left(\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right)\)
\(=(n-1) E\left(S^{2}\right)\)
\(=(n-1) \sigma^{2}\)

正态变量的幂的统计量

假设 \(X \sim N\left(\mu, \sigma^{2}\right)\)
仍然有 \(Z=\frac{X-\mu}{\sigma}\) 且 \(Z \sim N(0,1)\)
\(E\left(X^{2}\right)=D(X)+E(X)^{2}=\sigma^{2}+\mu^{2}\)
由于 \(E\left(Z^{3}\right)=\int_{-\infty}^{\infty} z^{3} \varphi(z) d z\),且 \(\varphi(z)\) 是偶函数, \(z^{3}\) 是奇函数
\(\int_{0}^{\infty} z^{3} \varphi(z) d z\)
\(=\int_{0}^{\infty} z^{3} \frac{1}{\sqrt{2 \pi}} e^{-z^{2} / 2} d z\)
\(=\int_{0}^{\infty} \frac{z^{3}}{2^{3 / 2}} \frac{2^{3 / 2}}{\sqrt{2 \pi}} \sqrt{2} e^{-z^{2} / 2} d \frac{z}{\sqrt{2}}\)
\(=\frac{2 \sqrt{2}}{\sqrt{\pi}} \int_{0}^{\infty} t^{3} e^{-t^{2}} d t,(t=z / \sqrt{2})\)
\(=\frac{2 \sqrt{2}}{\sqrt{\pi}} \frac{1}{2} \Gamma(2)=\frac{\sqrt{2}}{\sqrt{\pi}}\)
所以此积分收敛, \(E\left(Z^{3}\right)=0\) 同理可得 \(E\left(Z^{4}\right)=\frac{4}{\sqrt{\pi}} \Gamma\left(\frac{5}{2}\right)=3\) 等等

注释
事实上, 有 \(\int_{0}^{\infty} z^{n} \varphi(z) d z=\frac{\sqrt{2}^{n}}{2 \sqrt{\pi}} \Gamma\left(\frac{n+1}{2}\right)\left(n \in Z^{+}\right)\)
所以

其中 \(\Gamma(x)\) 是 \(\Gamma\) 函数。 \(\Gamma(a+1)=a \Gamma(a)=a !, \Gamma(1 / 2)=\sqrt{\pi}\)
另一方面

\(E\left(Z^{3}\right)=E\left(\frac{X-\mu}{\sigma}\right)^{3}=E\left(\frac{1}{\sigma^{3}}\left(X^{3}-3 \mu X^{2}+3 \mu^{2} X-\mu^{3}\right)\right)\)

可得 \(E\left(X^{3}\right)=3 \mu \sigma^{2}+\mu^{3}\)
以这种方法可以算出高次幕的期望, 进而根据 \(D\left(X^{n}\right)=E\left(X^{2 n}\right)-E\left(X^{n}\right)^{2}\) 可以算出高次幕的方差。