正态分布

Tags: #Statistics #Math

概率密度函数

正态分布, 概率密度函数:

$$f(x)=\frac{1}{\sigma \sqrt{2 \pi}} e^{\Large -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^{2}}$$

or

$$f(x)=\frac{1}{\sigma \sqrt{2 \pi}} \exp\left(-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^{2}\right)$$

重要性质

• Mean $(\mu)$ and standard deviation $(\sigma)$

$$\begin{aligned} &\mu=E(X)=\int_{-\infty}^{\infty} x p(x) d x \\ &\sigma^{2}=E\left\{(X-\mu)^{2}\right\}=\int_{-\infty}^{\infty}(x-\mu)^{2} p(x) d x \end{aligned}$$

• Probability within any particular number of standard deviations of $\mu$

$$\begin{aligned} p\{\mu-k \sigma \leq x \leq \mu+k \sigma\} &=\int_{\mu-k \sigma}^{\mu+k \sigma} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left[-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right] d x \\ &=\frac{1}{\sqrt{2 \pi}} \int_{-k}^{k} \exp \left[-\frac{y^{2}}{2}\right] d y \end{aligned}$$

记忆公式

• 注意 $\sigma$在根号外面
• 指数是负的( $x=\mu$的时候等于0, 同时取得最大值)

与拉普拉斯分布的联系

• Look at the formula for the PDF in the infobox – it’s just the Gaussian with $|\boldsymbol{x}-\boldsymbol{\mu}|$ instead of $(\boldsymbol{x}-\boldsymbol{\mu})^{2}$)^2

• 拉普拉斯分布的概率密度函数让我们联想到正态分布，但是，正态分布是用相对于 μ 平均值的差的平方来表示，而拉普拉斯概率密度用相对于平均值的差的绝对值 来表示。因此，拉普拉斯分布的尾部比正态分布更加平坦。^1

Higher Dimensions

$$\begin{aligned} &p\{x\}=\frac{1}{(\sqrt{2 \pi})^{n / 2}|C|^{1 / 2}} \exp \left[-\frac{1}{2}(x-\mu)^{T} C^{-1}(x-\mu)\right] \\ &x=\left[\begin{array}{c} x_{1} \\ \cdots \\ x_{n} \end{array}\right] \quad \mu=\left[\begin{array}{c} \mu_{1} \\ \cdots \\ \mu_{n} \end{array}\right] \quad C=\left[\begin{array}{ccc} \sigma_{11}^{2} & \ldots & \sigma_{1 n}^{2} \\ \cdots & & \ldots \\ \sigma_{m 1}^{2} & \ldots & \sigma_{m n}^{2} \end{array}\right] \end{aligned}$$