高斯分布

一维高斯分布：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(x-\mu {)}^2/2{\sigma }^2}$
多维高斯分布： p ( X ; μ , Σ ) = 1 ( 2 π ) ( n / 2 ) ∣ Σ ∣ 1 / 2 exp ⁡ { − 1 2 ( X − μ ) T Σ − 1 ( X − μ ) } p(X;\mu,\Sigma)=\frac{1}{(2\pi)^{(n/2)}|\Sigma|^{1/2}}\exp\{-\frac{1}{2}(X-\mu)^T\Sigma^{-1}(X-\mu)\} p(X;μ,Σ)=(2π)(n/2)∣Σ∣1/21​exp{−21​(X−μ)TΣ−1(X−μ)}

贝叶斯公式

类条件概率：$P(X|Y)$
先验概率：$P(Y)$，一般会给定$Y\sim N(\mu ,\Sigma )$
后验概率：$P(Y=i|X)=\frac{P(X|Y=i)P(Y=i)}{P(X)}=\frac{P(X|Y=i)P(Y=i)}{\sum P(X|Y=i)P(Y=i)}=\frac{{\pi }_i{P}_i(X)}{\sum {\pi }_i{P}_i(X)}=q_i(X)$
贝叶斯测试：$q_i(x)\lessgtr q_j(x)$
似然率：$l(X)=\frac{q_i(X)}{q_j(X)}$
区分方程：$h(x)=\ln \frac{q_i(X)}{q_j(X)}\lessgtr \ln \frac{{\pi }_j}{{\pi }_i}$

例：假设$Y=1$和$Y=2$两类，$Y_1\sim N({\mu }_1,\Sigma ),Y_2\sim N({\mu }_2,\Sigma )$贝叶斯分类器分出来，分界线应该是一条直线
ln ⁡ p 1 π 1 p 2 π 2 = ln ⁡ π 1 exp ⁡ { − 1 2 ( X − μ 1 ) T Σ − 1 ( X − μ 1 ) } π 2 exp ⁡ { − 1 2 ( X − μ 2 ) T Σ − 1 ( X − μ 2 ) = − 1 2 ( X − μ 1 ) T Σ − 1 ( X − μ 1 ) + 1 2 ( X − μ 2 ) T Σ − 1 ( X − μ 2 ) + ln ⁡ π 1 π 2 = 1 2 ( − X T Σ − 1 X + μ 1 T Σ − 1 X + X T Σ − 1 μ 1 − μ 1 T Σ − 1 μ 1 + X T Σ − 1 X − μ 2 T Σ − 1 X − X T Σ − 1 μ 2 + μ 2 T Σ − 1 μ 2 ) + ln ⁡ π 1 π 2 = ( μ 1 T Σ − 1 − μ 2 T Σ − 1 ) X + 1 2 ( μ 1 T Σ − 1 μ 1 − μ 2 T Σ − 1 μ 2 ) + ln ⁡ π 1 π 2 = 0 \ln\frac{p_1\pi_1}{p_2\pi_2}=\ln\frac{\pi_1\exp\{-\frac{1}{2}(X-\mu_1)^T\Sigma^{-1}(X-\mu_1)\}}{\pi_2\exp\{-\frac{1}{2}(X-\mu_2)^T\Sigma^{-1}(X-\mu_2)}\\=-\frac{1}{2}(X-\mu_1)^T\Sigma^{-1}(X-\mu_1)+\frac{1}{2}(X-\mu_2)^T\Sigma^{-1}(X-\mu_2)+\ln\frac{\pi_1}{\pi_2}\\=\frac{1}{2}(-X^T\Sigma^{-1}X+\mu_1^T\Sigma^{-1}X+X^T\Sigma^{-1}\mu_1-\mu_1^T\Sigma^{-1}\mu_1+X^T\Sigma^{-1}X-\mu_2^T\Sigma^{-1}X-X^T\Sigma^{-1}\mu_2+\mu_2^T\Sigma^{-1}\mu_2)+\ln\frac{\pi_1}{\pi_2}\\=(\mu_1^T\Sigma^{-1}-\mu_2^T\Sigma^{-1})X+\frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1-\mu_2^T\Sigma^{-1}\mu_2)+\ln\frac{\pi_1}{\pi_2}=0 lnp2​π2​p1​π1​​=lnπ2​exp{−21​(X−μ2​)TΣ−1(X−μ2​)π1​exp{−21​(X−μ1​)TΣ−1(X−μ1​)}​=−21​(X−μ1​)TΣ−1(X−μ1​)+21​(X−μ2​)TΣ−1(X−μ2​)+lnπ2​π1​​=21​(−XTΣ−1X+μ1T​Σ−1X+XTΣ−1μ1​−μ1T​Σ−1μ1​+XTΣ−1X−μ2T​Σ−1X−XTΣ−1μ2​+μ2T​Σ−1μ2​)+lnπ2​π1​​=(μ1T​Σ−1−μ2T​Σ−1)X+21​(μ1T​Σ−1μ1​−μ2T​Σ−1μ2​)+lnπ2​π1​​=0
计算完发现这就是$w^{T}X+b=0$的形式

贝叶斯估计的错误率

$r(X)=\min [q_1(x),\dots ,q_n(x)]$
当是一个二分类问题的时候，$r(X)=\min [q_1(x),q_2(x)]$
$\epsilon =E[r(X)]=\int r(x)p(x)dx=\int \min [q_1(x){\pi }_1,q_2(x){\pi }_2]dx={\pi }_1{\epsilon }_1+{\pi }_2{\epsilon }_2$
并且能够证明，贝叶斯估计的误差是最小的（取两个高斯分布的交点），当如果两个高斯分布没有交点时，可以通过给两个高斯分布乘以某一个系数$a,b$，然后再计算

其中${\epsilon }_1=S(A),\epsilon =S(B+C)$

产生式学习，判别式学习

$h(x)=-\ln q_1(X)+\ln q_2(X)\lessgtr \ln \frac{{\pi }_1}{{\pi }_2}$中，已知$\ln \frac{{\pi }_1}{{\pi }_2}$去寻找$g(X_1,X_2)$叫做带参数的产生式学习，不知道$\ln \frac{{\pi }_1}{{\pi }_2}$去寻找$g(X_1,X_2)$叫做没有参数的产生式学习；判别式学习就是去直接寻找$g(X_1,X_2)$

KNN（K邻近算法）

当一个预测一个样本时，我们把其嵌入我们的$N$维空间中，然后统计与它最相邻的$k$个点，并且按照一定的权重去处理这些距离，最后我们得到的距离最小的那个类就是这个样本的类别。
$\hat{p}(X)=\frac{1}{N}\frac{k-1}{V(X)}$
$h(x)=-\ln \frac{p_1(X)}{p_2(X)}=-\ln \frac{(k_1-1)N_2{V}_2(X)}{(k_2-1)N_1{V}_1(X)}\lessgtr \ln \frac{{\pi }_1}{{\pi }_2}$，其中$K_1+K_2=K,V_1=V_2,\frac{N_1}{N_2}=\frac{{\pi }_2}{{\pi }_1}$，那么$h(x)=-\ln \frac{k_1-1}{k_2-1}$，就只跟数量有关了
$$

距离度量

$L_1$范数：$|x-x^{\prime }|=\sum _{i=1}^n|x_i-x^{\prime }|$
$L_{\infty }$范数：$\max |x-x^{\prime }|$
欧氏距离：$D(x,x^{\prime })=\sqrt{\sum {\sigma }_i^2(x_i-x_i^{\prime }{)}^2}=\sqrt{(x-x^{\prime }{)}^T{\Sigma }^{-1}(x-x^{\prime })}$
马氏距离：当欧氏距离的$\Sigma$满且对称
角度：$\cos (X_1,X_2)=\frac{X_1^T{X}_2}{|X_1||X_2|}$

kd树