条件概率分布

大写字母表示随机变了或者随机向量，小结字母代表随机变量的取值。
边缘概率分布为：
$f_X(x)=\int_{-\infty}^\infty f(x,y)dy$
条件概率分布为：
$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$
它表示了Y是怎样取决于X的，换句话说，它表示用X对Y的预测能力。
条件均值：
$E(Y|x)=E(Y|X=x)=\int yf(y|x)dy$
条件方差：
$Var(Y|x)=E\{[Y-E(Y|x)]^2|x\}\\=E(Y^2|x)-[E(Y|x)]^2$
条件分位数(Quantile):
$F_Y(Q_Y(\alpha|X)|X=x))=\alpha\\ Q_Y(\alpha|X)=F_Y^{-1}(\alpha|X=x)$
当$\alpha=0.5$时，$Q_Y(0.5|x)$是中位数。

回归分析

$E(Y|X)$表示Y对X的回归方程.
迭代期望定律：
$E[E(U|X)]=E(Y) \\E_X{E[G(X,Y)|X]}=E[G(X,Y)]$
Tower Property:
$E(Y|X_1)=E[E(Y|X_1,X_2)|X_1]$
条件均值
$E(\varepsilon|X)=0$
意味着
$E(\varepsilon)=0\\ E(X\varepsilon)=0\\ E(\varepsilon h(X))=0\\Cov(X,\varepsilon)=0\\Cov(\varepsilon,h(X))=0$

线性回归模型

$E[Y|X]=argmin_{(g\in F)} \quad E[Y-g(X)]^2$
其中$F=\{g():R^K\rightarrow R|\int g^2(x)f_X(x)dx<\infty\}$
线性回归模型：
$Y=X'\beta+u,\beta\in R^K$

经典线性回归

假设我们有一组的随机样本$\{Z_t\}^n_{t=1}$，$Z_t=(Y_t,X_t')'$,$Y_t$是一个标量，$X_t$是一个$(k+1)*1$维向量。
经典假设：
$\text{线性：}Y_t=X_t' \beta^0+\varepsilon _t$$\text{严格外生：}E(\varepsilon_t|X)=E(\varepsilon_t|X_1,...,X_n)=0$$\text{非奇异:}X'X=\sum X_tX_t'\text{非奇异}，\lambda_{min}(X'X)\rightarrow\infty$$\text{球面误差方差:}E(\varepsilon_t^2|X)=\sigma^2,E(\varepsilon_t\varepsilon_s|X)=0$
定义均方误差(SSR):
$SSR(\beta)=(Y-X\beta)'(Y-X\beta)=\sum (Y_t-X_t'\beta)^2$
那么普通最小二乘法的估计量为
$\hat \beta=argmin_{\beta} \quad SSR(\beta)$
可以证明
$\hat \beta=(X'X)^{-1}X'Y=(\frac{1}{n}\sum X_t'X_t)^{-1}\frac{1}{n}\sum X_t'Y_t \\ X'e=0\\\hat \beta-\\\beta^0=(X'X)^{-1}X'\varepsilon$
定义 $P=X(X'X)^{-1}X',M=I-P$,他们是对称（symmetric）且幂等(idempotent)的，而且
$PX=X,MX=0$
非中心化的$R^2$:
$R_{uc}=\frac{\hat Y'\hat Y}{Y'Y}=1-\frac{e'e}{Y'Y}$
中心化$R^2$（决定系数）：
$R^2=1-\frac{\sum e_t^2}{\sum (Y_t-\overline Y)^2}$
调整的$R^2$
$\overline R^2 =1-\frac{\sum e_t^2/(n-K)}{\sum(Y_t-\overline Y)^2/(n-1)}$
可以证明
$\overline R^2=1-\frac{n-1}{n-K}(1-R^2)$
OLS估计量性质：
方差缩小：
$Var(\hat \beta|X)=\sigma^2 (X'X)^{-1}$
给定X,$\varepsilon$的分布：
$f(\varepsilon|X)=\frac{1}{(2\pi \sigma^2)^{n/2}}exp(-\frac{\varepsilon'\varepsilon}{2\sigma^2})=f(\varepsilon)$

F检验

$\tilde \beta$是原假设$H_0$成立时有约束模型的OLS估计量，即
$\tilde \beta=argmin(Y-X\beta)'(Y-X\beta)$
这里约束条件为$R\beta=r$.首先构建拉格朗日函数
$L(\beta,\lambda)=(Y-X\beta)'(Y-X\beta)+2\lambda'(r-R\beta)$
其中$\lambda$是一个J*1的向量，称为拉格朗日乘子向量。拉格朗日函数的一阶条件为
$-2X'(Y-X\tilde\beta)-2R'\tilde \lambda=0\\ r-R\tilde \beta=0$
另一方面，无约束回归模型的OLS估计量是$\hat \beta=(X'X)^{-1}X'Y$，结合上述第一个方程，可得
$-(\hat \beta-\tilde \beta)=$