分布式调度 微信小程序实战教程 cocoa jq绑定click事件 jquery绑定事件的方法 arduino程序 bentley软件介绍 git显示所有远程分支 mysql新增用户和权限 mysql函数返回结果集 表白网页源码 java时间戳转换成时间 java的基本类型 java定义变量 java中scanner用法 java文件读取 java网络编程 xp系统修复 运行时错误1004 navicat注册机 什么软件买电影票便宜 瑞兹技能 任意屏官网 威纶通触摸屏编程软件 mathcad unlocker下载 一键清除锁屏密码 qq浏览器手机 lol游戏环境异常 winrar无广告版 pr时间轴不见了 输入法修复 黑市商人在哪 ps文字描边 php苹果动态锁屏 罗技鼠标怎么调灵敏度 ppt怎么删除文本框 文字方向怎么设置 400报错 ppt怎么画虚线
当前位置: 首页 > 学习教程  > 编程语言

Regression Analysis

2020/8/31 14:13:13 文章标签:

条件概率分布

大写字母表示随机变了或者随机向量,小结字母代表随机变量的取值。
边缘概率分布为:
fX(x)=f(x,y)dyf_X(x)=\int_{-\infty}^\infty f(x,y)dy
条件概率分布为:
fYX(yx)=f(x,y)fX(x)f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}
它表示了Y是怎样取决于X的,换句话说,它表示用X对Y的预测能力。
条件均值:
E(Yx)=E(YX=x)=yf(yx)dyE(Y|x)=E(Y|X=x)=\int yf(y|x)dy
条件方差:
Var(Yx)=E{[YE(Yx)]2x}=E(Y2x)[E(Yx)]2Var(Y|x)=E\{[Y-E(Y|x)]^2|x\}\\=E(Y^2|x)-[E(Y|x)]^2
条件分位数(Quantile):
FY(QY(αX)X=x))=αQY(αX)=FY1(αX=x)F_Y(Q_Y(\alpha|X)|X=x))=\alpha\\ Q_Y(\alpha|X)=F_Y^{-1}(\alpha|X=x)
α=0.5\alpha=0.5时,QY(0.5x)Q_Y(0.5|x)是中位数。

回归分析

E(YX)E(Y|X)表示Y对X的回归方程.
迭代期望定律:
E[E(UX)]=E(Y)EXE[G(X,Y)X]=E[G(X,Y)]E[E(U|X)]=E(Y) \\E_X{E[G(X,Y)|X]}=E[G(X,Y)]
Tower Property:
E(YX1)=E[E(YX1,X2)X1]E(Y|X_1)=E[E(Y|X_1,X_2)|X_1]
条件均值
E(εX)=0E(\varepsilon|X)=0
意味着
E(ε)=0E(Xε)=0E(εh(X))=0Cov(X,ε)=0Cov(ε,h(X))=0E(\varepsilon)=0\\ E(X\varepsilon)=0\\ E(\varepsilon h(X))=0\\Cov(X,\varepsilon)=0\\Cov(\varepsilon,h(X))=0

线性回归模型

E[YX]=argmin(gF)E[Yg(X)]2E[Y|X]=argmin_{(g\in F)} \quad E[Y-g(X)]^2
其中F={g():RKRg2(x)fX(x)dx<}F=\{g():R^K\rightarrow R|\int g^2(x)f_X(x)dx<\infty\}
线性回归模型:
Y=Xβ+u,βRKY=X'\beta+u,\beta\in R^K

经典线性回归

假设我们有一组的随机样本{Zt}t=1n\{Z_t\}^n_{t=1}Zt=(Yt,Xt)Z_t=(Y_t,X_t')',YtY_t是一个标量,XtX_t是一个(k+1)1(k+1)*1维向量。
经典假设:
线性:Yt=Xtβ0+εt\text{线性:}Y_t=X_t' \beta^0+\varepsilon _t严格外生:E(εtX)=E(εtX1,...,Xn)=0\text{严格外生:}E(\varepsilon_t|X)=E(\varepsilon_t|X_1,...,X_n)=0 非奇异:XX=XtXt非奇异λmin(XX) \text{非奇异:}X'X=\sum X_tX_t'\text{非奇异},\lambda_{min}(X'X)\rightarrow\infty球面误差方差:E(εt2X)=σ2,E(εtεsX)=0\text{球面误差方差:}E(\varepsilon_t^2|X)=\sigma^2,E(\varepsilon_t\varepsilon_s|X)=0
定义均方误差(SSR):
SSR(β)=(YXβ)(YXβ)=(YtXtβ)2SSR(\beta)=(Y-X\beta)'(Y-X\beta)=\sum (Y_t-X_t'\beta)^2
那么普通最小二乘法的估计量为
β^=argminβSSR(β)\hat \beta=argmin_{\beta} \quad SSR(\beta)
可以证明
β^=(XX)1XY=(1nXtXt)11nXtYtXe=0β^β0=(XX)1Xε\hat \beta=(X'X)^{-1}X'Y=(\frac{1}{n}\sum X_t'X_t)^{-1}\frac{1}{n}\sum X_t'Y_t \\ X'e=0\\\hat \beta-\\\beta^0=(X'X)^{-1}X'\varepsilon
定义 P=X(XX)1X,M=IPP=X(X'X)^{-1}X',M=I-P,他们是对称(symmetric)且幂等(idempotent)的,而且
PX=X,MX=0PX=X,MX=0
非中心化的R2R^2:
Ruc=Y^Y^YY=1eeYYR_{uc}=\frac{\hat Y'\hat Y}{Y'Y}=1-\frac{e'e}{Y'Y}
中心化R2R^2(决定系数):
R2=1et2(YtY)2R^2=1-\frac{\sum e_t^2}{\sum (Y_t-\overline Y)^2}
调整的R2R^2
R2=1et2/(nK)(YtY)2/(n1)\overline R^2 =1-\frac{\sum e_t^2/(n-K)}{\sum(Y_t-\overline Y)^2/(n-1)}
可以证明
R2=1n1nK(1R2)\overline R^2=1-\frac{n-1}{n-K}(1-R^2)
OLS估计量性质:
方差缩小:
Var(β^X)=σ2(XX)1Var(\hat \beta|X)=\sigma^2 (X'X)^{-1}
给定X,ε\varepsilon的分布:
f(εX)=1(2πσ2)n/2exp(εε2σ2)=f(ε)f(\varepsilon|X)=\frac{1}{(2\pi \sigma^2)^{n/2}}exp(-\frac{\varepsilon'\varepsilon}{2\sigma^2})=f(\varepsilon)

F检验

β~\tilde \beta是原假设H0H_0成立时有约束模型的OLS估计量,即
β~=argmin(YXβ)(YXβ)\tilde \beta=argmin(Y-X\beta)'(Y-X\beta)
这里约束条件为Rβ=rR\beta=r.首先构建拉格朗日函数
L(β,λ)=(YXβ)(YXβ)+2λ(rRβ)L(\beta,\lambda)=(Y-X\beta)'(Y-X\beta)+2\lambda'(r-R\beta)
其中λ\lambda是一个J*1的向量,称为拉格朗日乘子向量。拉格朗日函数的一阶条件为
2X(YXβ~)2Rλ~=0rRβ~=0-2X'(Y-X\tilde\beta)-2R'\tilde \lambda=0\\ r-R\tilde \beta=0
另一方面,无约束回归模型的OLS估计量是β^=(XX)1XY\hat \beta=(X'X)^{-1}X'Y,结合上述第一个方程,可得
(β^β~)=-(\hat \beta-\tilde \beta)=


本文链接: http://www.dtmao.cc/news_show_150204.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?