计量经济学-简单的一元线性回归模型之一
一元回归模型
回归分析和相关分析之间的差别
相关分析研究的是变量之间的线性相关性，而回归分析要研究的是解释变量和被解释变量之间的平均关系。相关分析中，变量都是随机变量；而回归分析中，解释变量是确定的，被解释变量是随机变量。
1.简单的一元线性回归模型
Y = β 0 + β 1 X + μ {Y = \beta_{0}+\beta_{1}X+\mu} Y=β0+β1X+μ
其中 Y {Y} Y 代表我们的因变量， X {X} X表示我们的解释变量， μ {\mu} μ表示随机扰动项
其中 X X X是我们设定的解释 Y Y Y的变量，还有一部分没有解释的信息在随机扰动项 μ \mu μ当中，但是我们是无法测得的，这也是目前很多人尝试解决的问题。
2.一元回归模型的基本假设
-
同方差假设：对于给定的每一个 X i {X_{i}}Xi， μ {\mu}μ的方差都等于某一个常数
-
零均值假设：即在给定解释变量的情况下，随机扰动项的均值为0
-
无自相关性假设：在给定的 X i X_{i}Xi的情况下， cov( μ i , μ j )=0 cov(\mu_{i},\mu_{j})=0cov(μi,μj)=0
-
正态性假设:随机扰动项 μ i \mu_{i}μi满足均值为0，方差为一个常数
-
与x无相关性：随机扰动项 μ i \mu_{i}μi与解释变量 X i X_{i}Xi之间不相关，即 Cov( X i , μ i )=0 Cov(X_i,\mu_i)=0Cov(Xi,μi)=0
3.模型参数的估计
对于简单线性回归而言，常用的参数估计方法为简单最小二乘法和极大似然估计法
- 简单最小二乘法（OLS）：简单最小二乘法是思想是让残差平方和 Σ e i 2 \Sigma e_{i}^2Σei2最小,即： minΣ( Y i − Y i^) 2 =minΣ( Y i − β ^1 − β ^2X i) 2 {min\Sigma (Y_i-\hat{Y_i})^2=min\Sigma(Y_i-\hat\beta_1-\hat\beta_2 X_i)^2}minΣ(Yi−Yi^)2=minΣ(Yi−β^1−β^2Xi)2
根据微积分的相关知识，将上述式子分别对 β1 ,β2 \beta_{1},\beta_{2} β1,β2求偏导，使其为0，得到如下方程组：
ΣYi = n β ^ 1 + β ^ 2 ΣXi \Sigma Y_{i}=n\hat\beta_1+\hat\beta_2\Sigma X_i ΣYi=nβ^1+β^2ΣXi
ΣXi Yi = β ^ 1 ΣXi + β ^ 2 ΣXi2 \Sigma X_i Y_{i}=\hat\beta_1\Sigma X_i+\hat\beta_2\Sigma X_i^2 ΣXiYi=β^1ΣXi+β^2ΣXi2
上述方程组又称正规方程组，可以得到 β 1 , β 2 \beta_1,\beta_2 β1,β2的估计表达式，如果令 x i = X i − X ˉ x_i=X_i-\bar X xi=Xi−Xˉ y i = Y i − Y ˉ y_i=Y_i-\bar {Y} yi=Yi−Yˉ,则其参数估计表达式为:
β ^ 2 = Σ x i y i Σ x i 2 \hat\beta_2=\frac {\Sigma x_iy_i }{\Sigma x_i^2} β^2=Σxi2Σxiyi
β ^ 1 =Yˉ − β ^ 2 Xˉ \hat\beta_1 = \bar{Y}-\hat\beta_2\bar{X} β^1=Yˉ−β^2Xˉ
- 极大似然估计法（MLE）：极大似然估计的思想是让估计值等于实际值的概率最大，由之前的基本假设可得 Yi Y_i Yi服从正态分布，因此可以写出它们的概率密度函数，再由各个 Yi Y_i Yi相互独立，则他们的联合概率密度函数等于其每个概率密度函数的连乘积，即为似然函数，再对似然函数取对数求极值即可，后面的求解过程和简单最小二乘估计一样。