概率论与数理统计(八)

参数估计

通过取样本，并用样本构造函数，达成估计分布函数参数的目的

矩估计法

本质：用样本的各阶矩代替总体的各阶矩，即取：

E ( X ) = X ‾ = 1 n∑ iX i E ( X 2 ) = 1 n∑ iX i 2 E(X)=\\overline{X}=\\dfrac{1}{n}\\sum_i X_i\\\\ E(X^2)=\\dfrac{1}{n}\\sum_iX_i^2 E(X)=X=n1​i∑​Xi​E(X2)=n1​i∑​Xi2​

极大似然估计法

本质：将使得样本 $A$ 发生概率最大的参数值作为估计值

1、写出总体概率/密度函数

2、构造似然函数 $L(\lambda )$

3、两边取 $\ln$

4、对 $\lambda$ 求导

点估计的优良性准则

一、无偏性： E( θ ^ )=θ E(\\hat{\\theta})=\\theta E(θ^)=θ

定理：总体为 $X$，且 $E(X)=\mu$， D(X)= σ 2 D(X)=\\sigma^2 D(X)=σ2，样本为 ( X 1 ,⋯   , X n ) (X_1,\\cdots,X_n) (X1​,⋯,Xn​)，那么有：

1、 X ‾ \\overline{X} X 是 $\mu$ 的无偏估计

2、样本方差 S 2 S^2 S2 是 σ 2 \\sigma^2 σ2 的无偏估计

3、取 μ ^ = C 1 X 1 +⋯+ C n X n \\hat{\\mu}=C_1X_1 + \\cdots + C_nX_n μ^​=C1​X1​+⋯+Cn​Xn​，若 C 1 +⋯+ C n =1 C_1+\\cdots + C_n=1 C1​+⋯+Cn​=1，则 μ ^ \\hat{\\mu} μ^​ 是 $\mu$ 的无偏估计

证明：

1 与 2：

已经在 上一份笔记 中证明过 E( X ‾ )=μ E(\\overline{X})=\\mu E(X)=μ 和 E( S 2 )= σ 2 E(S^2)=\\sigma^2 E(S2)=σ2

3：

E ( μ ^ ) = E ( C 1 X 1 + ⋯ + C n X n ) = E ( C 1 X 1 ) + ⋯ + E ( C n X n ) = C 1 E ( X 1 ) + ⋯ + C n E ( X n ) = ( C 1 + ⋯ + C n ) μ = μ \\begin{align*} E(\\hat{\\mu}) &= E(C_1X_1 + \\cdots + C_nX_n)\\\\ &=E(C_1X_1)+\\cdots+E(C_nX_n)\\\\ &=C_1E(X_1)+\\cdots+C_nE(X_n)\\\\ &=(C_1+\\cdots+C_n)\\mu\\\\ &=\\mu \\end{align*} E(μ^​)​=E(C1​X1​+⋯+Cn​Xn​)=E(C1​X1​)+⋯+E(Cn​Xn​)=C1​E(X1​)+⋯+Cn​E(Xn​)=(C1​+⋯+Cn​)μ=μ​

！注意： θ ^\\hat{\\theta} θ^ 是 $\theta$ 的无偏估计，但是 g ( θ ^ ) g(\\hat{\\theta}) g(θ^) 不一定是 $g(\theta )$ 的无偏估计
例如： S 2 S^2 S2 是 σ 2 \\sigma^2 σ2 的无偏估计，而 $S$ 不是 $\sigma$ 的无偏估计(性质)
该性质的证明：
D ( S ) = E ( S 2 ) − E ( S ) 2 = σ 2 − E ( S ) 2 ⇒ E ( S ) =σ 2 − D ( S ) ⩽ σ \\begin{align*} &D(S) = E(S^2)-E(S)^2\\\\ &=\\sigma^2-E(S)^2\\\\ &\\Rightarrow E(S)=\\sqrt{\\sigma^2-D(S)}\\leqslant\\sigma \\end{align*}​D(S)=E(S2)−E(S)2=σ2−E(S)2⇒E(S)=σ2−D(S) ​⩽σ​

二、有效性： D( θ 1 ^ )⩽D( θ 2 ^ ) D(\\hat{\\theta_1})\\leqslant D(\\hat{\\theta_2}) D(θ1​^​)⩽D(θ2​^​)

定理：总体为 $X$，且 $E(X)=\mu$， D(X)= σ 2 D(X)=\\sigma^2 D(X)=σ2，样本为 ( X 1 ,⋯   , X n ) (X_1,\\cdots,X_n) (X1​,⋯,Xn​)，若 a 1 +⋯+ a n =1 a_1+\\cdots+a_n=1 a1​+⋯+an​=1，则现有两种 $\mu$ 的估计： a 1 X 1 +⋯+ a n X n a_1X_1+\\cdots+a_nX_n a1​X1​+⋯+an​Xn​ 与 X ‾ \\overline{X} X，由有效性准则认为， X ‾ \\overline{X} X 更优

证明：

由 上一份笔记 知 D( X ‾ )= σ 2 n D(\\overline{X})=\\dfrac{\\sigma^2}{n} D(X)=nσ2​

那么有：

D ( θ ^ ) = D ( a 1 X 1 + ⋯ + a n X n ) = a 1 2 D ( X 1 ) + ⋯ + a n 2 D ( X n ) = σ 2 ( a 1 2 + ⋯ + a n 2 ) ⩾σ 2 n \\begin{align*} D(\\hat{\\theta})&=D(a_1X_1+\\cdots+a_nX_n)\\\\ &=a_1^2D(X_1)+\\cdots+a_n^2D(X_n)\\\\ &=\\sigma^2(a^2_1+\\cdots+a^2_n)\\\\ &\\geqslant \\dfrac{\\sigma^2}{n} \\end{align*} D(θ^)​=D(a1​X1​+⋯+an​Xn​)=a12​D(X1​)+⋯+an2​D(Xn​)=σ2(a12​+⋯+an2​)⩾nσ2​​

三、相合性(一致性)： lim ⁡n → + ∞ P(∣ θ ^ −θ∣<ε)=1 \\lim\\limits_{n\\to +\\infty}P(|\\hat{\\theta}-\\theta|<\\varepsilon)=1 n→+∞lim​P(∣θ^−θ∣<ε)=1

置信区间

区间估计时，区间长度 和 落在区间的概率 十分重要

若 P( θ 1 ⩽θ⩽ θ 2 )=1−α P(\\theta_1 \\leqslant \\theta \\leqslant \\theta_2)=1-\\alpha P(θ1​⩽θ⩽θ2​)=1−α，则 $1-\alpha$ 称为 置信度，而 [ θ 1 , θ 2 ] [\\theta_1,\\theta_2] [θ1​,θ2​] 则是估计区间

定义：

1、$I=I(T,\theta )$，其中 $\theta$ 是未知参数，$T$ 是已知的，随机变量 $I$ 的分布 $F$ 已知且其分布与 $\theta$ 无关，则将 $I$ 称为 枢轴变量

2、给定 $1-\alpha$，确定 $F$ 的上 α 2 \\dfrac{\\alpha}{2} 2α​ 分位数为 v α 2 v_{\\frac{\\alpha}{2}} v2α​​，上 1− α 2 1-\\dfrac{\\alpha}{2} 1−2α​ 为 v 1 − α 2 v_{1-\\frac{\\alpha}{2}} v1−2α​​，则：

P ( v α 2 ⩽ I ( T , θ ) ⩽ v 1 − α 2 ) = 1 − α P\\left(v_{\\frac{\\alpha}{2}}\\leqslant I(T,\\theta) \\leqslant v_{1-\\frac{\\alpha}{2}}\\right)=1-\\alpha P(v2α​​⩽I(T,θ)⩽v1−2α​​)=1−α

一个正态总体的均值和方差的区间估计

设 v= n ( X ‾ − μ ) σ ∼N(0,1) v=\\dfrac{\\sqrt{n}(\\overline{X}-\\mu)}{\\sigma}\\sim N(0,1) v=σn ​(X−μ)​∼N(0,1)

给定 $1-\alpha$，令 P(v> u α 2 )= α 2 P(v>u_{\\frac{\\alpha}{2}})=\\dfrac{\\alpha}{2} P(v>u2α​​)=2α​

1、 σ 2 \\sigma^2 σ2 已知，对 $\mu$ 的区间估计：

P ( − u α 2 ⩽n ( X ‾ − μ ) σ ⩽ u α 2 ) = 1 − α P ( − σ u α 2 n ⩽ X ‾ − μ ⩽ σ u α 2 n ) = 1 − α P ( X ‾ − σ u α 2 n ⩽ μ ⩽ X ‾ + σ u α 2 n ) = 1 − α \\begin{align*} &P\\left(-u_{\\frac{\\alpha}{2}}\\leqslant \\dfrac{\\sqrt{n}(\\overline{X}-\\mu)}{\\sigma} \\leqslant u_{\\frac{\\alpha}{2}}\\right)=1-\\alpha\\\\ &P\\left(-\\dfrac{\\sigma u_{\\frac{\\alpha}{2}}}{\\sqrt{n}}\\leqslant\\overline{X}-\\mu\\leqslant\\dfrac{\\sigma u_{\\frac{\\alpha}{2}}}{\\sqrt{n}}\\right)=1-\\alpha\\\\ &P\\left(\\overline{X}-\\dfrac{\\sigma u_{\\frac{\\alpha}{2}}}{\\sqrt{n}}\\leqslant\\mu\\leqslant\\overline{X}+\\dfrac{\\sigma u_{\\frac{\\alpha}{2}}}{\\sqrt{n}}\\right)=1-\\alpha \\end{align*} ​P(−u2α​​⩽σn ​(X−μ)​⩽u2α​​)=1−αP(−n ​σu2α​​​⩽X−μ⩽n ​σu2α​​​)=1−αP(X−n ​σu2α​​​⩽μ⩽X+n ​σu2α​​​)=1−α​

也就是说，有 $1-\alpha$ 的把握，认为 $\mu$ 在区间 [ X ‾ − σ u α 2 n , X ‾ + σ u α 2 n ] \\left[\\overline{X}-\\dfrac{\\sigma u_{\\frac{\\alpha}{2}}}{\\sqrt{n}}, \\overline{X}+\\dfrac{\\sigma u_{\\frac{\\alpha}{2}}}{\\sqrt{n}}\\right] [X−n ​σu2α​​​,X+n ​σu2α​​​] 中

2、 σ 2 \\sigma^2 σ2 未知，对 $\mu$ 的区间估计：

构造枢轴变量： T= n ( X ‾ − μ ) S ∼t(n−1) T=\\dfrac{\\sqrt{n}(\\overline{X}-\\mu)}{S}\\sim t(n-1) T=Sn ​(X−μ)​∼t(n−1)

P ( − t α 2 ( n − 1 ) ⩽n ( X ‾ − μ S ⩽ t α 2 ( n − 1 ) ) = 1 − α ⇒ P ( X ‾ − S n t α 2 ( n − 1 ) ⩽ μ ⩽ X ‾ + S n t α 2 ( n − 1 ) ) = 1 − α \\begin{align*} &P\\left(-t_{\\frac{\\alpha}{2}}(n-1)\\leqslant\\dfrac{\\sqrt{n}(\\overline{X}-\\mu}{S}\\leqslant t_{\\frac{\\alpha}{2}}(n-1)\\right)=1-\\alpha\\\\ &\\Rightarrow P\\left(\\overline{X}-\\dfrac{S}{\\sqrt{n}}t_{\\frac{\\alpha}{2}}(n-1) \\leqslant \\mu \\leqslant \\overline{X}+\\dfrac{S}{\\sqrt{n}}t_{\\frac{\\alpha}{2}}(n-1)\\right)=1-\\alpha \\end{align*} ​P(−t2α​​(n−1)⩽Sn ​(X−μ​⩽t2α​​(n−1))=1−α⇒P(X−n ​S​t2α​​(n−1)⩽μ⩽X+n ​S​t2α​​(n−1))=1−α​

也就是说，有 $1-\alpha$ 的把握，认为 $\mu$ 在区间 [ X ‾ − S n t α 2 (n−1), X ‾ + S n t α 2 (n−1)] \\left[\\overline{X}-\\dfrac{S}{\\sqrt{n}}t_{\\frac{\\alpha}{2}}(n-1), \\overline{X}+\\dfrac{S}{\\sqrt{n}}t_{\\frac{\\alpha}{2}}(n-1)\\right] [X−n ​S​t2α​​(n−1),X+n ​S​t2α​​(n−1)] 中

3、$\mu$ 已知，对 σ 2 \\sigma^2 σ2 的区间估计：

构造枢轴变量： χ 2 = 1 σ 2 ∑ i = 1 n ( X i −μ ) 2 ∼ χ 2 (n) \\chi^2=\\dfrac{1}{\\sigma^2}\\sum\\limits_{i=1}^n(X_i-\\mu)^2\\sim \\chi^2(n) χ2=σ21​i=1∑n​(Xi​−μ)2∼χ2(n)，给定 $1-\alpha$、 χ 1 − α 22 (n) \\chi^2_{1-\\frac{\\alpha}{2}}(n) χ1−2α​2​(n) 及 χ α 2 2 (n) \\chi^2_{\\frac{\\alpha}{2}}(n) χ2α​2​(n)

注意：之所以不继续使用正态分布的枢轴变量，是因为 $\sigma$ 在开平方后不是无偏估计

P ( χ 1 − α 2 2 ( n ) ⩽ 1 σ 2 ∑ i = 1 n ( X i − μ ) 2 ⩽ χ α 2 2 ( n ) ) = 1 − α ⇒ ∑ i = 1 n ( X i − μ ) 2 χ α 2 2 ( n ) ⩽ σ 2 ⩽ ∑ i = 1 n ( X i − μ ) 2 χ 1 − α 2 2 ( n ) \\begin{align*} &P\\left(\\chi^2_{1-\\frac{\\alpha}{2}}(n)\\leqslant\\dfrac{1}{\\sigma^2}\\sum_{i=1}^n(X_i-\\mu)^2\\leqslant\\chi^2_{\\frac{\\alpha}{2}}(n)\\right)=1-\\alpha\\\\ &\\Rightarrow \\dfrac{\\sum_{i=1}^n(X_i-\\mu)^2}{\\chi^2_{\\frac{\\alpha}{2}}(n)}\\leqslant\\sigma^2\\leqslant\\dfrac{\\sum_{i=1}^n(X_i-\\mu)^2}{\\chi^2_{1-\\frac{\\alpha}{2}}(n)} \\end{align*} ​P(χ1−2α​2​(n)⩽σ21​i=1∑n​(Xi​−μ)2⩽χ2α​2​(n))=1−α⇒χ2α​2​(n)∑i=1n​(Xi​−μ)2​⩽σ2⩽χ1−2α​2​(n)∑i=1n​(Xi​−μ)2​​

也就是说，有 $1-\alpha$ 的把握，认为 σ 2 \\sigma^2 σ2 在区间 [ ∑ i = 1 n ( X i − μ ) 2 χ α 2 2 ( n ) , ∑ i = 1 n ( X i − μ ) 2 χ 1 − α 2 2 ( n ) ] \\left[\\dfrac{\\sum_{i=1}^n(X_i-\\mu)^2}{\\chi^2_{\\frac{\\alpha}{2}}(n)},\\dfrac{\\sum_{i=1}^n(X_i-\\mu)^2}{\\chi^2_{1-\\frac{\\alpha}{2}}(n)}\\right] [χ2α​2​(n)∑i=1n​(Xi​−μ)2​,χ1−2α​2​(n)∑i=1n​(Xi​−μ)2​] 中

4、$\mu$ 未知，对 σ 2 \\sigma^2 σ2 的区间估计：

构造枢轴变量： χ 2 = ( n − 1 ) S 2 σ 2 ∼ χ 2 (n−1) \\chi^2=\\dfrac{(n-1)S^2}{\\sigma^2}\\sim \\chi^2(n-1) χ2=σ2(n−1)S2​∼χ2(n−1)，给定 $1-\alpha$、 χ 1 − α 22 (n−1) \\chi^2_{1-\\frac{\\alpha}{2}}(n-1) χ1−2α​2​(n−1) 及 χ α 2 2 (n−1) \\chi^2_{\\frac{\\alpha}{2}}(n-1) χ2α​2​(n−1)

P ( χ 1 − α 2 2 ( n − 1 ) ⩽ ( n − 1 ) S 2 σ 2 ⩽ χ α 2 2 ( n − 1 ) ) = 1 − α ⇒ P ( ( n − 1 ) S 2 χ α 22 ( n − 1 ) ⩽ σ 2 ⩽ ( n − 1 ) S 2 χ 1 − α 2 2 ( n − 1 ) ) = 1 − α \\begin{align*} &P\\left(\\chi^2_{1-\\frac{\\alpha}{2}}(n-1)\\leqslant\\dfrac{(n-1)S^2}{\\sigma^2}\\leqslant\\chi^2_{\\frac{\\alpha}{2}}(n-1)\\right)=1-\\alpha\\\\ &\\Rightarrow P\\left(\\dfrac{(n-1)S^2}{\\chi^2_{\\frac{\\alpha}{2}}(n-1)}\\leqslant\\sigma^2\\leqslant\\dfrac{(n-1)S^2}{\\chi^2_{1-\\frac{\\alpha}{2}}(n-1)}\\right)=1-\\alpha \\end{align*} ​P(χ1−2α​2​(n−1)⩽σ2(n−1)S2​⩽χ2α​2​(n−1))=1−α⇒P(χ2α​2​(n−1)(n−1)S2​⩽σ2⩽χ1−2α​2​(n−1)(n−1)S2​)=1−α​

也就是说，有 $1-\alpha$ 的把握，认为 σ 2 \\sigma^2 σ2 在区间 [ ( n − 1 ) S 2 χ α 2 2 ( n − 1 ) , ( n − 1 ) S 2 χ 1 − α 2 2 ( n − 1 ) ] \\left[\\dfrac{(n-1)S^2}{\\chi^2_{\\frac{\\alpha}{2}}(n-1)},\\dfrac{(n-1)S^2}{\\chi^2_{1-\\frac{\\alpha}{2}}(n-1)}\\right] [χ2α​2​(n−1)(n−1)S2​,χ1−2α​2​(n−1)(n−1)S2​] 中

实验室仪器设备