第8章 概率与统计参数估计——从样本推断总体一、参数估计要解决什么问题在前面我们已经知道总体 (X) 的分布形式已知但包含未知参数 (\theta)可能是一个数也可能是向量我们只有一组样本 (X_1,X_2,\dots,X_n)目标用样本去“猜”未知参数 (\theta)。这就是参数估计它是数理统计里最基础、最实用、工程上用得最多的内容。参数估计分为两大类点估计用一个数值去猜 (\theta)区间估计用一个区间去“套住” (\theta)并给出置信水平。二、点估计构造一个统计量去猜参数设总体含未知参数 (\theta)我们构造一个统计量[\hat{\theta} \hat{\theta}(X_1,X_2,\dots,X_n)]用 (\hat{\theta}) 作为 (\theta) 的估计值称为点估计。重点是怎么构造 (\hat{\theta})。下面讲两个最经典、最通用的方法。三、矩估计法最简单、最直观1. 思想样本矩 ≈ 总体矩令它们相等解出 (\theta)。2. 步骤计算总体的 (k) 阶原点矩[\mu_k E(X^k)]它一定是 (\theta) 的函数。用样本 (k) 阶原点矩代替[A_k \frac{1}{n}\sum_{i1}^n X_i^k]列方程[\mu_k A_k]解方程得到的解就是矩估计量。3. 常用结论直接用期望 (\mu) 的矩估计[\hat{\mu} \overline{X}]方差 (\sigma^2) 的矩估计[\hat{\sigma}^2 \frac{1}{n}\sum_{i1}^n (X_i-\overline{X})^2]优点简单、不用知道分布具体形式、好算。缺点精度一般没用到分布的全部信息。四、极大似然估计统计里最核心、最强大1. 思想已经发生的事情概率应该最大。我们选那个让“样本出现的概率最大”的 (\theta)当作 (\hat{\theta})。2. 似然函数离散型[L(\theta) \prod_{i1}^n P(X_ix_i;\theta)]连续型[L(\theta) \prod_{i1}^n f(x_i;\theta)]3. 对数似然为了好求导[\ln L(\theta) \sum_{i1}^n \ln f(x_i;\theta)]4. 求极大似然估计步骤写出 (L(\theta))取对数 (\ln L(\theta))对 (\theta) 求导或偏导令导数为 0[\frac{d}{d\theta}\ln L(\theta) 0]解方程得到 (\hat{\theta})。5. 优点利用了全部分布信息在一定条件下精度最高是机器学习、深度学习、AI 建模的核心工具。五、估计量的评价标准怎么判断好不好同一个参数可能有好几个估计量我们需要标准来选。1. 无偏性若[E(\hat{\theta}) \theta]称 (\hat{\theta}) 为无偏估计。意思平均来说你没猜偏。重要结论(\overline{X}) 是 (\mu) 的无偏估计(S^2 \frac{1}{n-1}\sum(X_i-\overline{X})^2) 是 (\sigma^2) 的无偏估计矩估计里的 (\frac{1}{n}\sum(X_i-\overline{X})^2) 是有偏的。2. 有效性设 (\hat{\theta}_1,\hat{\theta}_2) 都是无偏的若[D(\hat{\theta}_1) D(\hat{\theta}_2)]则 (\hat{\theta}_1) 更有效。意思波动更小更准。3. 一致性相合性当 (n\to\infty) 时[\hat{\theta} \stackrel{P}{\longrightarrow} \theta]称 (\hat{\theta}) 是相合估计。意思样本越多越接近真值。极大似然估计在很宽条件下都满足相合性。六、区间估计给参数一个“靠谱范围”点估计只给一个数但我们想知道我有多大把握参数真在这附近1. 置信区间定义设 (\theta) 是未知参数对给定的 (\alpha)通常 0.05找到两个统计量[\underline{\theta}(X_1,\dots,X_n),\quad \overline{\theta}(X_1,\dots,X_n)]使得[P\bigl(\underline{\theta} \theta \overline{\theta}\bigr) 1-\alpha]称 ((\underline{\theta},\overline{\theta})) 是 (\theta) 的置信水平为 (1-\alpha) 的置信区间。(1-\alpha)置信水平可信度(\alpha)显著性水平。2. 构造区间的核心套路枢轴量法找一个只含样本和 (\theta)、但分布已知的函数叫枢轴量利用分布的分位数写出概率不等式解出 (\theta)就得到区间。七、正态总体下的经典区间直接背、直接用设 (X_1,\dots,X_n\sim N(\mu,\sigma^2))。1. (\sigma^2) 已知估计 (\mu)枢轴量[U \frac{\overline{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1)]置信区间[\overline{X} \pm u_{\alpha/2}\frac{\sigma}{\sqrt{n}}]2. (\sigma^2) 未知估计 (\mu)枢轴量[T \frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1)]置信区间[\overline{X} \pm t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}]3. 估计 (\sigma^2)枢轴量[\frac{(n-1)S2}{\sigma2} \sim \chi^2(n-1)]置信区间[\left(\frac{(n-1)S2}{\chi2_{\alpha/2}(n-1)},;\frac{(n-1)S2}{\chi2_{1-\alpha/2}(n-1)}\right)]这三个是工程、科研、考试最常用的区间。八、本章总结本章是从数据到结论的关键一步点估计用样本构造函数猜参数矩估计简单通用精度一般极大似然估计统计与AI的核心精度最高无偏、有效、相合判断估计好坏的三大标准区间估计给出参数范围可信度更科学正态总体的三个置信区间是实际应用的主力。下一章我们进入统计决策第9章 概率与统计假设检验——科学判断与决策框架