@TOC

简介

Hello！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
唯有努力💪
 
本文仅记录自己感兴趣的内容

Abstract

当潜在的推理方法不一定是最大似然时，我们提出了充分性原则的广义概念。

该概念基于鲁棒推理问题中出现的某些广义似然函数。

特别是，在本文中，我们考虑了 Basu 等人。估计[1]。我们确定了概率分布的特定形式，这些概率分布具有关于此估计的固定数量的充分统计量。

这些分布本质上是幂律分布，学生分布是这个家族的一部分。

I. INTRODUCTION

在参数推理问题中，如果没有关于未知参数的先验信息，则实验者仅使用给定样本的知识进行估计。

但是，如果估计量仅通过某些特定统计量依赖于样本，那么知道这些统计量值的人可以在没有整个样本的情况下找到估计量。

费舍尔称这样的统计数据就足够了。他将这一概念表述如下。令 Π = {pθ : θ ∈ Θ ⊆ R} 是 S ⊆ R 上概率分布的参数族。如果样本的条件分布在给定 T 的值的情况下是独立的，则称统计量 T 对 θ 是足够的θ [2]。然而，为了使用这个定义，需要对统计量 T 以及它遵循的概率定律进行猜测 [3]、[4]。

基于 Fisher 的想法，Koopman 给出了另一个数学公式，其中不需要 T 的分布 [4, pp. 400]。如下。令 Xn1 := (X1, . . . , Xn) 和 Y n1 := (Y1, . . . , Yn) 是来自一些 pθ ∈ Π 的两个独立且同分布 (i.i.d.) 的样本。如果当样本 Xn1 和 Y n1 在 T 下取相同的值时，差异 [L(Xn1 ; θ)-L(Y n1 ; θ)] 与 θ 无关，则 T 被认为是 θ 的充分统计量，其中

表示样本 Xn1 的对数似然函数。

---

现在让我们假设这样一个充分的统计量 T 对于家族 Π 是已知的。出现的一个自然问题是，是否可以仅使用 T 的知识找到特定的估计量。结合这个问题，让我们首先考虑以下结果，称为分解定理[3，Th. 6.2.6]，这是 Fisher 和 Koopman 定义的等效标准。

T 是 θ 的充分统计量当且仅当存在函数 g : Θ × T → R 和 h : Rn → R 其中 T := {t ∈R : T (Xn1 ) = t for some Xn1 } 使得对数-似然函数可以写为

对于所有 Xn1 和所有 θ ∈ Θ。那么 θ 的 MLE 由下式给出

(3) 意味着 θ 的 MLE 仅通过统计量 T 取决于样本。换句话说，T 足以找到 θ 的 MLE。然而，当基础估计不是基于似然函数 L 时（这是鲁棒估计的情况），需要如下所述适当地修改 (2)。当似然函数不产生封闭形式的解或唯一的最大化器[5]时，这种估计也很有用。

考虑一个 i.i.d。样本 Xn1 从带有参数的二项式分布中抽取，例如 (m, θ)，其中 θ ∈ (0, 1) 是未知的成功概率。众所周知，样本总和是 θ [3] 的充分统计量。假设现在我们想通过最大化以下似然函数来估计 θ，这相当于最小化样本 pn 的经验分布和模型分布 pθ 之间的 L2 距离，

其中 pθ (x) = mCxθx(1 - θ)m-x 对于 x = 0, . . . , 米。在文献中，许多作者在混合模型中使用 L2 距离最小化来找到比 MLE 更稳健的估计量。例如，参见 [6]-[12]。为了最大化（4），在一阶最优条件下，需要解决

对于θ。观察 (5) 的左侧是多项式 inθ，其中一些系数涉及 pn(x)。例如，如果 m = 2，则 (5) 简化为

显然，需要知道 pn(0)、pn(1) 和 pn(2) 中的至少两个才能找到 θ 的估计值。因此，样本之和不再足以找到最小 L2 距离估计量。

找到足够的统计数据的主要目的是总结给定样本中可用的未知参数的信息。尽管整个样本总是构成一个充分的统计量，但只有当有一个固定数量的充分统计量而不依赖于样本量时，才可能进行数据缩减。

在文献中已知，在某些规律性假设下，指数族是唯一具有此属性的族[4]、[13]、[14]。 众所周知，指数族的 ML 估计方程仅通过数据的一些特定统计量来依赖样本 [15, pp. 149-150]。最近，许多作者在合适的幂律模型上研究了某些广义似然最大化问题 [5]、[16]、[17]。这些问题导致在鲁棒推理中流行的某些发散泛函最小化[1]，[18]-[21]。在这些问题中，我们还观察到一些特定的统计数据只会影响得到的估计方程。例如，参见 [5]、[16]、[17]。

现在让我们考虑以下 Student-t 分布族

其中 S = [μ - √3σ, μ + √3σ], θ = (μ, σ2), μ ∈ (-∞, ∞) 和 σ ∈ (0, ∞)。令 Xn1 和 Y n1 为两个 i.i.d。来自 (6) 中的 apθ 的样本。我们假设所有可能的样本 Xi, i = 1, 的真实参数 μ 和 σ 满足 (Xi − μ)2 ≤ 3σ2。 . . , n(参见 [16, Eq. (38)])。然后使用（6），我们有

现在 (7) 与 θ 无关

对于一些独立于 μ 和 σ 的函数 ξ。观察到 (8) 的两边都是以 μ 为单位的 2n 次多项式。因此，通过比较两边 μ 的最高幂系数，我们有 ξ(Xn1 , Y n1 ) ≡ 1；因此 (8) 变为

观察 Xj ±σ√5，对于 j = 1，. . . , n 是左侧和 Yj ± σ√5 的唯一可能根，对于 j = 1, 。 . . , n 是右侧的唯一根。因此，为了使 (9) 成立，由所有 Xj 组成的集合应该与 Yj 的集合相同。因此，需要将样本 Xn1 的 n 个值中的每一个与 Y n1 进行比较，以确定 (7) 是否与θ 无关。这意味着，对于 Student-t 分布 (6)，当基础估计是 MLE 时，不存在独立于样本大小的固定数量的足够统计量。

现在让我们假设我们希望通过最大化似然函数 (4) 来找到 Student-t 分布 (6) 的最小 L2 距离估计量。观察到，最大化 (4) 的 θ 等价于最大化以下

使用 [5，Th。 11]，我们观察到 (6) 的最小 L2 距离估计量与 Eguchi 和 Kato [16，等式。 (7)] 其中 γ = 1。因此，使用 [16, Th. 3]，均值和方差参数 μ 和 σ 的最小 L2 距离估计量由下式给出（参见 [5, Sec. IV]）

观察到，要找到这些估计量，只需要知道一对统计量 ∑n i=1 Xi 和 ∑n i=1 X2i 。这意味着这两个统计数据足以找到 Student-t 分布参数的最小 L2 距离估计量 (6)。这表明学生分布确实存在足够的统计数据，但对于不同的似然函数。这促使人们通过使用适当的似然函数而不是通常的对数似然函数来概括充分性的概念。

现在让我们取样本 Xn1 和 Y n1 的 L(2) 似然函数的差异：

使用（6），（11）减少到

显然，如果

那么 (11) 与 θ 无关。回想一下，(10) 中 θ 的最小 L2 距离估计量仅取决于这两个统计量 ∑n i=1 X2i 和 ∑n i=1 Xi 的样本。因此，当通过最小化 L2 距离进行估计时，将 ( ∑n i=1 X2i , ∑n i=1 Xi) 称为足以估计 θ 是合理的。因此，我们提出以下广义的充分性概念

令Π = {pθ} 是一个概率分布族。假设潜在的估计问题是通过最大化似然函数 LG 来估计 θ。如果每当 T (Xn1 ) = T (Y n1 ) 时 [LG(Xn1 ; θ) -LG(Y n1 , θ)] 与 θ 无关，则 T 被认为是使用 LG 估计 θ 的充分统计量。

观察到，当 LG 是通常的对数似然函数时，上述定义与 Koopman 的充分性定义一致 [4]。在下一节中，我们将推导出与这个广义概念相关的因式分解定理，并扩展最小充分性的概念。

我们知道指数族是唯一具有与通常似然函数相关的样本大小固定数量的足够统计量的族。这个结果被称为 Fisher-Darmois-Koopman-Pitman 定理 [4]、[13]。在本文中，我们考虑以下似然函数

其中 α > 0，α 6 = 1。这出现在 Basu 等人中。估计 [1]、[5]、[22]、[23]。这种估计在作为 MLE 替代方案的稳健估计的背景下很受欢迎。观察到，(13) 与通常的对数似然函数一致，因为 α → 1，并且 (4) 对应于 α = 2 的特定情况。

众所周知，MLE 与 Kullback-Leibler 散度（或相对熵）的最小化密切相关 [24，Lem。 3.1]。同样，巴苏等人。似然估计与所谓的’Basu等人的最小化有关。分歧’[1]。这个散度族是著名的 Bregman 散度类的一部分，其中平方欧几里得距离是一个特例 [5]。

我们在本文中的主要贡献正是以下几点。

• 我们建立了一个基于充分性原则的广义概念的分解定理。
• 我们确定了独立于样本大小而存在固定数量的充分统计量的分布族。
• 我们还表明，Student-t 分布是该家族的一部分，并为它们找到了关于充分性的广义概念的足够统计数据。

II. SUFFICIENT STATISTICS FOR BASU ET AL. LIKELIHOODFUNCTION

在本节中，我们首先建立一个与广义充分性概念相关的因式分解定理。然后，我们特别考虑 Basu 等人。似然函数 (13) 并使用广义分解定理来识别具有固定数量的与样本大小无关的足够统计量的分布族。

命题 1（广义因式分解定理）：设 Π = {pθ } 是一族概率分布。假设潜在的估计问题是通过最大化似然函数 LG 来估计 θ。那么 T 是使用似然函数 LG 估计 θ 的充分统计量当且仅当存在函数 g 和 h 使得

对于所有样本点 Xn1 和所有 θ ∈ θ。

证明：令 T 成为使用 LG 估计 θ 的充分统计量。令 Xn1 和 Y n1 是两个样本，使得 T (Xn1 ) = T (Y n1 )。然后我们有 [LG(Xn1 ; θ) - LG(Y n1 ; θ)] 与 θ 无关。当且仅当T (Xn1 ) = T (Y n1 ) 时，让我们通过Xn1 ∼ Y n1 在长度为n 的所有样本点的集合上定义一个关系’∼’。那么’~'是一个等价关系。让我们用 St 表示等价类，t ∈ T。对于每个等价类 St，指定一个元素 Xn1,t ∈ St。

令 Xn1 是一个样本点，使得 T (Xn1 ) = t∗ ∈ T 。那么 Xn1 ∈ St∗ 并且 T (Xn1 ) = T (Xn1,t∗ )。这意味着 [LG(Xn1 ; θ)-LG(Xn1,t∗ ; θ)] 根据假设独立于 θ。令 h(Xn1 ) := [LG(Xn1 ; θ) - LG(Xn1,t∗ ; θ)]。然后

相反，让我们假设存在两个函数 g 和 h 使得

对于所有样本点 Xn1 和所有 θ ∈ θ。因此，对于任意两个样本点 Xn1 和 Y n1 且 T (Xn1 ) = T (Y n1 )，我们有

这意味着 [LG(Xn1 ; θ) − LG(Y n1 ; θ)] 与 θ 无关。根据定义，T 是使用 LG 估计 θ 的充分统计量。这就完成了证明。

从现在开始，我们将仅限于 Basu 等人。 (13) 中定义的似然函数 L(α)。我们现在继续确定参数族的形式，它始终具有固定数量的关于 L(α) 最大化的充分统计量。考虑 Basu 等人。似然函数 (13)。在前面我们假设 θ 是一个标量，尽管这可以扩展到向量的情况。对 θ 求导，我们有

设 T1 是使用 L(α)(θ) 估计 θ 的充分统计量。那么，根据命题 1，存在两个函数 g 和 h，使得

其中 h 独立于 θ。这意味着

…

IV. SUMMARY

参数推理问题中充分统计的概念是由 Fisher 引入的，它使我们能够通过样本的某些特定统计来估计参数 [2]。

后来，Koopman、Pitman 和 Darmois（尽管是独立的）表明，在某些正则性假设下，如果概率分布的参数族具有不依赖于样本大小的固定数量的充分统计量，则它必须是指数族 [4]， [13]、[28]。反之亦然。

充分统计量的概念完全取决于基础估计方法，特别是在 Fisher（或 Koopman）对充分性的定义中，基础估计是 MLE。

因此，我们提出了一个广义的充分性概念，当估计不一定是 MLE 时，它是合适的。

这种概念的隐含思想也可以在 [29] 中找到。然后我们将这一概念应用于特定的鲁棒性估计，即 Basu 等人。估计[1]。我们表明，当 Basu 等人提出时 ，幂律族（包括学生分布）是唯一具有固定数量的足够统计数据的族。考虑了似然估计。

结语

文章仅作为个人学习笔记记录，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正