about 2 months ago

Statitical Functional是一個乍聽之前很艱深的東西
而的確 這個東西通常是在比較進階的課程(通常是研究所)才會開始出現

但其實 絕大多數的人在最基礎的統計課都不知不覺得碰到過這個玩意

我們先談數學上的Functional (中文好像翻譯為 泛函)
什麼是Functional?
簡單來說 就是函數的函數
也就是 他是一個"函數" 不過 你要輸入另一個函數進入這個functional
然後functional會給你一個數字
(一般的函數是 你輸入一個值(或一個向量) 然後他會回傳你一個數字)

那這個functional跟統計學有什麼關係?
下面是一個統計學裡面常見的圖--描述推論統計學的基本運作原理

左上角: 母體 population
左下角: 樣本 sample
右上角: 參數 parameter
右下角: 估計式/統計量 estimator/statistic

統計學的模型是:
我們觀測到的樣本 是從一個母體抽樣出來的
根據樣本 我們可以建立統計量

很多時候 我們有興趣的目標(parameter of interest)是母體的一些參數
因為我們不曉得母體與其參數 所以我們透過樣本建立估計式 用以推估我們有興趣的參數

一個常見的統計模型是
我們假設我們的樣本是一群IID隨機變數從一個 分配函數(distribution function)F(x)裡面產生
在這種情況 分配函數F(x)完整的描述了整個母體
也就是我們用這個分配函數F(x)作為描述母體的數學物件
不同的母體往往會給我們不同的分配函數
舉例來說 常態分配 N(0,1), N(2,1), N(1,4)都會對應到不同的分配函數F(x)

Note: 一個隨機變數的分配函數也稱為累積分配函數(cumulative distribution function) 如果X是一個隨機變數而F是他的分配函數 那麼 .

既然我們已經使用隨機變數來作為樣本的模型
並且使用分配函數作為母體的模型
那麼 我們該怎麼建立一個數學/統計模型給那些參數呢?

我們先思考看看常見的參數有哪些:
母體平均數 母體變異數 母體中位數...
這些數值 都是一些數字來描述某些母體的特徵
也就是 當今天我們換了一個母體 這些數字通常都會改變

用我們數學的模型來看
母體的數學模型是分配函數F
那麼 這些參數可以看成一個物件 這個物件的特徵是:
你丟進去一個分配函數F(母體) 然後它(物件)會回傳給你一個數字

這個特性 不就跟我們前面談的Functional一模一樣?

所以 這些參數 可以被看成一個Functional--
你把一個分配函數丟進去 這個Functional會吐一個數字給你

下面是幾個常見的Functional的定義(你可以驗證看看他們的性質):

  1. 平均值
    $$
    T_{\sf mean}(F) = \int x dF(x) = \mathbb{E}(X),
    $$
    是一個隨機變數擁有分配函數.

  2. 變異數
    $$
    T_{\sf Var}(F) = \int x^2 dF(x) - \left(\int x dF(x)\right)^2 = {\sf Var}(X).
    $$

  3. 中位數
    $$
    T_{\sf median}(F) = F^{-1}(0.5).
    $$

在上述式子裡面我們用了dF(x)
當這個分配函數來自於一個連續隨機變數時
$$
\int f(x)dF(x) = \int f(x)\frac{dF(x)}{dx}dx =\int f(x) p(x) dx,
$$
是這個連續變數的機率密度函數--所以上述定義回歸到我們常見的定義

當這個分配函數來自於一個離散隨機變數時
$$
\int f(x) dF(x) = \sum_{x} f(x) P(X=x)
$$
此外 離散隨機變數的分配函數反函數定義上要小心 我們一般定義
$$
F^{-1}(a) = \inf [ s: F(s)\geq a ]
$$

如果你學過Empirical distribution function (EDF, 我們一般寫作)
那麼 這套Statistical Functionals的分析方法還會讓你看到更多有趣的結果
像是許多常見的估計式 可以寫成--直接把這個EDF丟進去functional來得到估計式
樣本平均數就會滿足這樣的條件
這種方式建立的估計式會被稱為plug-in estimator

這種估計式有很多漂亮的性質 也經常與bootstrap的理論息息相關
剛好最近上課寫了些講義在談這塊 有興趣可以參考看看:

  1. CDF and EDF http://faculty.washington.edu/yenchic/17Sp_403/Lec1_EDF.pdf
  2. Bootstrap http://faculty.washington.edu/yenchic/17Sp_403/Lec5-bootstrap.pdf
  3. Introduction to Bootstrap Theory http://faculty.washington.edu/yenchic/17Sp_403/Lec9_theory.pdf

所以 雖然functional聽起來很高深
(實際上也算是進階的數學課題)
但其實學過初等統計/統計導論的大家早已默默地碰到過這個東西

當然 雖然我們這邊講的functional好像很簡單
如果要認真討論functional背後的性質以及數學
那可是有一大票不簡單的東西要去理解

← Visiting Assistant Professor
 
comments powered by Disqus