almost 4 years ago

Note: 本篇預設讀者已經學(聽)過likelihood function還有probability (density) function

likelihood function是統計學上非常常使用的一個函數
這個函數是 "參數"的函數
在許多應用的領域 像是machine learning 這個likelihood function也很常被用到

但許多人都會不小心把likelihood function和probability function機率(密度)函數搞混
這邊簡單談一下正確的likelihood function的詮釋方法

likelihood function:
"在給定資料下 參數是某個值的強度" or
"當參數是某個值的時候 我們抽樣出這樣資料的機率(密度)"
所以likelihood function是"參數的函數"

先談個簡單的例子 假設我晚餐只有兩種選擇

  1. 高級餐廳 2. 便當店

然後我的月薪可能有三種情況

  1. 2000塊 2. 3000塊 3. 4000塊

當我月薪2000塊時 我去高級餐廳的機率只有20% 但在便當店吃的機率是80%
當我月薪3000塊時 我去高級餐廳的機率只有50% 但在便當店吃的機率是50%
當我月薪4000塊時 我去高級餐廳的機率高達70% 但在便當店吃的機率是30%

今天你發現我在便當店裡吃
你能否描述 我在"不同月薪下 在便當店吃飯的可能性強度"
一個描述這個"可能性強度"的方法 就是所謂的likelihood function

如果已經看到我在便當店裡吃飯
在我月薪2000塊情況下 這種現象發生的機率有80%
相對的 3000,4000塊薪水 我做出這種行為的機率相對只有50%,30%

所以 你可以用這個 80%, 50%, 30%作為一個"在看到我在便當店吃飯的情況下下 各種薪水的強度(or可能性強度)"

在這個問題裡 我的月薪就是參數
當給定參數後 我的行為(也就是你們的資料)會由一個隨機機制產生
所以 就算我月薪4000塊 我還是有機會再便當店出沒

但這個80%的likelihood並"不"表示我有80%的機率月薪2000塊
我的月薪是一個未知數(對你而言是未知 但對我而言是已知) 它毫無機率可言 就單純只是一個未知量
機率是在 "給定參數之後 產生資料的過程"裡面發生的

likelihood function之所以不叫做機率
正是因為它只是一個"在給定資料下 參數是某個值的強度"
或可以解釋成 "當參數是某個值的時候 我們抽樣出這樣資料的機率(note1)"

因此 所謂的Maximal likelihood estimator(MLE)
就只是在當給定資料下 我們從所有可能參數裡 選那個強度最高的參數
或可以說是
給定資料下 我們選那個參數 產生這樣資料的機率最高

像在那個月薪的例子裡面
當你看到我去便當店吃飯 那這樣我薪水的MLE就是2000塊
因為當我薪水2000塊時 去便當店吃飯的機率有80%
比其他兩種狀況(3000,4000塊)做這樣行為的機率50% 30%都還要高

note1: 如果資料是連續的 那這裡要用機率密度

← 統計學與大數據-推論vs預測 誰適合做統計+MS/PhD申請雜談 →
 
comments powered by Disqus