Likelihood

note

基本元素

• $X$

  • 觀測到的事實
  • 模型的輸出

• $\theta$

  • 未知的底層參數
  • 模型的參數

• $P(X\cap \theta )$

• $P(X\mid \theta )$

• $P(\theta \mid X)$

• Probability

  • $P(\mathbf{X}\mid \theta )$
  • 固定 $\theta$，$X$ 為自變數
  • 在已知參數 $\theta$ 的情況下，$X$ 發生的機率
  • 總和為 1

• Likelihood

  • $L(\theta \mid \mathbf{X})=P(\mathbf{X}\mid \theta )$
  • 固定 $\mathbf{X}$，$\theta$ 為自變數
  • 在已知資料 $\mathbf{X}$ 的情況下，某個特定參數 $\theta$ 產生這組資料的合理程度
  • 並非描述 $\theta$ 發生的機率
    • $\theta$ 不是隨機事件，是一個固定但未知的常數
    • 總和不為 1

• 先驗機率

  • $P(\theta )$
  • 在沒有任何資料的情況下，$\theta$ 發生的機率

• 後驗機率

  • $P(\theta \mid \mathbf{X})$
  • 在已知資料 $\mathbf{X}$ 的情況下，$\theta$ 發生的機率

$$\begin{array}{rl}& P(X\cap \theta )=P(X\mid \theta )\cdot P(\theta )=P(\theta \mid X)\cdot P(X)\\ ⟹& P(\theta \mid X)=\frac{P(X\mid \theta )\cdot P(\theta )}{P(X)}\end{array}$$

---

在現實生活中

觀測到的數據 $\mathbf{X}$，既定事實，朋友一天沒回訊息

背後的假設 $\theta$，未知的真相，他在生氣

Probability: 生氣時可能有多種表現，所有表現的可能性加起來為 1 ，在確定他生氣的情況下，不回訊息的可能性有多大？

先驗機率: 在沒有任何資料的情況下，他生氣的可能性有多大？

後驗機率: 不回訊息的原因有很多種，所有可能原因的可能性加起來為 1 ，在已知他一天沒回訊息的情況下，他生氣的可能性有多大？

Likelihood: 如果他真的在生氣，做出一天不回訊息這種行為的吻合度有多高？

第一層隨機性：世界本身的隨機性（Likelihood 的層次）

你的描述：「單一種 $\theta$ 也不一定直接導致 $X$」

學術名稱：偶然不確定性 (Aleatoric Uncertainty) 或 資料隨機性

白話解釋：就算我們開啟了「上帝視角」，百分之百確定了背後的真實參數 $\theta$（例如：這枚硬幣正面機率就是 70%、或者朋友現在真的在生氣），這個世界本身依然帶有噪聲和隨機性。生氣的朋友有 90% 的機率不回訊息，但也有 10% 的機率因為公事不得不回你。數學表達：這就是 Likelihood $P(X\mid \theta )$。它鎖定了原因（$\theta$ 確定），但結果（$X$）依然是一條機率分佈曲線。

單一種 $\theta$ 也不一定直接導致 $X$

---

第二層隨機性：

大腦認知的隨機性（Posterior 的層次）

你的描述：「有多種 $\theta$ 會導致 $X$」

學術名稱：認知不確定性 (Epistemic Uncertainty) 或 參數不確定性

白話解釋：這來自於我們「資訊不足」。

桌上扣著一個既定的事實結果 $X$（朋友 5 小時沒回），能合理解釋這個結果的「幕後黑手（原因 $\theta$）」有無限多種可能（可能在生氣、可能手機掉了、可能在睡覺）。後驗機率的任務，就是去評估這每一種潛在原因的可能性。數學表達：這就是 後驗機率 $P(\theta \mid X)$。它鎖定了結果（$X$ 確定），而原因（$\theta$）是一條機率分佈曲線。

多種可能原因」歸類為「認知的隨機性（Epistemic Uncertainty）」？核心的關鍵在於一個根本的物理事實：在某個特定的時空節點上，真相（$\theta$）永遠只有一個，它已經被世界「定死」了。多種原因的並存，只存在於我們的「大腦假設」中。用「撲克牌面朝下」來秒懂假設我從一副牌中抽出一張，面朝下扣在桌上。你的大腦（後驗機率的視角）：這張牌有 52 種可能，可能是紅心 A、黑桃 3…「有多種可能的真相 $\theta$ 導致了眼前這張蓋著的牌」。這裡的隨機性，是世界的還是認知的？答案是認知的。因為此時此刻，那張牌躺在桌上，它的物理原子已經排列好了，它就是黑桃 K，不多也不少。世界的隨機性在牌被抽出來的那一剎那已經結束了。為什麼你心裡會覺得它是「隨機」的？因為你沒看牌，你的資訊不足。這種因為「缺乏知識、缺乏資訊」而產生的隨機感，就叫做認知的隨機性。