Traditional Statistical Methods 傳統統計方法

一句話：傳統統計重推論與可解釋；迴歸／聚類／PCA 仍是 DS 地基。

1. 為何統計仍重要？（推論 vs 預測）

• 推論：參數、不確定性、有沒有效果。
• 預測：新資料準不準；常偏 ML。
• 樣本不大、要解釋／合規／近似線性 → 統計常更合適。

面向	統計模型	ML 模型
目標	解釋關係、推論	預測表現
可解釋性	係數／殘差通常清楚	可很黑箱
假設	有明確假設，需檢查	較鬆，靠驗證
規模	中小資料很強	大資料／高維更吃香

2. 線性迴歸（Linear Regression）深講

它在預測什麼？

用 X 預測連續 y（房價、營收…）；得到最佳擬合線上的 ŷ。

簡單 vs 多元線性迴歸

• 簡單：一個 X。y = β₀ + β₁x + ε。
• 多元：多個 X。y = β₀ + β₁x₁ + β₂x₂ + … + ε。
• β₀＝截距；β＝斜率（控制其他變數時）。

OLS 直覺（普通最小平方法）

OLS：讓殘差（y−ŷ）的平方和最小 → 最佳擬合線。

殘差與 R²（入門級）

• 殘差圖應大致隨機；漏斗／彎曲＝警訊。
• R²＝解釋變異比例；高≠因果，也不保證外推。

假設（白話版）

• 線性：平均 y 隨 X 近似直線。
• 誤差獨立（時間序列常踩雷）。
• 變異齊一：殘差散佈別差太多。
• 離群點會拉歪斜率；先畫圖。

常見陷阱

• 外推：訓練範圍外的 X 很危險。
• 共線性：X 彼此高度相關 → 係數不穩。
• 相關 ≠ 因果。

工具：sklearn 與 statsmodels

• sklearn LinearRegression：預測／Pipeline 友善。
• statsmodels OLS：要 p 值／診斷報表時用。

微型練習草稿

# Colab / local — sketch only
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

X = np.array([[1],[2],[3],[4],[5],[6]])   # e.g. ad spend
y = np.array([3, 4, 5.5, 7, 8.2, 9])      # e.g. sales

Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.33, random_state=0)
model = LinearRegression().fit(Xtr, ytr)
print("coef", model.coef_, "intercept", model.intercept_)
print("R² train", model.score(Xtr, ytr), "R² test", model.score(Xte, yte))
# Next: residual plot; try statsmodels.api.OLS for p-values

印斜率／截距 → 比 train／test R² → 畫殘差 → 選做 OLS 報表。

3. 邏輯迴歸速覽（分類姊妹）

• 預測類別機率，不是連續 y。
• 線性分數 → sigmoid → 0～1 機率。
• 見 sklearn LogisticRegression／linear models。

4. 聚類（Clustering）

• K-Means：選 k，指定→更新中心。
• 階層式：合併／切割＋樹狀圖。
• 無標籤；要業務解讀。

5. PCA（主成分分析）

高維 → 少數主成分（依解釋變異排序）。

• 看累積解釋變異決定留幾個 PC。
• 多且相關、要視覺化／降噪時好用；解釋原始欄位會變難。

6. 其他要點（實務級，非論文）

• p 值＝沒效果假設下有多極端；小 p ≠ 效果大／因果。
• 相關≠因果；要實驗／領域知識。
• 描述＋圖 → 迴歸／檢定 → 再 ML。

7. 貝氏定理（Bayes’ theorem）

一句話：先驗 × 概似 →（正規化）後驗。

先驗／概似／後驗（白話）

• 先驗：未看證據前對 H 的信念。
• 概似：H 為真時，證據有多合理。
• 後驗：看完證據後對 H 的信念。

P(H|E) = P(E|H) × P(H) / P(E)

後驗 ∝ 概似 × 先驗（再正規化）。

小例子：醫學檢測（假陽性直覺）

盛行率 1%；真陽 99%、假陽 5%；陽性後真的生病？

• 10,000 人：約 100 病、9,900 健康。
• 有病陽性 ≈ 99。
• 健康假陽 ≈ 495。
• 後驗 ≈ 17%，不是「幾乎確定」。先驗（罕見病）很重要。

垃圾郵件：先驗×用詞概似 → 是垃圾的後驗機率。

接到 Naive Bayes／機器學習

• Naive Bayes＝貝氏＋特徵條件獨立假設。
• 見 Algorithm（Naive Bayes）與 ML 課。
• 現在 ML 的貝氏還含正則／不確定性；先懂更新即可。

8. 黑箱模型（Black box）與可解釋性

黑箱：有預測，卻難用清楚係數／規則解釋「為什麼」。

可解釋統計 vs 不透明 ML／DL

類型	例子	解釋方式
較透明	線性／邏輯迴歸、簡單樹	係數／規則路徑
偏黑箱	大型集成、深度網、LLM	要 SHAP／LIME 等

先建可解釋基線，再對照黑箱。

何時黑箱可以？何時必須可解釋？

• 錯誤成本低、可實驗驗證、不需逐案理由 → 黑箱常可。
• 高風險／合規／要給理由 → 要可解釋或加解釋層。

SHAP／LIME（輕量提及）

• SHAP：估每個特徵對「這次預測」的貢獻。
• LIME：在單點附近用簡單模型近似黑箱。
• 事後解釋≠透明；見 ML 課接續。

10. 相關課程

11. 官方與優質學習連結