讀懂多元迴歸儀表板
題面來自台大官方試卷;解答與逐項自評標準(rubric)為本站技術覆核的非官方內容,申論與推導一律採自評。
第一次接觸也沒關係
這堂先懂這些詞
先記住白話意思,不必急著背英文。看到正文時,再把正式名稱接回來。
多元線性迴歸
也會看到:multiple regression、multiple linear regression、多元迴歸、outcome、predictor、intercept、slope多元線性迴歸用一個截距與多個斜率,描述多個預測變數和一個結果變數之間的線性關係。
- 生活例子:
- 同時用家庭人數、收入與居住面積來預測每週垃圾量。
- 別搞混:
- 迴歸找的是在模型與資料條件下的關聯,單靠係數顯著不能證明某變數造成結果。
迴歸係數、標準誤與 t 值
也會看到:coefficient、coef、standard error、std err、SE、t-statistic、t=coef/SE係數是估計的影響方向與大小,標準誤 SE 是係數的不確定程度,t=coef/SE 讀作「t 等於係數除以標準誤」,表示效果相對噪音有多大。
- 生活例子:
- 若收入係數是 7 而標準誤約 1,表示估計效果相對其不確定程度算大。
- 別搞混:
- t 值不是 p 值,係數大也不必然顯著,還要看標準誤與參考分配。
殘差與殘差自由度
也會看到:residual、error、Df Residuals、residual degrees of freedom、df=n-k-1殘差是實際值減模型預測值,殘差自由度是扣掉估計參數後仍可用來估計誤差的獨立資訊量;df=n-k-1 讀作「自由度等於樣本數 n 減斜率數 k 再減一」。
- 生活例子:
- 440 戶資料估計 3 個斜率加 1 個截距後,剩下 436 份殘差自由度。
- 別搞混:
- Df Model 通常是模型斜率數,不是殘差自由度;公式中的減一通常來自截距。
決定係數與調整後決定係數
也會看到:R²、R-squared、coefficient of determination、adjusted R²、Adj. R-squaredR² 讀作「R 平方」,表示模型解釋結果變動的比例;adjusted R² 讀作「調整後 R 平方」,會對加入過多預測變數扣分。
- 生活例子:
- 垃圾量模型的 R²=.17,可白話理解為樣本中約 17% 的垃圾量差異被模型解釋。
- 別搞混:
- R² 高不等於模型有因果性或預測一定準,adjusted R² 也不是所有模型品質的唯一標準。
整體 F 檢定
也會看到:F-test、joint F-test、F-statistic、Prob(F-statistic)整體 F 檢定把所有斜率同時為 0 當作 H₀,檢查整組預測變數是否共同提供解釋力;F 讀作英文字母「F」。
- 生活例子:
- 不是逐一問每個旋鈕,而是一次問儀表板上的所有旋鈕合起來是否比完全不用更有用。
- 別搞混:
- F 檢定顯著只表示至少一個斜率可能非零,不會告訴你是哪一個,也不等於每一個都顯著。
逐項自評標準
也會看到:rubric、評分規準把完整推導拆成可以逐步核對的要點,幫你找到漏掉的條件或計算步驟。
- 生活例子:
- 像算完帳後依序檢查金額、單位、公式與最後結論。
- 別搞混:
- 它不是官方配分,也不會把合理但不同的推導方式判成錯誤。
用 114-4 解讀 adjusted R²、殘差自由度、係數 t 值與整體 F 檢定。
先抓住這幾件事
- 寫出多元迴歸模型 Y = β0 + β1X1 + ... + βkXk + ε 並解釋每個符號
- 由 n 和 k 算殘差自由度 df = n-k-1,解釋為什麼要減 k+1
- 由 coefficient/std error 算 t 值,判斷個別係數是否顯著
- 區分 R²、adjusted R² 和 F 檢定的用途
先想像這個場景
垃圾量預測儀表板
儀表板有多個旋鈕解釋家庭垃圾量,但多裝旋鈕不代表模型真的更好。
先別急著套公式,花十秒想一想:
哪個數字會對無用旋鈕扣分?整組旋鈕是否有用又看哪裡?
把故事換成統計語言
| 生活中的角色 | 對應到 | 統計概念 |
|---|---|---|
| 每個旋鈕效果 | regression coefficient | |
| 效果相對噪音 | t=coef/std err | |
| 對多裝旋鈕扣分 | adjusted R² | |
| 整組旋鈕共同測試 | joint F-test |
題目出現這些字,先想到
- Adj. R-squared
- Df Residuals
- coef/std err
- Prob(F-statistic)
1.多元迴歸模型:一個方程多個解釋變數
多元迴歸模型寫成 Y = β0 + β1X1 + β2X2 + ... + βkXk + ε,其中 Y 是要預測的反應變數,X1~Xk 是 k 個解釋變數,β0 是截距(所有 X 都等於 0 時 Y 的預測值),β1~βk 是斜率(每個 Xi 增加 1 單位、其他 X 固定時,Y 的預期變化量),ε 是隨機誤差。 【重要假設】ε ~ N(0, σ²) 且各觀測值的 ε 彼此獨立。實務上還假設 X 之間沒有嚴重共線性、Y 和 X 的關係確實近似線性。 估計用最小平方法 (OLS):找 β̂0, β̂1,...,β̂k 使得殘差平方和 SSE = Σ(yi-ŷi)² 最小。 【範例】114 考題的模型:垃圾量 = β0 + β1·家庭人數 + β2·居住年數 + β3·年收入。 這裡 k=3(三個解釋變數),如果有 n=440 筆資料,殘差自由度 = n-k-1 = 440-3-1 = 436。 為什麼減 k+1?因為估計了 k+1 個參數(k 個斜率 + 1 個截距),每估計一個參數「用掉」一個自由度。
- 模型:Y = β0 + β1X1 + ... + βkXk + ε,ε 假設 iid N(0,σ²)
- βj 的解讀:其他 X 固定時,Xj 增加 1 單位對 Y 的預期影響
- OLS 最小化 SSE = Σ(yi-ŷi)²,找最佳 β̂
- 殘差自由度 df = n-k-1(n 筆資料、k 個斜率、1 個截距)
- β0 的解讀要小心:所有 X=0 時 Y 的預測值,但 X=0 可能在 support 外
2.個別係數檢定:t 值告訴你這個變數有沒有用
對每個係數 βj,我們想檢定 H0: βj=0(這個變數對 Y 沒有影響)vs H1: βj≠0。 t 統計量 = β̂j / SE(β̂j),其中 SE 是 coefficient 的 standard error。t 值越大(絕對值),越有信心 βj ≠ 0。 對應的 p 值來自 t(df) 分佈,df = n-k-1。p < α(通常 0.05)就拒絕 H0,認為 Xj 的效果顯著。 【範例】某迴歸輸出: 變數 coef std err t p 家庭人數 7.1943 1.092 6.59 0.000 居住年數 0.1432 0.213 0.67 0.502 年收入 0.0023 0.0008 2.88 0.004 解讀:家庭人數(p<0.001)和年收入(p=0.004)顯著,居住年數(p=0.502)不顯著。 考試考法:常給 coef 和 std err,要你手算 t = coef/std err,或者反過來給 t 和其中一個求另一個。 考試陷阱:個別 t 檢定只能說「在其他變數已在模型中的情況下,這個變數是否有額外貢獻」。如果兩個 X 高度相關(共線性),可能兩個的 t 都不顯著,但它們合在一起很有用——這時要看 F 檢定。
- t = β̂j / SE(β̂j),衡量「效果大小 ÷ 不確定性」
- p 值來自 t(n-k-1) 分佈,p < 0.05 通常判定顯著
- t 檢定是「條件性」的:在其他 X 已入模的前提下測額外貢獻
- 共線性高時個別 t 可能都不顯著,但聯合 F 可能顯著
- 95% 信賴區間:β̂j ± t*·SE(β̂j),不包含 0 等價於 p<0.05
3.R²、adjusted R² 與模型解釋力
R² (coefficient of determination) = 1 - SSE/SST,其中 SST = Σ(yi-ȳ)² 是總變異,SSE = Σ(yi-ŷi)² 是殘差變異。R² 表示「模型解釋了多少比例的 Y 的變異」,介於 0 和 1 之間。 問題:多加一個 X 變數,R² 一定會增加或不變(即使那個 X 根本沒用)。所以不能只看 R² 比較不同複雜度的模型。 Adjusted R²(調整後 R²)對模型複雜度做懲罰: Adj. R² = 1 - [(1-R²)·(n-1)/(n-k-1)] 如果加入一個無用變數,R² 微增但 k 增加導致懲罰項變大,Adj. R² 可能下降。 【範例】n=440, k=3, R²=0.170。 Adj. R² = 1 - [(1-0.170)·(439)/(436)] = 1 - [0.830·1.00688] = 1 - 0.8357 = 0.1643 R² 和 Adj. R² 差 0.006,差距不大是因為 n 遠大於 k。當 n 接近 k 時差距會很明顯。 考試陷阱:R²=0.17 不代表模型「不好」。在社會科學中,R²=0.2 已經相當高。R² 的高低取決於領域和研究目的,沒有絕對標準。
- R² = 1-SSE/SST,表示模型解釋的變異比例,0~1 之間
- R² 只增不減:多加 X 一定 ≥ 原來,所以不能用 R² 比較不同 k 的模型
- Adj. R² = 1-[(1-R²)(n-1)/(n-k-1)],對複雜度做懲罰
- Adj. R² 可能因無用變數而下降,所以比 R² 更適合選模型
- R² 的「好壞」沒有絕對標準,取決於領域和應用
4.F 檢定:所有變數是否共同有用
F 檢定檢驗 H0: β1=β2=...=βk=0(所有解釋變數都沒用)vs H1: 至少一個 βj≠0。 F 統計量 = (SSR/k) / (SSE/(n-k-1)) = (R²/k) / ((1-R²)/(n-k-1)) 其中 SSR = SST-SSE 是模型解釋的變異。F 服從 F(k, n-k-1) 分佈。 如果 p(F) < α,拒絕 H0,代表這組 X 變數整體來說對 Y 有解釋力。 【範例】n=440, k=3, R²=0.170。 F = (0.170/3) / ((1-0.170)/436) = 0.05667 / 0.001904 ≈ 29.76 p(F) ≈ 0.000,遠小於 0.05 → 拒絕 H0。 結論:在 5% 顯著水準下,家庭人數、居住年數、年收入作為一組對垃圾量有顯著解釋力。 【個別 t 和聯合 F 的關係】 - 所有個別 t 都顯著 → F 一定顯著。 - F 顯著 → 不代表每個個別 t 都顯著(可能只有部分顯著)。 - 所有個別 t 都不顯著 → F 可能還是顯著(共線性造成的)。 考試技巧:如果只有一個解釋變數(k=1),t² = F 恰好成立,t 檢定和 F 檢定等價。
- F 檢定 H0: β1=...=βk=0(全部沒用) vs H1: 至少一個 ≠ 0
- F = (R²/k)/((1-R²)/(n-k-1)),服從 F(k, n-k-1)
- F 顯著只代表「至少一個有用」,不告訴你是哪一個——看個別 t
- k=1 時 t² = F,兩個檢定等價
- F 大但個別 t 都不顯著 → 可能有共線性問題
一起拆計算
範例 1:迴歸輸出:n=440, k=3, R²=0.170, β̂_家庭人數=7.1943, SE=1.092。(a) 算 Adj. R² (b) 算 t 值 (c) β̂ 的 95% 信賴區間(假設 t*≈1.96)
- (a) Adj. R² = 1-[(1-0.170)·439/436] = 1-[0.830·1.00688] = 1-0.8357 ≈ 0.1643
- (b) t = 7.1943/1.092 ≈ 6.59
- (c) CI = 7.1943 ± 1.96·1.092 = 7.1943 ± 2.1403 = [5.054, 9.335]
- CI 不包含 0,和 t 檢定顯著一致
所以答案是:Adj. R²≈0.164, t≈6.59 (顯著), 95% CI=[5.05, 9.33]
範例 2:模型 A: k=2, R²=0.15, n=100。模型 B: k=5, R²=0.18, n=100。哪個 Adj. R² 更高?
- A: Adj.R² = 1-[(1-0.15)·99/97] = 1-[0.85·1.0206] = 1-0.8675 = 0.1325
- B: Adj.R² = 1-[(1-0.18)·99/94] = 1-[0.82·1.0532] = 1-0.8636 = 0.1364
- B 的 Adj.R²(0.1364) 略高於 A(0.1325),但差距很小(0.004)
- 多加 3 個變數只提升 R² 0.03、Adj.R² 0.004,可能不值得
所以答案是:B 略高 (0.1364 vs 0.1325),但提升極微,需考慮模型簡約性。
這裡最容易算錯
- 把 Df Model 當殘差自由度:殘差 df = n-k-1,模型 df = k
- 把個別 t 和聯合 F 搞混:t 測單一變數,F 測全部變數的聯合效果
- 把顯著係數解讀為因果:迴歸只測關聯,因果需要實驗設計或因果推論方法
- R²=0.17 就說模型差:R² 的好壞取決於領域,社會科學 0.17 已不低
- 只看 R² 不看 Adj. R² 來比較不同 k 的模型:R² 只增不減,比較要用 Adj. R²
換你快速判斷
先口述定義、條件與下一步,再展開答案;公式不是取代條件檢查的捷徑。
1含截距、k 個斜率的殘差自由度?
n-k-1
扣掉 k 個斜率和 1 個截距。
2Adjusted R² 的用途?
對加入更多變數施加複雜度懲罰
不能只靠增加變數保證上升。
3係數 t 值如何算?
coef / standard error
檢查單一係數相對於 0。
4聯合 F 檢定的 H0?
所有斜率係數同時為 0
與單一係數 t 檢定不同。
最後用考古題自評
請先在紙上完成推導,再依非官方解析與逐項自評標準檢查;本流程不產生虛假的 A–E 分數。
開始本課考古題自評參考來源
- 114 學年度台大資管所招生筆試原卷 — 國立臺灣大學
- OpenIntro Statistics, Fourth Edition — Diez, Barr, Cetinkaya-Rundel
- NIST/SEMATECH e-Handbook of Statistical Methods — NIST/SEMATECH