內容已複查
45 分鐘 · 4 張概念卡 · 1 題對應考古題

讀懂多元迴歸儀表板

題面來自台大官方試卷;解答與逐項自評標準(rubric)為本站技術覆核的非官方內容,申論與推導一律採自評。

第一次接觸也沒關係

這堂先懂這些詞

先記住白話意思,不必急著背英文。看到正文時,再把正式名稱接回來。

多元線性迴歸

也會看到:multiple regression、multiple linear regression、多元迴歸、outcome、predictor、intercept、slope

多元線性迴歸用一個截距與多個斜率,描述多個預測變數和一個結果變數之間的線性關係。

生活例子:
同時用家庭人數、收入與居住面積來預測每週垃圾量。
別搞混:
迴歸找的是在模型與資料條件下的關聯,單靠係數顯著不能證明某變數造成結果。

迴歸係數、標準誤與 t 值

也會看到:coefficient、coef、standard error、std err、SE、t-statistic、t=coef/SE

係數是估計的影響方向與大小,標準誤 SE 是係數的不確定程度,t=coef/SE 讀作「t 等於係數除以標準誤」,表示效果相對噪音有多大。

生活例子:
若收入係數是 7 而標準誤約 1,表示估計效果相對其不確定程度算大。
別搞混:
t 值不是 p 值,係數大也不必然顯著,還要看標準誤與參考分配。

殘差與殘差自由度

也會看到:residual、error、Df Residuals、residual degrees of freedom、df=n-k-1

殘差是實際值減模型預測值,殘差自由度是扣掉估計參數後仍可用來估計誤差的獨立資訊量;df=n-k-1 讀作「自由度等於樣本數 n 減斜率數 k 再減一」。

生活例子:
440 戶資料估計 3 個斜率加 1 個截距後,剩下 436 份殘差自由度。
別搞混:
Df Model 通常是模型斜率數,不是殘差自由度;公式中的減一通常來自截距。

決定係數與調整後決定係數

也會看到:R²、R-squared、coefficient of determination、adjusted R²、Adj. R-squared

R² 讀作「R 平方」,表示模型解釋結果變動的比例;adjusted R² 讀作「調整後 R 平方」,會對加入過多預測變數扣分。

生活例子:
垃圾量模型的 R²=.17,可白話理解為樣本中約 17% 的垃圾量差異被模型解釋。
別搞混:
R² 高不等於模型有因果性或預測一定準,adjusted R² 也不是所有模型品質的唯一標準。

整體 F 檢定

也會看到:F-test、joint F-test、F-statistic、Prob(F-statistic)

整體 F 檢定把所有斜率同時為 0 當作 H₀,檢查整組預測變數是否共同提供解釋力;F 讀作英文字母「F」。

生活例子:
不是逐一問每個旋鈕,而是一次問儀表板上的所有旋鈕合起來是否比完全不用更有用。
別搞混:
F 檢定顯著只表示至少一個斜率可能非零,不會告訴你是哪一個,也不等於每一個都顯著。

逐項自評標準

也會看到:rubric、評分規準

把完整推導拆成可以逐步核對的要點,幫你找到漏掉的條件或計算步驟。

生活例子:
像算完帳後依序檢查金額、單位、公式與最後結論。
別搞混:
它不是官方配分,也不會把合理但不同的推導方式判成錯誤。

用 114-4 解讀 adjusted R²、殘差自由度、係數 t 值與整體 F 檢定。

先抓住這幾件事

  • 寫出多元迴歸模型 Y = β0 + β1X1 + ... + βkXk + ε 並解釋每個符號
  • 由 n 和 k 算殘差自由度 df = n-k-1,解釋為什麼要減 k+1
  • 由 coefficient/std error 算 t 值,判斷個別係數是否顯著
  • 區分 R²、adjusted R² 和 F 檢定的用途

先想像這個場景

垃圾量預測儀表板

儀表板有多個旋鈕解釋家庭垃圾量,但多裝旋鈕不代表模型真的更好。

先別急著套公式,花十秒想一想:

哪個數字會對無用旋鈕扣分?整組旋鈕是否有用又看哪裡?

把故事換成統計語言

生活中的角色對應到統計概念
每個旋鈕效果regression coefficient
效果相對噪音t=coef/std err
對多裝旋鈕扣分adjusted R²
整組旋鈕共同測試joint F-test

題目出現這些字,先想到

  • Adj. R-squared
  • Df Residuals
  • coef/std err
  • Prob(F-statistic)

1.多元迴歸模型:一個方程多個解釋變數

多元迴歸模型寫成 Y = β0 + β1X1 + β2X2 + ... + βkXk + ε,其中 Y 是要預測的反應變數,X1~Xk 是 k 個解釋變數,β0 是截距(所有 X 都等於 0 時 Y 的預測值),β1~βk 是斜率(每個 Xi 增加 1 單位、其他 X 固定時,Y 的預期變化量),ε 是隨機誤差。 【重要假設】ε ~ N(0, σ²) 且各觀測值的 ε 彼此獨立。實務上還假設 X 之間沒有嚴重共線性、Y 和 X 的關係確實近似線性。 估計用最小平方法 (OLS):找 β̂0, β̂1,...,β̂k 使得殘差平方和 SSE = Σ(yi-ŷi)² 最小。 【範例】114 考題的模型:垃圾量 = β0 + β1·家庭人數 + β2·居住年數 + β3·年收入。 這裡 k=3(三個解釋變數),如果有 n=440 筆資料,殘差自由度 = n-k-1 = 440-3-1 = 436。 為什麼減 k+1?因為估計了 k+1 個參數(k 個斜率 + 1 個截距),每估計一個參數「用掉」一個自由度。

  • 模型:Y = β0 + β1X1 + ... + βkXk + ε,ε 假設 iid N(0,σ²)
  • βj 的解讀:其他 X 固定時,Xj 增加 1 單位對 Y 的預期影響
  • OLS 最小化 SSE = Σ(yi-ŷi)²,找最佳 β̂
  • 殘差自由度 df = n-k-1(n 筆資料、k 個斜率、1 個截距)
  • β0 的解讀要小心:所有 X=0 時 Y 的預測值,但 X=0 可能在 support 外

2.個別係數檢定:t 值告訴你這個變數有沒有用

對每個係數 βj,我們想檢定 H0: βj=0(這個變數對 Y 沒有影響)vs H1: βj≠0。 t 統計量 = β̂j / SE(β̂j),其中 SE 是 coefficient 的 standard error。t 值越大(絕對值),越有信心 βj ≠ 0。 對應的 p 值來自 t(df) 分佈,df = n-k-1。p < α(通常 0.05)就拒絕 H0,認為 Xj 的效果顯著。 【範例】某迴歸輸出: 變數 coef std err t p 家庭人數 7.1943 1.092 6.59 0.000 居住年數 0.1432 0.213 0.67 0.502 年收入 0.0023 0.0008 2.88 0.004 解讀:家庭人數(p<0.001)和年收入(p=0.004)顯著,居住年數(p=0.502)不顯著。 考試考法:常給 coef 和 std err,要你手算 t = coef/std err,或者反過來給 t 和其中一個求另一個。 考試陷阱:個別 t 檢定只能說「在其他變數已在模型中的情況下,這個變數是否有額外貢獻」。如果兩個 X 高度相關(共線性),可能兩個的 t 都不顯著,但它們合在一起很有用——這時要看 F 檢定。

  • t = β̂j / SE(β̂j),衡量「效果大小 ÷ 不確定性」
  • p 值來自 t(n-k-1) 分佈,p < 0.05 通常判定顯著
  • t 檢定是「條件性」的:在其他 X 已入模的前提下測額外貢獻
  • 共線性高時個別 t 可能都不顯著,但聯合 F 可能顯著
  • 95% 信賴區間:β̂j ± t*·SE(β̂j),不包含 0 等價於 p<0.05

3.R²、adjusted R² 與模型解釋力

R² (coefficient of determination) = 1 - SSE/SST,其中 SST = Σ(yi-ȳ)² 是總變異,SSE = Σ(yi-ŷi)² 是殘差變異。R² 表示「模型解釋了多少比例的 Y 的變異」,介於 0 和 1 之間。 問題:多加一個 X 變數,R² 一定會增加或不變(即使那個 X 根本沒用)。所以不能只看 R² 比較不同複雜度的模型。 Adjusted R²(調整後 R²)對模型複雜度做懲罰: Adj. R² = 1 - [(1-R²)·(n-1)/(n-k-1)] 如果加入一個無用變數,R² 微增但 k 增加導致懲罰項變大,Adj. R² 可能下降。 【範例】n=440, k=3, R²=0.170。 Adj. R² = 1 - [(1-0.170)·(439)/(436)] = 1 - [0.830·1.00688] = 1 - 0.8357 = 0.1643 R² 和 Adj. R² 差 0.006,差距不大是因為 n 遠大於 k。當 n 接近 k 時差距會很明顯。 考試陷阱:R²=0.17 不代表模型「不好」。在社會科學中,R²=0.2 已經相當高。R² 的高低取決於領域和研究目的,沒有絕對標準。

  • R² = 1-SSE/SST,表示模型解釋的變異比例,0~1 之間
  • R² 只增不減:多加 X 一定 ≥ 原來,所以不能用 R² 比較不同 k 的模型
  • Adj. R² = 1-[(1-R²)(n-1)/(n-k-1)],對複雜度做懲罰
  • Adj. R² 可能因無用變數而下降,所以比 R² 更適合選模型
  • R² 的「好壞」沒有絕對標準,取決於領域和應用

4.F 檢定:所有變數是否共同有用

F 檢定檢驗 H0: β1=β2=...=βk=0(所有解釋變數都沒用)vs H1: 至少一個 βj≠0。 F 統計量 = (SSR/k) / (SSE/(n-k-1)) = (R²/k) / ((1-R²)/(n-k-1)) 其中 SSR = SST-SSE 是模型解釋的變異。F 服從 F(k, n-k-1) 分佈。 如果 p(F) < α,拒絕 H0,代表這組 X 變數整體來說對 Y 有解釋力。 【範例】n=440, k=3, R²=0.170。 F = (0.170/3) / ((1-0.170)/436) = 0.05667 / 0.001904 ≈ 29.76 p(F) ≈ 0.000,遠小於 0.05 → 拒絕 H0。 結論:在 5% 顯著水準下,家庭人數、居住年數、年收入作為一組對垃圾量有顯著解釋力。 【個別 t 和聯合 F 的關係】 - 所有個別 t 都顯著 → F 一定顯著。 - F 顯著 → 不代表每個個別 t 都顯著(可能只有部分顯著)。 - 所有個別 t 都不顯著 → F 可能還是顯著(共線性造成的)。 考試技巧:如果只有一個解釋變數(k=1),t² = F 恰好成立,t 檢定和 F 檢定等價。

  • F 檢定 H0: β1=...=βk=0(全部沒用) vs H1: 至少一個 ≠ 0
  • F = (R²/k)/((1-R²)/(n-k-1)),服從 F(k, n-k-1)
  • F 顯著只代表「至少一個有用」,不告訴你是哪一個——看個別 t
  • k=1 時 t² = F,兩個檢定等價
  • F 大但個別 t 都不顯著 → 可能有共線性問題

一起拆計算

範例 1迴歸輸出:n=440, k=3, R²=0.170, β̂_家庭人數=7.1943, SE=1.092。(a) 算 Adj. R² (b) 算 t 值 (c) β̂ 的 95% 信賴區間(假設 t*≈1.96)

  1. (a) Adj. R² = 1-[(1-0.170)·439/436] = 1-[0.830·1.00688] = 1-0.8357 ≈ 0.1643
  2. (b) t = 7.1943/1.092 ≈ 6.59
  3. (c) CI = 7.1943 ± 1.96·1.092 = 7.1943 ± 2.1403 = [5.054, 9.335]
  4. CI 不包含 0,和 t 檢定顯著一致

所以答案是:Adj. R²≈0.164, t≈6.59 (顯著), 95% CI=[5.05, 9.33]

範例 2模型 A: k=2, R²=0.15, n=100。模型 B: k=5, R²=0.18, n=100。哪個 Adj. R² 更高?

  1. A: Adj.R² = 1-[(1-0.15)·99/97] = 1-[0.85·1.0206] = 1-0.8675 = 0.1325
  2. B: Adj.R² = 1-[(1-0.18)·99/94] = 1-[0.82·1.0532] = 1-0.8636 = 0.1364
  3. B 的 Adj.R²(0.1364) 略高於 A(0.1325),但差距很小(0.004)
  4. 多加 3 個變數只提升 R² 0.03、Adj.R² 0.004,可能不值得

所以答案是:B 略高 (0.1364 vs 0.1325),但提升極微,需考慮模型簡約性。

這裡最容易算錯

  • 把 Df Model 當殘差自由度:殘差 df = n-k-1,模型 df = k
  • 把個別 t 和聯合 F 搞混:t 測單一變數,F 測全部變數的聯合效果
  • 把顯著係數解讀為因果:迴歸只測關聯,因果需要實驗設計或因果推論方法
  • R²=0.17 就說模型差:R² 的好壞取決於領域,社會科學 0.17 已不低
  • 只看 R² 不看 Adj. R² 來比較不同 k 的模型:R² 只增不減,比較要用 Adj. R²

換你快速判斷

先口述定義、條件與下一步,再展開答案;公式不是取代條件檢查的捷徑。

1含截距、k 個斜率的殘差自由度?

n-k-1

扣掉 k 個斜率和 1 個截距。

2Adjusted R² 的用途?

對加入更多變數施加複雜度懲罰

不能只靠增加變數保證上升。

3係數 t 值如何算?

coef / standard error

檢查單一係數相對於 0。

4聯合 F 檢定的 H0?

所有斜率係數同時為 0

與單一係數 t 檢定不同。

最後用考古題自評

請先在紙上完成推導,再依非官方解析與逐項自評標準檢查;本流程不產生虛假的 A–E 分數。

開始本課考古題自評

參考來源