線形モデル

① モデル：単回帰の式と比べる

第2章の単回帰は、説明変数 $x$ が1本の直線の式でした。$a$ が切片、$b$ が傾きです。重回帰の式をその下に並べます。

変わったのは次の3か所です。

偏回帰係数も、中身は傾きです。$b_1$ は $x_1$ の方向の傾き、$b_2$ は $x_2$ の方向の傾きです。ただし「他の変数は動かさず、その変数だけを動かしたときの傾き」なので、英語の partial（部分的な）を訳した「偏」を付けて呼び分けます。この「他を動かさない」が重回帰でいちばん大事なところで、② で詳しく見ます。

誤差は、直線から外れるズレの分です。第2章の $y = a + bx$ は直線そのもので、この $y$ は直線上の予測値でした。でも実際の家賃は直線の上にぴったりは乗らず、上下にずれます。重回帰の式は $y$ を実際の値として書くので、そのズレを誤差として足しています。第2章の残差は、このズレをデータから測ったものです。予測するときはズレの向きが分からないので、誤差を外した式を使います（下の例の式）。

② 偏回帰係数の意味：「他を固定して」がキモ

$b_2 = -0.10$ の意味は「広さを一定にしたまま、駅徒歩が1分延びると家賃が平均 0.10万円 下がる」です。偏回帰係数とは「他の変数を固定したときの、その変数だけの効果」のことです。

では「固定」しないと何が起きるのでしょうか。現実のエリアでは駅から遠い物件ほど広い傾向があります。この状態で「徒歩 → 家賃」だけの単回帰を引くと…

③ 出力表の読み方：その係数は「偶然」ではないか（t検定）

第2章の単回帰では、傾きと切片を公式に当てはめて手で計算できました。重回帰ではそれをやりません。説明変数が2本以上あると、係数は連立方程式をまとめて解く形になり、手計算は現実的でないからです。そこで統計ソフト（Excelの分析ツール、R、Python、SPSS など）に計算させ、その計算結果の一覧表を読みます。これを出力表と呼びます。

つまり重回帰で問われるのは「係数を計算できるか」ではなく「出てきた表を読めるか」です。試験でも、この表の一部を空欄にして読ませる形で出ます。各係数には「本当は0（その変数は影響しない）なのでは？」を検定した結果も並びます。

R² = 0.82　R²adj = 0.80　（n = 20、自由度 $n-k-1 = 17$）

ここで標準誤差は「何のばらつき」でしょうか。第6章で出てきた「標本平均が母平均からどれくらいズレるか」とまったく同じ考え方で、主役が平均から係数に変わっただけです。

この場面の母集団は「そのエリアの物件ぜんぶ」、標本は「たまたま手に入った20件」です。本当に知りたいのは母集団での真の効果 $\beta_2$（母回帰係数）ですが、見えるのは20件から計算した $b_2 = -0.10$ という推定値だけです。もし別の20件だったら、$b_2$ も違う値になります。

これで $t$ 値を組み立てられます。第8章の型は「（推定値 − 仮説の値）÷ 標準誤差」でした。回帰係数でも骨組みは同じで、中身が入れ替わるだけです。回帰係数の検定で確かめたいのは「この変数は本当は影響しない（真の係数 $\beta_2$ が $0$）のでは？」なので、帰無仮説は $H_0:\ \beta_2=0$ で、仮説の値は $0$ になります。

出力表の $t$ が「係数 ÷ 標準誤差」という単なる割り算に見えるのは、引くべき仮説の値が $0$ だからです（$-0.10 - 0 = -0.10$ で、分子に係数がそのまま残る）。自由度は $n-k-1$ です。推定した係数の本数だけ目減りします。

単回帰なら、傾きの標準誤差は手で計算できる

説明変数が1つの単回帰なら、重回帰の偏回帰係数で気にしていた「他の説明変数との重なり」は、相手がいないので消えます。残りの3つ（残差の大きさ、$x$ のばらつき、データ件数 $n$）だけから計算できます。これだけなら複雑ではないので、ソフトに頼らず手で計算できます。第2章で求めた傾き $b$ に、ここで学んだ「標準誤差で割って $t$ にする」を当てはめると、傾きの検定と信頼区間が作れます。

式を見ると、上の表の材料がどう効くかを確かめられます。残差の大きさ $s_e$ は分子にあるので、小さいほど標準誤差は小さくなります。$x$ のばらつき $\sum(x_i-\bar{x})^2$ は分母にあるので、大きいほど標準誤差は小さくなります。データ件数 $n$ も、$\sum(x_i-\bar{x})^2$ が $n$ 個の足し算であるという形で分母に入っていて、件数が増えるほど標準誤差を小さくします。

※ 単回帰では「傾き $b=0$」「相関係数 $\rho=0$」「回帰全体の $F$ 検定」の3つは同じ検定で、結論は必ず一致します（$t^2 = F$）。出力表に3つ並んでいても、見ている中身は1つです。

④ R² と 自由度調整済み R²：変数を増やすほど R² は「必ず」上がる罠

上の表の下に添えられていた $R^2 = 0.82$ が、第2章の決定係数（説明できる変動の割合）です。単回帰では、$x$ を見ずに全員を平均 $\bar{y}$ と予測する水平な直線で残差を取ったときと比べて、回帰直線で残差を取ったときにどれだけマシになるかを測る指標でした。

重回帰でも考え方は同じです。説明変数が2本になると、比べる相手の水平な直線は、高さ $\bar{y}$ の水平な平面になります。この水平な平面で残差を取ったときと比べて、回帰平面で残差を取ったときにどれだけマシになるかが、重回帰の $R^2$ です。

ただし、重回帰の $R^2$ には重大な罠が1つあります。説明変数を増やすと、それがゴミ変数でも R² は絶対に下がらないのです。

⑤ どの変数の影響が一番大きいか：標準化偏回帰係数

出力表の係数は 広さ $0.12$、駅徒歩 $-0.10$ です。数字だけならほぼ互角に見えます。でも $0.12$ は「1m² あたり」、$-0.10$ は「1分あたり」です。単位が違うので、この2つを並べても意味がありません（円とドルを数字だけで比べるのと同じ）。

比べるには共通の通貨に両替します。使うのは SD（標準偏差）です。第1章の標準化と同じく、「SD 何個分か」で数えれば単位が消えます（SD は広さなら10m²、駅徒歩なら5分）。どの変数も「SD 1個分動かすと、家賃が SD 何個分動くか」に揃えれば、はじめて勝負がつきます。

⑥ 多重共線性：説明変数どうしが似すぎていると壊れる

重回帰の代表的な落とし穴です。ここに引っかかると、③の有意判定も⑤の $\beta$ の順位づけも当てになりません。説明変数どうしが強く相関している（例：広さと部屋数、身長と体重）と、②の「他を固定してこの変数だけ動かす」という前提（同じ部屋数のまま広さだけ違う物件）が実データにほとんど存在せず、係数の推定が不安定になります。これを多重共線性（マルチコ）と呼びます。

⑦ ダミー変数：「南向きかどうか」を回帰に入れる

広さや駅徒歩は数値なのでそのまま式に入れられました。では「南向きかどうか」「駅がJRか私鉄か」のような質的変数はどうするのでしょうか。答えは単純で、0 と 1 に置き換えて数値のふりをさせるだけです。この 0/1 の変数をダミー変数と呼びます。

例えば、次のようなシチュエーションを考えます。同じ広さの畑の区画を12個用意し、品種も水やりもそろえて、変えるのは肥料（A・B・C）だけにします。どの区画にどの肥料を使うかはくじ引きで決めます（第3章の無作為化）。育ったら、区画ごとの収穫量を量ります。

知りたいのは、肥料によって収穫量の平均は変わるのかです。同じ肥料どうしでも 47kg や 53kg とばらつくので、見た目の差が肥料のせいなのか、たまたまなのかを見分ける必要があります。

① なぜ t検定の繰り返しではダメか

肥料A・B・Cで収穫量に差があるかを調べるために、t検定で「AvsB、BvsC、AvsC」と3回検定すると、第8章 8 で見た多重検定の問題が起きます。本当は差がなくても、どれか1つが偶然有意になる確率は $1-(1-0.05)^3 \approx$ 14.3% に膨らみます（群が増えるほど悪化：5群なら10回比較で約40%）。

そこで分散分析では、個別に比べるのをやめ、「すべての群の平均は等しい」をまるごと1つの $H_0$ にして、1回の検定で判定します。その道具が意外にも「ばらつき（分散）の比較」なので、分散分析と呼びます。

② ばらつきを「群間」と「群内」に分解する

データ全体のばらつきは、よく見ると2種類の混合です。各データの全体平均からのズレを、群平均を経由して2段に分けると：

③ F統計量：「群の違い」が「個体差」の何倍か

群の違いが本物かどうかを見るには、②の図の群間のズレと群内のズレが、データ全体でそれぞれどれくらいの大きさかを、1つの数にまとめて比べます。

ただ、ズレにはプラスとマイナスがあるので、そのまま足すと打ち消し合って0になってしまいます。そこで第1章で分散を作ったときと同じく、2乗してから足します。群間のズレを全データで2乗して足したものを群間の平方和 $SS_{\text{間}}$、群内のズレのほうを群内の平方和 $SS_{\text{内}}$ と呼びます。

全データで足すので、同じ肥料の4区画が同じ大きさの緑の正方形を持ち、群間の平方和には群のデータ数（4）が掛かります。

もう1つ、群間と群内では、自由に動けるズレの数が違います。群内のズレは12個ありますが、群ごとに平均を引いているので、自由に動けるのは 12 − 3 ＝ 9個ぶんです。

群間のズレは、3つの群平均から全体平均を引くので、3 − 1 ＝ 2個ぶんしかありません（これらが自由度です）。数の多い群内のほうが、合計は自然と大きくなります。そこで、平方和を自由度で割った「1自由度あたりのばらつき」で比べます。これを平均平方と呼びます。

もし $H_0$（全群の平均が等しい＝肥料に差なし）が正しければ、群間のばらつきと群内のばらつき（誤差）は、1自由度あたりにならすと同じ程度になります。

群間が群内に比べて不自然に大きいなら、群の違いは本物です。ばらつきの大きさを比べるときは、差ではなく比をとるのでした。そして、その比が従う分布が第6章の F分布でした。ここでも「群間の平均平方 ÷ 群内の平均平方」という比をとり、F分布で判定します。

棄却域は右の裾（上側）だけに取ります。群の平均に差があると、分子の群間の平均平方だけが大きくなり、分母の群内の平均平方は差があってもなくても変わらないからです。群の平均の差によって、F値は大きくなる方向にしか動きません。逆に、上の「差がない世界」の図では、F は約0.6でした。$H_0$ が正しければ F は1前後でゆれ、1より小さくなることもよくあります。
なお、F分布を使う検定がいつも片側とは限りません。第8章の等分散の検定は両側です。

体感：2つのつまみで F がどう動くか

F の意味はスライダーでつかむのが早道です。「群平均の間隔」と「群内のばらつき」を別々に動かして、F と判定がどう変わるか見てください。3群×各4区画なので、自由度は (2, 9) です。棄却ラインは、F分布表で読む上側5%点 $F_{0.05}(2,\,9)=4.26$ です。

① 平方和を2つに分解して計算

② 分散分析表：試験は「この表の穴埋め」で出る

③ 判定

棄却ラインは、自由度 (2, 9) の上側5%点 4.26 です。
$F = 18.8 > 4.26$ → H₀ を棄却。肥料によって収穫量の平均に有意な差がある。
直感でも：群平均が5kg刻みで離れている（群間MS=100）のに、群内の個体差はわずかです（群内MS=5.33）。「差 ÷ ノイズ」が18.8倍なら偶然では説明できません。

要因を2つ同時に調べたいとき（例：肥料（A/B）× 品種（X/Y））に使うのが二元配置分散分析です。ばらつきを「肥料の効果」「品種の効果」「誤差」…とさらに細かく分解します。ここで新しい概念が1つだけ登場します：

交互作用の有無は、折れ線グラフの形で一目で判別できます（試験でもこの図の読み取りが出ます）：

※ 2級では、二元配置は「主効果・交互作用の概念」と「この折れ線グラフの読み取り」ができれば十分です。平方和の手計算は一元配置まで押さえれば OKです。

第3章で学んだフィッシャーの3原則（反復・無作為化・局所管理）を覚えていますか。あれは「良いデータを集める設計」の話でした。実はあの3原則は、この章の分散分析で解析されることを前提にした設計だったのです：