2変数以上のデータ

身のまわりには、こんな「2つの量の関係」があふれています。

こうした関係を、まずは数式を使わず目で見るところから始めます。関係の向き・強さ・形は、散布図を1枚描けばほとんど分かります。

散布図とは

横軸 $x$ と縦軸 $y$ に2つの変数を取り、各データを1点としてプロットしたものを散布図といいます。点の並び方は、大きく分けて次の3パターンです。

相関をスライダーで体験

相関係数 $r$ を動かすと、点の散らばり方がどう変わるかを観察しましょう。

共分散（covariance）

共分散は、各点を「平均からのズレ」で見て、x のズレと y のズレの符号が同じか反対かを集計する量です。

共分散は、この緑の点たちと赤の点たちの綱引きです。各点の「ズレ×ズレ」を足し合わせるので、緑（正の寄与）が勝てば共分散は正、赤（負の寄与）が勝てば負になります。上の図では緑が4点、赤が2点で、しかも赤は平均のすぐ近くにあって力が弱いので、共分散は正です。つまり共分散を計算すれば、散布図を描かなくても正の相関か負の相関かを符号1つで判断できます。

共分散の問題点

符号は分かる一方で、共分散の大きさから「相関の強さ」を判断しようとすると、2つの問題があります。

問題点①：同じデータでも、単位を変えると共分散の値が変わる

同じ5人の身長と体重のデータがあるとします。身長を cm で測るか mm で測るかだけ違う2パターンを比べてみます。

問題点②：異なる変数ペアどうしで強さを比較できない

同じ5人について、別の組み合わせも見てみます。

ピアソンの相関係数

上の2つの問題（単位依存・ペア間比較不能）を解決するために、共分散をそれぞれの標準偏差で割って正規化します。これがピアソンの相関係数です。

先ほどの2つのペアに相関係数を適用すると

相関係数で見ると明らかに A の方が強い相関（0.997 vs 0.682）と判断できます。共分散の大小に騙されなくなりました。

※ ちなみにパターン A の身長を mm に変えても、$s_x$ も10倍、$s_{xy}$ も10倍になるため、$r$ の値は完全に同じ 0.997 です。これが「単位に依存しない」ということです。

別の計算例（10人の数学と物理の点数）

⚠️ 罠①：相関は因果ではない

これは統計を学ぶうえで最も重要な原則の1つです。

疑似相関を見破る道具：層別した散布図

交絡因子が疑わしいとき、いちばん簡単な確かめ方は、その第3の変数でデータをグループ分けしてから散布図を見ることです。この操作を層別といいます。「暑い日どうし」「涼しい日どうし」で比べても相関が残るなら本物の関係、消えるなら気温のせいだったと分かります。

疑似相関を見破るもう1つの道具：偏相関係数

層別を「数値」でやるのが偏相関係数です。第3の変数 $z$ の影響を $x$ と $y$ の両方から取り除いたうえで、残った $x$ と $y$ の相関を測ります。

材料は3つの相関係数だけです。3つ以上の変数があるとき、すべてのペアの相関係数を表にまとめたものを相関行列と呼びます。上のデータの相関行列はこうなります。

※ 対角線は自分自身との相関なので必ず 1、対角線をはさんで対称です。実質的な情報は右上（または左下）の3つだけです。

偏相関係数がほぼ $0$ なら疑似相関の疑いが濃厚です。逆に $z$ を除いても相関が残るなら、少なくとも $z$ のせいではありません（ただし別の交絡因子が隠れている可能性は残ります）。

⚠️ 罠②：外れ値1つで相関係数は大きく変わる

相関係数は外れ値の影響を強く受けます。たった1つの外れた点で値が劇的に変わることがあります。

⚠️ 罠③：ピアソン相関は「直線関係」しか測れない

$y = x^2$ のような曲線関係の場合、ピアソン相関係数はほぼ 0になります。「相関なし」ではなく「線形相関なし」と理解する必要があります。

⚠️ 罠④：同じ統計量でも形は全く違う（アンスコムのカルテット）

下の4つのデータセットは、平均・分散・相関係数・回帰直線がほぼ全て同じです。しかし散布図は…

これまでは「2変数に関係があるか」を見てきました。ここからは一歩進んで「予測」に挑戦します。まずはこの散布図から：

たぶん「6くらいかな」と、点の並びの傾向から目分量で読めたはずです。この「なんとなくの目分量」を、誰がやっても同じ答えになる道具に変えるのがこの節のゴールです。実務でもこの「予測」は至る所に登場します：

予測の道具は「関数」：その最小形が直線

欲しいのは「$x$ を入れると $y$ の予測値が1つ返ってくる仕組み」です。数学でいう関数です。その中でいちばんシンプルな関数が直線です。そこで、散布図の傾向を代表する1本の直線を引き、それを「回帰直線」と呼びます。この線さえ引ければ、どんな $x$ でも線をなぞるだけで $y$ を予測できます。

a と b をどう決める？　最小二乗法

直線の候補は無数にあり、データ点はバラついているのですべての点を通る1本は引けません。そこで「データから一番近い」直線を選びます。「近さ」を測るのが残差（＝観測値 − 予測値）です。

公式：最小二乗解。覚えるのは「1つの点」と「1つの傾き」

最小二乗法の答えがこの $a, b$ です。これを $y = a + bx$ に代入したものが、回帰直線の（完成した）式になります。

決定係数 $R^2$ ：モデルの「説明力」

回帰直線が引けたら、次に気になるのは「この直線、データにどれくらいしっくりハマってるの？」です。観測値 $(x_i, y_i)$ は回帰直線のぴったり上には乗らず、線から少しズレて散らばっています。これが残差でした。この残差（線とのズレ）を全データ分集めたとき、どれだけ小さく抑えられているか（言い換えると、点がどれだけ線に沿っているか）を0〜1の数値で表すのが決定係数 $R^2$ です。

まずは、決定係数が低い例と高い例を見てみましょう。

決定係数は「残差がどれだけ小さく抑えられているか」と言いましたが、それを $0$〜$1$ の範囲に数値化するにあたって、$x$ を見ずに全員を平均 $\bar{y}$ と予測したときの残差と比べて、回帰直線で予測したときの残差がどれだけマシかを数値にしたもの、とも言えます。$R^2 = 0.16$ のデータで、この2種類の残差を見比べます。

点線が残差です。点線の長さを2乗して全部足すと、左を $100$ としたとき右は $84$ で、$16$% しか減っていません。平均で予測したときと大差ないからこそ、$R^2$ は $0.16$ と低いのです。

$R^2 = 0.87$ のデータで同じ2枚を描くとこうなります。

回帰直線からの残差はどれも短くなり、2乗和は左を $100$ として右が $13$、つまり $87$% 減っています。この「平均予測からの改善率」が決定係数です。

薄々気づいた方もいるかと思いますが、データが直線的に並んでいるほど、つまり2 の相関係数 $r$ が高いほど、決定係数も大きくなる性質があります（誤解されやすいですが、直線の傾きの大きさは関係ありません。緩い傾きでも点がぴったり乗っていれば $R^2$ は高くなります）。実は単回帰の場合、決定係数は相関係数の2乗と一致します。上の例なら $R^2 = 0.16$ は $r \approx 0.40$、$R^2 = 0.87$ は $r \approx 0.93$ のデータです。なぜそうなるかは、式を見たあとで説明します。

決定係数が極端な例も見ていきましょう。

相関係数との関係：単回帰では $R^2 = r^2$

さきほど予告した「決定係数は相関係数の2乗」の理由です。極端な3パターンで確かめると、$R^2 = 1$ の図は点が直線に乗っているので $r = 1$（右下がりなら $-1$）、$R^2 = 0$ の雲は $r = 0$ で、たしかに2乗の関係です。

偶然ではありません。単回帰では引ける直線は1本だけなので、$r$ も $R^2$ も同じ「その1本にどれだけ沿っているか」を測っています。違いは、$r$ が向きつきで $-1$〜$1$、$R^2$ が向きを捨てて $0$〜$1$ で表すことだけです。だから単回帰では必ず $R^2 = r^2$ になります。$r = 0.9$ なら $R^2 = 0.81$ で「$y$ の変動の 81% を $x$ で説明できる」と読みます。逆に $R^2$ から $r$ に戻すときは、符号を回帰直線の傾きから決めます。

※ この関係は説明変数が1つのときだけです。第10章の重回帰では、$R^2$ は個々の説明変数との相関係数の2乗とは一致しません。

残差分析：「そもそも直線で当てはめていいか？」を確認する

$R^2$ は「数値での説明力」を測る指標ですが、そもそもこのデータに直線モデルを当てはめていいのかは別問題です。それを目で確認するのが残差プロット（residual plot）です。

曲がっていたら変換する：変数変換

ある会社の12年分の売上データがあります。知りたいのは「まだ来ていない13年目の売上はいくらか」です。手元のデータで回帰直線を作り、$x = 13$ を入れれば予想が出ます。ところがこのデータ、下の図のように点が上に曲がって伸びています。

直線はこの曲がりを追えないので、12年目の時点ですでに予測（460万円）が実測（705万円）を大きく下回り、13年目の予想も同じように低めに外れます。残差プロットの曲線パターンは「この直線は端で外す」という警告でした。

曲線の式を使ってもよいのですが、最小二乗法の道具は直線用にできています。そこで、データの目盛りのほうを変えて、直線が当てはまる形に直します。これが変数変換です。売上のように「毎年○倍」で増えるデータなら、$y$ の対数をとると点が直線に乗ります。直線を1年ぶん延ばして、元の単位に戻せば、曲がりに沿った予想になります。

変換後に $R^2$ が上がるのは、直線が合うようになったことの現れで、それ自体が目的ではありません。目的はあくまで「外さない予測」です。変換後の傾きにも意味があり、対数なら「1年で何倍になるか」を表します。

どの変換を選ぶかは、データの増え方で決めます。

※ 変換したモデルで予測した値は、元の単位に戻して使います（$\log_{10} y$ で予測したら $10^{\text{予測値}}$）。試験では「対数をとると直線に近づく」と読み取れれば十分で、どの底の対数かは問題側で指定されます。

これまでは数値データの関係を見てきましたが、データはカテゴリ（質的データ）のこともあります。たとえば「血液型と性別」「喫煙習慣と肺疾患」などです。これらを2次元の表で集計したものが分割表（クロス集計表）です。

例：喫煙習慣と肺疾患の関係

ある調査で 300人を「喫煙習慣あり／なし」と「肺疾患あり／なし」で分類しました。

表の内側にある4つの数（30、70、180、20）を同時度数と呼びます。「喫煙者で、かつ健康」のように、2つの条件を同時に満たす人数です。右端と下端の合計（100、200、210、90）は周辺度数です。片方の変数だけで数えた人数で、表のふち（周辺）に並ぶのでこう呼びます。右下の 300 は全員の人数で、総度数と呼びます。

条件付き分布で「関連性」を見る

関連を直感的に掴むには、条件付き割合（行や列内での比率）を見るのが分かりやすいです。

喫煙者の肺疾患率（70%）は非喫煙者（10%）の約7倍です。これだけ差があれば、関連がありそうだと感じます。ただしこれは見た目の判断で、「何倍以上なら関連あり」という決まりがあるわけではありません。関連の有無をきちんと判定するには、「もし関連がなかったら表はどうなるはずか」を基準にして、そこからのズレを測ります。次でその基準を作ります。

独立とは

「関連がない」、つまり「喫煙の有無」が「肺疾患の有無」にまったく影響しない状態を、統計では2つの変数が独立であると言います。独立なら、喫煙者でも非喫煙者でも肺疾患率は同じになるはずです。
全体の肺疾患率は $90/300 = 30\%$ なので、独立なら両グループとも30%程度になるはずです。

2×2分割表ではオッズ比も使える

公式の前に、まずオッズ（odds）という数を知っておきましょう。オッズとは「起きた度数 ÷ 起きなかった度数」のことです。競馬のオッズと同じ語源で、「起きやすさ」を1つの数で表します。

この2つのオッズの比を取ったものがオッズ比です。「喫煙すると、肺疾患の起きやすさ（オッズ）が何倍になるか」を表します。

クラメールの V：$2 \times 2$ より大きい表でも使える関連の強さ

オッズ比は$2 \times 2$ 表専用です。3行3列、4×5列などもっと大きな分割表でも「関連の強さ」を測りたいとき、よく使うのがクラメールのV (Cramér's V)です。「分割表版の相関係数」のような立ち位置です。

クラメールのVは、式の中に出てくる $\chi^2$（カイ二乗）ともども、第9章で正式に扱います。ここで式を覚える必要はありません。「0 から 1 の値をとり、1 に近いほど関連が強い」という雰囲気だけつかんでおけば十分です。