2 相関係数とシュワルツの不等式

その方の言うには、相関係数 $r$ は、

$$r = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} =\frac{\displaystyl... ...e \sqrt{\sum_{i}(x_i-\bar{x})^2}\sqrt{\sum_{i}(y_i-\bar{y})^2}}$$ (1)

であり、 分子は $(x_i,y_i)$ というデータ点と $(\bar{x},\bar{y})$ を 2 頂点とする長方形の面積の和だけど、 分母がよくわからない、 $(x_i-\bar{x})^2$ は $\vert x_i-\bar{x}\vert$ を一辺とする正方形の面積だから、 その正方形の面積を全部足したものを面積とするような正方形の一辺の長さが $\sqrt{\sum(x_i-\bar{x})^2}$ なんだろうけど、 それと $y$ に対する同じようなものをかけたものは一体どういう意味か、 という話であった。

確かに上記の話自体に誤りはないし、 相関係数をイメージするために 数式を図形的にとらえようと考える工夫も論理的で非常に面白い。 ただ、それで分母に意味付けがなされて、 相関係数を視覚的に捉えることができるようになるかというと、 残念ながら私にはよくわからない。

実際、私は相関係数が 1 のときにそれが直線になる、 という説明を講義で行うときはベクトルの内積を使って説明している。 実は、相関係数が $-1$ から 1 の間にあること、 そしてそれが $\pm 1$ のときに点が直線的に並ぶこと、という部分は、 以下の シュワルツの不等式 から導かれる (ほぼ同等である)。

定理 1 (シュワルツの不等式)

正の実数 $a_i$, $b_i$ ( $i=1,2,\ldots,N$) に対して、次の不等式が成り立つ。

$$\sum_{i=1}^N a_ib_i \leq \sqrt{\sum_{i=1}^N a_i^2}\sqrt{\sum_{i=1}^N b_i^2}$$ (2)

なお、等号が成立するのは、

$$\frac{b_1}{a_1}=\frac{b_2}{a_2}=\cdots =\frac{b_N}{a_N}$$ (3)

の場合のみである。

このシュワルツの不等式は、$N$ 次元ベクトルの内積に対する不等式

$$\vert\vec{a}\cdot\vec{b}\vert\leq \vert\vec{a}\vert\vert\vec{b}\vert$$

と同等であることが知られているし、 他にもシュワルツの不等式の証明は 2 次式の判別式を利用する方法、 あるいは (2) の両辺を 2 乗した式の差を 2 乗の和の形に変形する方法などがあるが、 いずれも途中の式変形がやや面倒であるし、 またその方はベクトルや内積は忘れておられるようだったので、 その方のアイデアを参考に、図形による証明を考えてみた。 それを 3 節で紹介する。 ただし、定理 1 全体を図形で考えるのは さすがに無理があるので、それは前半の一部分だけである。

その前に、シュワルツの不等式と相関係数の関係について先に紹介しておく。 まず、シュワルツの不等式 (2) は、 $a_i$, $b_i$ が正でなくても成立することに注意する。 それは、定理 1 が成り立つならば、 $a_i$, $b_i$ が正でなくても 0 であるものが含まれていなければ、 それらの絶対値を考えることで定理 1 より

$$\sum_{i=1}^N a_ib_i \leq \sum_{i=1}^N \vert a_i\vert\vert ... ...i\vert^2} = \sqrt{\sum_{i=1}^N a_i^2}\sqrt{\sum_{i=1}^N b_i^2}$$

となるからである。この場合も等号が成立するのは、 この 2 つの不等号がともに等号となる場合だから、 すべての $i$ に対して $a_i$ と $b_i$ の符号が等しく ( $a_ib_i=\vert a_i\vert\vert b_i\vert$)、 かつ

$$\frac{\vert b_1\vert}{\vert a_1\vert}=\frac{\vert b_2\vert}{\vert a_2\vert}=\cdots =\frac{\vert b_N\vert}{\vert a_N\vert}$$

が成り立つ場合なので、よって結局 (3) と同じになる。

0 になるものが含まれている場合でも、 例えば簡単のため $N=3$ で、$a_1=0$、 $a_2,a_3,b_2,b_3$ は 0 ではないとすると、

$$\begin{eqnarray*}\lefteqn{a_1b_1+a_2b_2+a_3b_3 = a_2b_2+a_3b_3 \leq \sqrt{a_... ...^2}} &\leq& \sqrt{a_1^2+a_2^2+a_3^2}\sqrt{b_1^2+b_2^2+b_3^2}\end{eqnarray*}$$

となってシュワルツの不等式 (2) は成立する。 等号が成り立つのは、上の 2 つの不等号が等号になる場合だから、

$$\frac{b_2}{a_2}=\frac{b_3}{a_3},\hspace{1zw}a_1=b_1=0$$

でなくてはならない。 今仮に $0/0$ はすべての比に等しいとみることにすれば、 等号成立条件 (3) は、 0 が含まれていても成立することになる。 ただしその場合は、$a_i$ か $b_i$ の一方が 0 ならば、 もう一方も 0 でなければならないことを意味する。

さて、相関係数に話を戻そう。 (2) の不等式のすべての $a_i$ を $-a_i$ と変えた式を書けば、

$$-\sum_{i=1}^N a_ib_i \leq \sqrt{\sum_{i=1}^N a_i^2}\sqrt{\sum_{i=1}^N b_i^2}$$

となるので、これと (2) を組み合わせれば、

$$-\sqrt{\sum_{i=1}^N a_i^2}\sqrt{\sum_{i=1}^N b_i^2} \leq \... ..._ib_i \leq \sqrt{\sum_{i=1}^N a_i^2}\sqrt{\sum_{i=1}^N b_i^2}$$ (4)

となることがわかる。 (1) より、 この $a_i$, $b_i$ を $a_i=x_i-\bar{x}$, $b_i=y_i-\bar{y}$ として、 辺々を平方根の式で割れば $-1\leq r\leq 1$ が言えることになる。

そして、$r=1$ となるのは、条件 (3) と上の考察より、 すべての $i$ に対して $x_i-\bar{x}$ と $y_i-\bar{y}$ が同符号で

$$\frac{y_1-\bar{y}}{x_1-\bar{x}} =\frac{y_2-\bar{y}}{x_2-\bar{x}} =\cdots =\frac{y_N-\bar{y}}{x_N-\bar{x}}$$

の場合となる。この比を $\alpha$ とすれば $\alpha>0$ で、 すべての $i$ に対して

$$y_i-\bar{y}=\alpha (x_i-\bar{x})$$

となるわけだから、すべての点 $(x_i,y_i)$ が傾き $\alpha$ の直線

$$y-\bar{y}=\alpha (x-\bar{x})$$

に乗ることとなる。

一方 $r=-1$ の場合は、 すべての $a_i$ を $-a_i$ に置きかえた方の等号成立条件だから、 すべての $i$ に対して $x_i-\bar{x}$ と $y_i-\bar{y}$ が異符号で

$$\frac{y_1-\bar{y}}{x_1-\bar{x}} =\frac{y_2-\bar{y}}{x_2-\bar{x}} =\cdots =\frac{y_N-\bar{y}}{x_N-\bar{x}}$$

の場合となる。だからこの比を $\alpha$ とすれば $\alpha<0$ となる。 あとは、上と同様にすべての点が $y-\bar{y}=\alpha (x-\bar{x})$ の上にあることになる。