2 一致推定量

この文書では、$X_i$ ( $i=1,2,\ldots,n$) は、 ある一つの確率分布 $F$ に従う、互いに独立な確率変数とする。 $F$ の (母) 平均 ($=E[X_i]$) を $\mu$ とし、 $F$ の (母) 分散 ($=V[X_i]$) を $\sigma^2$ とする。 $X_i$ の 不偏分散 $V_1$ と 標本分散 $V_2$ は、 次の式で定義される確率変数である。

$$V_1 =\frac{S}{n-1}, \hspace{1zw} V_2 =\frac{S}{n}, \hspace{1zw} S = \sum_{i=1}^n(X_i-\overline{X})^2$$ (1)

ここで、$\overline{X}$ は $X_i$ の算術平均 (確率変数としての平均ではない)

$$\overline{X} = \frac{1}{n}\sum_{i=1}^nX_i$$

であり、$S$ は平方和と呼ばれる。$S$ は、容易に次のように変形できる。

$$S = \sum_{i=1}^n(X_i^2-2X_i\overline{X}+\overline{X}^2) = \sum_{i=1}^nX_i^2-2\overline{X}\sum_{i=1}^nX_i + n\overline{X}^2$$

$$= n\overline{X^2} - 2\overline{X}\cdot n\overline{X} + n\overline{X}^2 = n(\overline{X^2} - \overline{X}^2)$$ (2)

ここで、 $\overline{X^k}$ は、$X_i^k$ の算術平均を意味するものとする。

$$\overline{X^k} = \frac{1}{n}\sum_{i=1}^nX_i^k$$

$X_1, X_2, \ldots X_n$ によって与えられるある確率変数 $T=T(X_1, X_2, \ldots X_n)$ が、 $F$ に関わるあるパラメータ $\theta$ の 一致推定量 であるとは、 任意の正数 $k$ に対して、

$$\lim_{n\rightarrow\infty}P(\vert T-\theta\vert>k)=0$$ (3)

となることを言うようである。 これは、$n$ が十分大きければ、 $T$ の値は $\theta$ の近くに分布して、 $n$ を大きくすれば、$\theta$ から離れた値を取る確率は いくらでも小さくなる、ということを意味していて、 これにより $T$ の値でパラメータ $\theta$ の値を推定 (点推定) できることの一つの保証が与えられることになる。

この一致性を示すのに重要なのが、次のチェビシェフの不等式である。

定理 1

確率変数 $X$、および正数 $k$ に対して、

$$P(\vert X-E[X]\vert>k)\leq \frac{V[X]}{k^2}$$ (4)

が成り立つ ($E[X]$ は $X$ の平均、$V[X]$ は $X$ の分散)。

証明

分散 $V[X]$ を積分で表現して、 (4) の範囲に制限すれば、

$$\begin{eqnarray*}V[X] &=& E[\vert X-E[X]\vert^2] = \int\vert X-E[X]\vert^2 d... ...\vert>k}\vert X-E[X]\vert^2 dP \geq k^2P(\vert X-E[X]\vert>k) \end{eqnarray*}$$

となるので、$k^2$ で両辺を割れば (4) が得られる。

例えば、これを使って、標本平均 $\overline{X}$ が 母平均 $\mu$ の一致推定量であることが確認してみよう。

平均 $E$ の線形性により、

$$E[\overline{X}] =\frac{1}{n}\sum_{i=1}^nE[X_i] =\frac{1}{n}\cdot n\mu =\mu$$

であり、また、$X$, $Y$ が独立の場合 $V[X+Y]=V[X]+V[Y]$ であるから、

$$V[\overline{X}] =\frac{1}{n^2}\sum_{i=1}^nV[X_i] =\frac{1}{n^2}\cdot n\sigma^2 =\frac{\sigma^2}{n}$$

となる。 よって、$\overline{X}$ にチェビシェフの不等式を適用すると、

$$P(\vert\overline{X}-\mu\vert>k)\leq \frac{V[\overline{X}]}{k... ...} \rightarrow 0\hspace{1zw}(n\rightarrow\infty \mbox{ のとき})$$

となるので、

$$\lim_{n\rightarrow\infty}P(\vert\overline{X}-\mu\vert>k) = 0$$

であることがわかり、$\overline{X}$ は $\mu$ の一致推定量となる。