2.1 多次元確率分布

古典的確率論では、離散確率分布は、確率変数 $x$、その値の集合である 標本空間 $\Omega=\{a_1,a_2,\ldots\}$、 および $\Omega$ 上の確率関数 $p:\Omega\rightarrow [0,1]$ によって決定する。 ここで、$\Omega$ は有限集合かまたは可算集合。 確率関数 $p(a)$ の値は、$x=a$ である確率、すなわち

$$\mathrm{Prob}\{x=a\}=p(a)$$

を意味するもので、よって $p(x)$ は

  $$\sum_{x\in\Omega}p(x) = 1$$ (1)

を満たす必要がある。 なお、以後 $\mathrm{Prob}\{A\}$ で「$A$ である確率」を表すことにする。

本稿では、この $(\Omega,p,x)$ の組を「離散確率分布」と呼ぶことにする。

$n$ 個の離散確率分布 $(\Omega_j,p_j,x_j)$ ( $j=1,2,\ldots,n$) に対して、

  $$r(\alpha_1,\alpha_2,\ldots,\alpha_n) = \mathrm{Prob}\{(x_1,x_2,\ldots,x_n)=(\alpha_1,\alpha_2,\ldots,\alpha_n)\}$$ (2)

のように「$x_1=\alpha_1$ かつ ...かつ $x_n=\alpha_n$」 となる確率を考えることができるとき、直積集合

  $$\Omega =\Omega_1\times\ldots\Omega_n =\{(a_1,\ldots,a_n)\ \vert\ a_j\in\Omega_j,\ 1\leq j\leq n\}$$ (3)

を標本空間、 $r(x_1,\ldots,x_n)$ を $n$ 変数の確率関数とする $n$ 次元確率変数 $(x_1,\ldots,x_n)$ を考えることができる。 この組 $(\Omega,r,(x_1,\ldots,x_n))$ を「$n$ 次元離散確率分布」と呼ぶ。

当然 $r$ は、

  $$\sum_{(x_1,\ldots,x_n)\in\Omega} r(x_1,\ldots,x_n)=1$$ (4)

を満たす必要があるが、 $(\Omega_j,p_j,x_j)$ との整合性として、 すべての $j$ に対して、

  $$\mathrm{Prob}\{x_j=\alpha_j\} =\sum_{x_1\in\Omega_1}\cdots\sum_{... ...{x_{j+1}\in\Omega_{j+1}}\cdots\sum_{x_n\in\Omega_n} r(x_1,\ldots,x_n)=p_j(x_j)$$ (5)

も満たす必要がある。

逆に、直積集合 $\Omega$ (3) と、 (4) を満たす $n$ 変数 関数 $r:\Omega\rightarrow[0,1]$ を取り、 それに対し (5) の和によって $p_j(x_j)$ という 関数を定義すれば、条件 (4) により $p_j$ は (1) の条件を満たすので、 $n$ 個の離散確率分布 $(\Omega_j,p_j,x_j)$ ( $j=1,2,\ldots,n$) が作られ、 $(\Omega,r,(x_1,\ldots,x_n))$ をはその $n$ 次元離散確率分布となる。 この場合、各離散確率分布 $(\Omega_j,p_j,x_j)$ を、 $(\Omega,r,(x_1,\ldots,x_n))$ の「周辺分布」と呼ぶことがある。