確率統計キャンパス・ゼミ

概要

かかった時間

  • xxx 時間

進め方

  • xxx

感想

  • xxx

読書メモ

1: 離散型確率分布(1 変数確率関数)

1.1: 場合の数

  • 集合の定義

    • 集合とは、ある一定の条件を満たすものの集まりのこと

    • ただし、対象とするものが、その条件を満たすか否か、客観的に明らかなものの集まりでなければならない

  • 各用語

    • 試行

      • 「コインを投げたり」、「サイコロを振ったり」といった、同様のことを繰り返すことが可能な行為

    • 事象

      • 試行の結果の「表が出たり」「偶数の目が出たり」する事柄

      • この事象の中でも、これ以上簡単にならない 1 つ 1 つの基本的な事象を「根元事象」と呼ぶ

1.2: 確率

  • 条件付き確率

    • 事象 A が起こったという条件の下で、事象 B の起こる条件付き確率は P(B|A) = P(A∩B) / P(A)

    • 事象 B が起こったという条件の下で、事象 A の起こる条件付き確率は P(A|B) = P(A∩B) / P(B)

  • 確率の乗法定理

    • P(A∩B) = P(A)・P(B|A)

    • P(A∩B) = P(B)・P(A|B)

  • ベイズの定理(p22)

    • P(A|B) = P(A)・P(B|A) / (P(A)・P(B|A) + P(A~)・P(B|A~))

    • ベイズの定理だと、何が原因で結果が起きたのかわからない場合に使える

      • 上の式だと P(B|A) から P(A|B) を求められる(逆順の計算ができる)

    • A を条件、B を結果と考えたときに、P(A|B) は B となった場合の A が原因である確率。これが、P(B|A) つまり A が起きた場合に B となる条件付き確率から計算できる

  • 事象の独立

    • 2 つの事象 A, B が独立であるための必要十分条件は、P(A∩B) = P(A)・P(B) <=> P(B|A) = P(B) <=> P(A|B) = P(A)

1.3: 離散型確率分布

  • 確率変数 X

    • 確率変数 X: 全事象 U = {a, b, c, ...} の 1 つ 1 つの根元事象 a, b, c, ... に割り当てられた数値 x1, x2, x3, ... のいずれかをとる変数

  • X = x1, x2, x3, ..., xn と置いた時、x1, x2, x3, ..., xn を確率変数 X の「実現値」という

  • 確率関数 Pi の性質

    • 1: 0 <= Pi <= 1

    • 2: Σ(i=1->n) Pi = 1 (全確率)

    • 3: P(0 <= X <= b) = Σ(a<=xi<=b) Pi

  • 分布関数 F(x)

    • 分布関数 F(x) = P(X <= x) = Σ(xi<=x) Pi (x: 連続型変数)

    • F(x) を「累積分布関数」と呼ぶこともある

  • 分布関数 F(x) の性質

    • 1: a <= b の時、F(a) <= F(b)

    • 2: F(-∞) = 0, F(∞) = 1

    • 3: P(a < x <= b) = F(b) - F(a)

  • 二項分布(離散型)

    • 離散型確率変数 X = 0, 1, 2, ..., n について、確率関数 Pk が Pk = P(X = k) = nCk p^k・q^n-k (k = 0, 1, ..., n, 0 < p < 1, p + q = 1) で表される確率分布を「二項分布」と呼び、B(n, p) で表す

  • 期待値・分散・標準偏差

    • 離散型確率変数 X が確率関数 Pi (i = 1, 2, ..., n) の確率分布に従う時

      • 期待値: μ = E[X] = Σ(i=1->n) xiPi = x1P1 + x2P2 + ... + xnPn

      • 分散: V[X] = Σ(i=1->n) (xi - μ)^2・Pi = (x1 - μ)^2・P1 + (x2 - μ)^2・P2 + ... + (xn - μ)^2・Pn = E[X^2] - E[X]^2

      • 標準偏差: σ = (V[X])^1/2

  • k 次のモーメント

    • 原点の周りの k 次のモーメント

      • E[X^k] = Σ(i=1->n) xi^k・Pi = x1^k・P1 + x2^k・P2 + ... + xn^k・Pn

    • μの周りの k 次のモーメント

      • E[(X - μ)^k] = Σ(i=1->n) (xi - μ)^k・Pi = (x1 - μ)^k・P1 + (x2 - μ)^k・P2 + ... + (xn - μ)^k・Pn

    • これで見ると、期待値μは原点の周りの 1 次のモーメントであり、分散 V[X] はμのまわりの 2 次のモーメントであるとわかる

  • モーメント母関数 M(θ)

    • 離散型確率変数 X と変数θに対して、モーメント母関数 M(θ) を、M(θ) = E[e^θX] と定義する

  • 期待値・分散のモーメント母関数による表現

    • 確率変数 X の期待値と分散は以下のように表せる

      • 1: 期待値μ = E[X] = M'(0)

      • 2: 分散 σ^2 = E[X^2] - E[X]^2 = M''(0) - M'(0)^2

  • B(n, q) の期待値・分散

    • 二項分布 B(n, q) の期待値 μ = np, 分散 σ^2 = npq である

2: 連続型確率分布(1 変数確率密度)

2.1: 確率密度

  • 連続型確率分布と確率密度 f(x)

    • 連続型確率変数 X に対して P(a <= X <= b) = ∫(a->b) f(x) dx (a < b) となる関数 f(x) が存在するとき、f(x) を確率変数 X の「確率密度」といい、「確率変数 X は確率密度 f(x) の確率分布に従う」という

  • 確率密度 f(x) の性質

    • ∫(-∞->∞) f(x) dx = 1 (全確率)

    • ∫(a->b) f(x) dx = P(a <= X <= b) = P(a < X <= b) = P(a <= X < b) = P(a < X < b)

      • x = a, x = b となる確率は 0 なので、等号はあってもなくても構わない

  • 分布関数 F(x)

    • 分布関数 F(x) = P(X <= x) = ∫(-∞->x) f(t) dt

  • 分布関数 F(x) の性質

    • 1: a <= b の時、F(a) <= F(b)

    • 2: F(-∞) = 0, F(∞) = 1

    • 3: P(a <= X <= b) = ∫(a->b) f(x) dx = F(b) - F(a)

  • 期待値・分散・標準偏差

    • 連続型確率変数 X が確率密度 f(x) の確率分布に従う時、以下のように表せる

      • 期待値: μ = E[X] = ∫(-∞->∞) xf(x) dx

      • 分散: σ^2 = V[X] = ∫(-∞->∞) (x - μ)^2・f(x) dx = E[X^2] - E[X]^2

      • 標準偏差: σ = (V[X])^1/2

2.2: モーメント母関数と変数変換

  • モーメント母関数 M(θ)

    • 確率密度 f(x) を持つ連続型確率変数 X と変数θに対して、モーメント母関数 M(θ) を、M(θ) = E[e^θX] = ∫(-∞->∞) (e^θX)・f(x) dx と定義する

    • 離散型の時と同様に

      • 1: 期待値μ = E[X] = M'(0)

      • 2: 分散 σ^2 = V[X] = E[X^2] - E[X]^2 = M''(0) - M'(0)^2

  • 指数分布(連続型)

3: 2 変数の確率分布

3.1: 離散型 2 変数の確率分布

  • 離散型 2 変数の確率関数 Pij

    • 2 つの離散型変数 X = xi(i = 1, 2, ..., m), Y = yj(j = 1, 2, ..., n) について (X, Y) = (xi, yj) の時の確率を Pij = P(X = xi, Y = yj) とおき、この Pij を 2 つの確率変数 X, Y の「確率関数」と呼ぶ

    • さらに確率関数を次のように表すこともある

      • PXY(x, y) = Pij (x = xi, y = yj のとき) (i = 1, ..., m, j = 1, ..., n)

      • PXY(x, y) = 0 (それ以外の x, y のとき)

  • 周辺確率分布と分布関数

    • X の周辺確率分布 PX(xi) と分布関数 FX(x) を次のように定義する

      • Pi = PX(xi) = Σ(j=1->n) Pij (i = 1, ..., m)

      • FX(x) = PX(X <= x) = Σ(xi<=x) PX(xi)

    • Y の周辺確率分布 PY(yi) と分布関数 FY(y) を次のように定義する

      • Pi = PY(yj) = Σ(i=1->m) Pij (j = 1, ..., n)

      • FY(y) = PY(Y <= y) = Σ(yj<=y) PY(yj)

  • E[g(X, Y)] の定義

    • E[g(X, Y)] = Σ(j=1->n)Σ(i=1->m) g(xi, yj)・Pij

  • 期待値

    • X の期待値 μX = E[X] = Σ(i=1->m) xi・PX(xi) = Σ(j=1->n)Σ(i=1->m) xi・Pij

    • Y の期待値 μY = E[Y] = Σ(j=1->n) yj・PY(yj) = Σ(j=1->n)Σ(i=1->m) yj・Pij

  • 分散

    • X の分散 σX^2 = V[X] = E[(X - μX)^2] = Σ(i=1->m) (xi - μX)^2・PX(xi) = Σ(j=1->n)Σ(i=1->m) (xi - μX)^2・Pij = E[X^2] - E[X]^2

    • Y の分散 σY^2 = V[Y] = E[(Y - μY)^2] = Σ(j=1->n) (yj - μY)^2・PY(yj) = Σ(j=1->n)Σ(i=1->m) (yj - μY)^2・Pij = E[Y^2] - E[Y]^2

  • 共分散

    • X と Y の共分散 σXY = C[X, Y] = E[(X - μX)(Y - μY)] = E[XY] - E[X]・E[Y]

  • 期待値と共分散の性質

    • E[aX + bY + c] = a・E[X] + b・E[Y] + c

    • V[aX + bY + c] = a^2・V[X] + 2ab・C[X, Y] + b^2・V[Y]

  • 確率変数 X と Y の独立

    • 2 つの離散型の確率変数 X と Y が従う確率分布の確率関数 PXY(x, y) が PXY(x, y) = PX(x)・PY(y) となるとき、この確率変数 X と Y は独立であるという

  • X と Y が独立のときの公式

    • 2 つの離散型確率変数 X と Y が独立のとき、以下の公式が成り立つ

      • E[XY] = E[X]・E[Y]

      • σXY = C[X, Y] = 0

      • V[aX + bY + c] = a^2・V[X] + b^2・V[Y]

  • 多変数の和の期待値と分散

    • n 個の独立な離散型の確率変数 X1, X2, ..., Xn について、次の公式が成り立つ(a1, a2, ..., an: 定数)

      • E[a1X1 + a2X2 + ... + anXn] = a1・E[X1] + a2・E[X2] + ... + an・E[Xn]

      • V[a1X1 + a2X2 + ... + anXn] = a1^2・V[X1] + a2^2・V[X2] + ... + an^2・V[Xn]

3.2: 連続型 2 変数の確率分布

  • 連続型 2 変数の確率分布

    • 連続型の 2 つの確率変数 X, Y について a <= X <= b かつ c <= Y <= d となる確率 P(a <= X <= b, c <= Y <= d) が P(a <= X <= b, c <= Y <= d) = ∫∫fXY(x, y) dxdy (ここで A = {(x, y) | a <= X <= b, c <= Y <= d}) で表される時、fXY(x, y) を確率変数 X, Y の「確率密度」または「確率密度関数」という

  • 周辺確率密度と分布関数

    • X の周辺確率密度 fX(x) と分布関数 FX(x) を次のように定義する

      • fX(x) = ∫(-∞->∞) fXY(x, y) dy

      • FX(x) = ∫(-∞->x) fX(t) dt

    • Y の周辺確率密度 fY(y) と分布関数 FY(y) を次のように定義する

      • fY(y) = ∫(-∞->∞) fXY(x, y) dx

      • FY(y) = ∫(-∞->y) fY(t) dt

  • E[g(X, Y)] の定義

    • E[g(X, Y)] = ∫(-∞->∞) ∫(-∞->∞) g(xi, yj)・fXY(x, y) dxdy

  • 期待値

    • X の期待値 μX = E[X] = ∫(-∞->∞) x・fX(x) = ∫(-∞->∞) ∫(-∞->∞) x・fXY(x, y) dxdy

    • Y の期待値 μY = E[Y] = ∫(-∞->∞) y・fY(y) = ∫(-∞->∞) ∫(-∞->∞) y・fXY(x, y) dxdy

  • 分散

    • X の分散 σX^2 = V[X] = E[(X - μX)^2] = ∫(-∞->∞) (x - μX)^2・fXY(x, y) dxdy = E[X^2] - E[X]^2

    • Y の分散 σY^2 = V[Y] = E[(Y - μY)^2] = ∫(-∞->∞) (y - μY)^2・fXY(x, y) dxdy = E[Y^2] - E[Y]^2

  • 共分散

    • X と Y の共分散 σXY = C[X, Y] = E[(X - μX)(Y - μY)] = ∫(-∞->∞)∫(-∞->∞) (x - μX)(y - μY)・fXY(x, y) dxdy = E[XY] - E[X]・E[Y]

  • 期待値と共分散の性質

    • E[aX + bY + c] = a・E[X] + b・E[Y] + c

    • V[aX + bY + c] = a^2・V[X] + 2ab・C[X, Y] + b^2・V[Y]

  • 確率変数 X と Y の独立

    • 2 つの連続型の確率変数 X と Y が従う確率分布の確率密度 fXY(x, y) が fXY(x, y) = fX(x)・fY(y) となるとき、この確率変数 X と Y は独立であるという

  • X と Y が独立のときの公式

    • 2 つの連続型確率変数 X と Y が独立のとき、以下の公式が成り立つ

      • E[XY] = E[X]・E[Y]

      • σXY = C[X, Y] = 0

      • V[aX + bY + c] = a^2・V[X] + b^2・V[Y]

  • 多変数の和の期待値と分散

    • n 個の独立な連続型の確率変数 X1, X2, ..., Xn について、次の公式が成り立つ(a1, a2, ..., an: 定数)

      • E[a1X1 + a2X2 + ... + anXn] = a1・E[X1] + a2・E[X2] + ... + an・E[Xn]

      • V[a1X1 + a2X2 + ... + anXn] = a1^2・V[X1] + a2^2・V[X2] + ... + an^2・V[Xn]

4: ポアソン分布と正規分布

4.1: ポアソン分布(離散型)

  • 二項分布 -> ポアソン分布

    • 二項分布(離散型) B(n, p) と表す

      • 確率関数 PB(x) = nCx p^x・q^n-x (x = 0, 1, ..., n)

      • モーメント母関数 MB(θ) = (p・e^θ + q)^n

      • 期待値 EB[X] = np (= μ)

      • 分散 VB[X] = npq

    • ここから μ = np(一定), n -> ∞, p -> 0 とする

    • ポアソン分布(離散型) Po(μ) と表す

      • 確率関数 PP(x) = e^-μ・μ^x / x! (x = 0, 1, ...)

      • モーメント母関数 MP(θ) = e^-μ・e^(μ・e^θ)

      • 期待値 EP[X] = μ

      • 分散 VP[X] = μ

4.2: 正規分布(連続型)

  • e^-(z^2/2) の積分と標準正規分布

    • ∫(-∞->∞) e^-(z^2/2) dz = (2π)^1/2

    • 標準正規分布の確率密度 fs(z) = 1/(2π)^1/2・e^-(z^2/2)

  • 標準正規分布は、正規分布の中でも特に期待値 0、分散 1 の確率分布

  • 二項分布 -> 正規分布

    • 二項分布(離散型) B(n, p) と表す

      • 確率関数 PB(x) = nCx p^x・q^n-x (x = 0, 1, ..., n)

      • モーメント母関数 MB(θ) = (p・e^θ + q)^n

      • 期待値 EB[X] = np (= μ)

      • 分散 VB[X] = npq

    • ここから n >> 0, p(一定), x >> 0 とする

    • 正規分布(連続型) N(μ, σ^2) と表す

      • 確率密度 fN(x) = 1/((2π)^1/2・σ)・e^-((x-μ)^2/(2σ^2)) (x: 連続型変数)

      • モーメント母関数 MN(θ) = e^(μθ + 1/2・σ^2・θ^2)

      • 期待値 EN[X] = μ

      • 分散 VN[X] = σ^2

  • 標準正規分布

    • 正規分布

      • fN(x) = 1/((2π)^1/2・σ)・e^-((x-μ)^2/(2σ^2))

    • これを z = (x - μ) / σ で標準化する

    • 標準正規分布

      • fs(z) = 1/(2π)^1/2・e^-(z^2/2)

  • 誤差関数と余誤差関数の定義

    • 誤差関数の erf(x) は次式で定義される

      • erf(x) = 2/√π・∫(0->x) e^-(u^2) du

    • 余誤差関数の erfc(x) は次式で定義される

      • erfc(x) = 2/√π・∫(x->∞) e^-(u^2) du