特性関数 (確率論)

特性関数 (確率論)の最新ニュースをまとめて検索！

U(–1,1) の一様確率変数の特性関数。原点を中心とする対称性のある確率変数であるため、この関数は実数値を返す。ただし、一般に特性関数は複素数を返す。

確率論と統計学において、任意の確率変数の特性関数（英: characteristic function）は、その確率分布を完全に定義する。したがって、確率密度関数や累積分布関数の代わりに特性関数を解析の基盤とすることもできる。確率変数の重み付き総和で分布を定義する単純な特性関数も存在する。

1変量の分布以外にも、ベクトルまたは行列型の確率変数についての特性関数もあり、さらに一般化することもできる。

実数引数をとる関数と考えたとき、特性関数は積率母関数とは異なり、常に存在する。特性関数の振る舞いとその分布の属性には、モーメントの存在や密度関数の存在などの関係がある。

[編集] 概要

特性関数は確率変数を記述する代替手段を提供する。累積分布関数

$F_X(x)=\operatorname{E}\,\mathbf{1}_{\{X\leq x\}}$

は確率変数 X の確率分布の振る舞いと属性を完全に決定するが、それと同様に特性関数

$\varphi_X(t)=\operatorname{E}[\,e^{itX}\,]$

も確率変数 X の確率分布の振る舞いと属性を完全に決定する。どちらか一方が分かっていればもう一方を求めることができ、その確率変数の特徴についてそれぞれ異なる洞察を与える。しかし、これらの関数を単純な標準的関数で表せるかどうかは、場合によって異なる。

確率変数が確率密度関数を持つ場合、特性関数と密度関数は互いにもう一方のフーリエ変換になっているという意味で双対である。確率変数に積率母関数がある場合、特性関数は複素領域に拡張されうる。

$\varphi_X(-it)=M_X(t)$ ^[1]

なお、確率密度関数や積率母関数が存在しない場合でも、ある確率分布の特性関数は常に存在する。

特性関数は、特に独立した確率変数の線型な組合せの分析で有効である。他にも、確率変数の分解可能性 (decomposability) の理論においても重要である。

[編集] 定義

スカラの確率変数 X について、その特性関数は、e^itX の期待値として定義され、ここで i は虚数単位、t∈R は特性関数の引数である。

$\varphi_X\!:\mathbb{R}\to\mathbb{C}; \quad \varphi_X(t) = \operatorname{E}\big[e^{itX}\big] = \int_{-\infty}^\infty e^{itx}\,dF_X(x) \qquad \left( = \int_{-\infty}^\infty e^{itx} f_X(x)\,dx \right)$

ここで F_X は X の累積分布関数、積分はリーマン＝スティルチェス型である。確率変数 X に確率密度関数 ƒ_X がある場合、その特性関数は確率密度関数のフーリエ変換であり^[2]、上記の括弧内の式が対応する。

なお、特性関数の定義に出現する定数は一般的なフーリエ変換のものとは異なる^[3]。例えば書籍によっては φ_X(t) = Ee^−2πitX と定義しており^[4]、これはパラメータの本質的な変更である。他にも、確率測度 p の特性関数を $\hat p$ 、確率密度関数 ƒ に対応する特性関数を $\hat f$ と表すこともある。

特性関数の記法は、多変量の確率変数やさらに複雑な確率要素に一般化される。特性関数の引数は確率変数 X が値を持つ同じ空間に常に属する。主な場合における定義を以下に示す。

X がk-次元の確率ベクトルの場合、t∈R^k について、

$\varphi_X(t) = \operatorname{E}\big[\,e^{i\,t'\!X}\,\big],$

X がk×p-次元の確率行列の場合、t∈R^k×p について、

$\varphi_X(t) = \operatorname{E}\big[\,e^{i\,\operatorname{tr}(t'\!X)}\,\big],$

X が複素確率変数の場合、t∈C について、^[5]

$\varphi_X(t) = \operatorname{E}\big[\,e^{i\,\operatorname{Re}(\overline{t}X)}\,\big],$

X がk-次元の複素確率ベクトルの場合、t∈C^k について、^[5]

$\varphi_X(t) = \operatorname{E}\big[\,e^{i\,\operatorname{Re}(t^*\!X)}\,\big],$

X(s) が確率過程の場合、X のほとんど全ての実現値について積分 ∫_Rt(s)X(s)ds が収束するような全ての関数 t(s) について、^[6]

$\varphi_X(t) = \operatorname{E}\big[\, e^{i\int_\mathbb{R} t(s)X(s)ds} \,\big].$

ここで ′（ダッシュ）は転置行列、tr(·) は行列の跡作用素、Re は複素数の実部、z は複素共役、* は共役転置行列（すなわち、z* = z′）を意味する。

[編集] 具体例

分布	特性関数 φ(t)
退化 δ_a	$\, e^{ita}$
二項 B(n, p)	$\, (1-p+pe^{it})^n$
ポアソン Pois(λ)	$\, e^{\lambda(e^{it}-1)}$
一様 U(a, b)	$\, \frac{e^{itb} - e^{ita}}{it(b-a)}$
ラプラス L(μ, b)	$\, \frac{e^{it\mu}}{1 + b^2t^2}$
正規 N(μ, σ²)	$\, e^{it\mu - \frac{1}{2}\sigma^2t^2}$
カイ二乗 χ²_k	$\, (1 - 2it)^{-k/2}$
コーシー Cauchy(μ, θ)	$\, e^{it\mu -\theta\|t\|}$
ガンマ Γ(k, θ)	$\, (1 - it\theta)^{-k}$
指数 Exp(λ)	$\, (1 - it\lambda^{-1})^{-1}$
多変量正規 N(μ, Σ)	$\, e^{it'\mu - \frac{1}{2}t'\Sigma t}$

[編集] 属性

確率変数の特性関数は、測度が有限な空間上の有界な連続関数の積分であるため、常に存在する。
特性関数は空間全体について一様連続である。
ゼロ付近では根を持たない（φ(0) = 1）。
有界である（|φ(t)| ≤ 1）。
エルミート関数である（ $\scriptstyle\varphi(-t) = \overline{\varphi(t)}$ ）。原点を中心として対称性のある確率変数の特性関数は実数関数であり偶関数である。
累積分布関数と特性関数の間には全単射が存在する。すなわち、2つの任意の確率変数 $X 1$ と $X 2$ について、次が成り立つ。

$F_{X_1}=F_{X_2}\ \Leftrightarrow\ \varphi_{X_1}=\varphi_{X_2}$

確率変数 X に最大k-次のモーメントがあるとき、その特性関数 φ_X は実数直線全体についてk回連続微分可能である。このとき、次が成り立つ。

$\operatorname{E}\,X^k = (-i)^k \varphi_X^{(k)}(0)$

特性関数 φ_X のk番目の導関数がゼロとなるとき、確率変数 X は k が偶数なら最大 k-次のモーメントを持つが、k が奇数なら最大 k-1-次までである^[1]。
X₁, …, X_n が独立確率変数で、a₁, …, a_n がなんらかの定数としたとき、X_i の線型な組合せの特性関数は次のようになる。

$\varphi_{a_1X_1+\ldots+a_nX_n}(t) = \varphi_{X_1}(a_1t)\cdot \ldots \cdot \varphi_{X_n}(a_nt).$

特性関数の裾野の振る舞いは、対応する確率密度関数の平滑性を決定する。

[編集] 連続性

上述した確率分布と特性関数の全単射は「連続」である。すなわち、一連の分布関数 ${F j (x)}$ が何らかの分布 $F (x)$ に（弱く）収束するとき、対応する一連の特性関数 {φ_j(t)} も収束し、極限 φ(t) はそのままの F の特性関数に対応する。これをより形式的に述べると、次のようになる。

レヴィの連続性定理: n-変量確率変数の列

{X j}

が確率変数

X

に分布において収束する場合、常に列 $\{\varphi_{X_j}\}$ は原点で連続な関数 φ に点別収束する。この φ は

X

の特性関数である^[7]。

この定理は大数の法則や中心極限定理の証明によく使われる。

[編集] 逆方程式

累積分布関数と特性関数には1対1対応が存在するので、一方を知っていれば常にもう一方を求めることができる。上に挙げた特性関数の定義によれば、分布関数 F（または密度関数 f）を知っていれば φ を計算できる。一方、特性関数 φ を知っていて対応する分布関数を求めたい場合、以下に挙げる逆定理を利用できる。

定理

特性関数 φ_X が積分可能なら、F_X は絶対連続であり、X の確率密度関数は以下のように与えられる（X がスカラの場合）。

$f_X(x) = F_X'(x) = \frac{1}{2\pi}\int_{-\infty}^{\infty} e^{-itx}\varphi_X(t)dt$

多変量の場合の確率密度関数は、ルベーグ測度 λ に対する分布 μ_X のラドン-ニコディム微分として理解される。

$f_X(x) = \frac{d\mu_X}{d\lambda}(x) = \frac{1}{(2\pi)^n} \int_{\mathbb{R}^n} e^{-i(t\cdot x)}\varphi_X(t)\lambda(dt)$

定理（レヴィ）

分布関数 F_X の特性関数を φ_X とし、2つの点 a<b で定義される

{x | a < x < b}

が μ_X の連続性集合ならば（1変量では、この条件は F_X が a と b で連続であることと等価）、

$F_X(b) - F_X(a) = \frac{1} {2\pi} \lim_{T \to \infty} \int_{-T}^{+T} \frac{e^{-ita} - e^{-itb}} {it}\, \varphi_X(t)\, dt,$ X がスカラの場合

$\mu_X\big(\{a<x<b\}\big) = \frac{1}{(2\pi)^n} \lim_{T_1\to\infty}\cdots\lim_{T_n\to\infty} \int\limits_{\{-T\leq t\leq T\}} \prod_{k=1}^n\left(\frac{e^{-it_ka_k}-e^{-it_kb_k}}{it_k}\right)\varphi_X(t)\lambda(dt)$ , X がベクトル型確率変数の場合

定理

a が X のアトムならば（1変量の場合、これは F_X の不連続点を意味する）、

$F_X(a) - F_X(a-0) = \lim_{T\to\infty}\frac{1}{2T}\int_{-T}^{+T}e^{-ita}\varphi_X(t)dt$ , X がスカラ型確率変数の場合

$\mu_X(\{a\}) = \lim_{T_1\to\infty}\cdots\lim_{T_n\to\infty} \left(\prod_{k=1}^n\frac{1}{2T_k}\right) \int\limits_{\{-T\leq t\leq T\}} e^{-i(t\cdot x)}\varphi_X(t)\lambda(dt)$ , X がベクトル型確率変数の場合

定理 (Gil-Pelaez)^[8]

1変量確率変数 X について、x が F_X の連続点ならば、

$F_X(x) = \frac{1}{2} - \frac{1}{\pi}\int_0^\infty \frac{\operatorname{Im}[e^{-itx}\varphi_X(t)]}{t}\,dt$

[編集] 特性関数の判定基準

減少しないcàdlàg関数（左連続右有界関数） F で、極限が F(−∞) = 0 および F(+∞) = 1 となる場合、F は何らかの確率変数の累積分布関数に対応している。

他にも、与えられた関数 φ について、それが何らかの確率変数の特性関数かどうかを判定する単純な判定基準が存在する。これについての中心的成果として Bochner’s theorem があるが、その主な条件である非負定性の判定が非常に難しいため、これが利用できる場面は多くはない。他にも Khinchine’s、Mathias’s、Cramér’s などの定理もあるが、それらも応用が難しい。一方 Pólya’s theorem は非常に単純な凸条件を提供するが、それは十分条件であって必要条件ではない。この条件を満たす特性関数を Pólya-type と呼ぶ^[1]。

Bochner’s theorem: 任意の関数 $\scriptstyle \varphi:\ \mathbb{R}^n\to\mathbb{C}$ が何らかの確率変数の特性関数であるとき、常に φ は非負定性で原点で連続であり、かつ φ(0) = 1 である。
Khinchine’s criterion: 原点で値が1で絶対連続な複素数値関数 φ は、以下のように表現できるときのみ特性関数といえる。

$\varphi(t) = \int_{-\infty}^\infty g(t+\theta)\overline{g(\theta)} d\theta$

Mathias’ theorem: 原点で値が1で、実数値で偶関数で連続で絶対積分可能な関数 φ は、以下が成り立つ場合のみ特性関数といえる。

$(-1)^n \int_{-\infty}^\infty \varphi(pt)e^{-t^2/2}H_{2n}(t)dt \geq 0$

ここで n = 0,1,2,… であり、常に p > 0 である。H_2n は、2n-次のエルミート多項式を意味する。

Pólya’s theorem を使い、有限区間では同じだが、それ以外の区間では異なる2つの確率変数を構築した例

Pólya’s theorem: φ が実数値の連続関数で以下の条件を満たす場合、
- φ(0) = 1,
- φ は偶関数,
- φ は t>0 について凸関数,
- φ(∞) = 0,

φ(t) は絶対連続で対称な分布の特性関数である。

有限または可算な個数の特性関数の凸線型結合 $\scriptstyle \sum_n a_n\varphi_n(t)$ （ただし、 $\scriptstyle a_n\geq0,\ \sum_n a_n=1$ ）も特性関数である。
有限個の特性関数の積 $\scriptstyle \prod_n \varphi_n(t)$ も特性関数である。原点で連続な関数に収束するなら、無限個の積でも成り立つ。
φ が特性関数、α がある実数としたとき、φ、Re[φ]、|φ|²、φ(αt) も全て特性関数である。

[編集] 利用

連続性定理があるため、特性関数は中心極限定理の証明でよく使われる。

[編集] 分布の基本的操作

特性関数は、独立な確率変数の線型関数を操作する際に特に便利である。例えば、X₁, X₂, ..., X_n を独立な（同分布である必要は無い）確率変数の列とし、

$S_n = \sum_{i=1}^n a_i X_i\,\!$

とする。ここで a_i は定数である。すると、S_n の特性関数は次のように定義できる。

$\varphi_{S_n}(t)=\varphi_{X_1}(a_1t)\varphi_{X_2}(a_2t)\cdots \varphi_{X_n}(a_nt) \,\!$

特に $\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)$ となる。これを示すには、特性関数の定義を書いてみればよい。

$\varphi_{X+Y}(t)=E\left(e^{it(X+Y)}\right)=E\left(e^{itX}e^{itY}\right)=E\left(e^{itX}\right)E\left(e^{itY}\right)=\varphi_X(t) \varphi_Y(t)$

$X$ と $Y$ の独立性は、3つ目の式と4つ目の式が等しいことを示すのに必要となる。

もう1つの興味深い例として、 $a i = 1 / n$ の場合、 $S n$ は標本の平均値となる。この場合 $\overline{X}$ で平均を表し、

$\varphi_{\overline{X}}(t)=\left(\varphi_X(t/n)\right)^n$

となる。

[編集] モーメント

特性関数は確率変数のモーメントを求める場合にも使える。n-次のモーメントがある場合、特性関数はn回微分可能で、次が成り立つ。

$\operatorname{E}\left(X^n\right) = i^{-n}\, \varphi_X^{(n)}(0) = i^{-n}\, \left[\frac{d^n}{dt^n} \varphi_X(t)\right]_{t=0} \,\!$

例えば、 $X$ が標準的なコーシー分布に従うとする。すると $\varphi_X(t)=e^{-|t|}$ である。コーシー分布には期待値がなく、この特性関数は t = 0 の点で微分可能ではない。また、 $n$ 回の独立な観測についての標本の平均 $\overline{X}$ の特性関数は、上の節にあるように $\varphi_{\overline{X}}(t)=(e^{-|t|/n})^n=e^{-|t|}$ となる。これは標準のコーシー分布の特性関数であり、標本の平均と母集団は同じ分布である。

特性関数の対数はキュムラント母関数であり、キュムラントを求める際に有用である。ただし、キュムラント母関数を積率母関数の対数と定義する場合もあり、その場合は特性関数の対数を「第2」キュムラント母関数と呼ぶ。

[編集] データ解析

標本データに分布関数をあてはめるとき、特性関数を使うことができる。確率密度関数の閉形式が使えないため最尤法が適用しにくい場合、安定分布のあてはめも含め、特性関数を使ったあてはめが有効である。この場合の推定手順は、データから計算された経験的な特性関数と理論的な特性関数をマッチさせるという方法である。Paulson et al. (1975)^[9]とHeathcote (1977)^[10]は、そのような推定手順の理論的背景を提供している。さらに、Yu (2004)^[11]では、最尤法の適用が難しい場合に、経験的な特性関数を時系列モデルに適合させるという応用を解説している。

[編集] 例

尺度母数 θ、形状母数 k のガンマ分布の特性関数は次の通りである。

$(1 - \theta\,i\,t)^{-k}$

ここで、次のような2つのガンマ分布を考える。

$X ~\sim \Gamma(k_1,\theta) \mbox{ and } Y \sim \Gamma(k_2,\theta)$

X と Y が互いに独立のとき、X + Y がどのような分布になるかを求めたい。それぞれの特性関数は次の通りである。

$\varphi_X(t)=(1 - \theta\,i\,t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta\,i\,t)^{-k_2}$

これらが独立であることと、特性関数の基本属性から、次が導かれる。

$\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta\,i\,t)^{-k_1}(1 - \theta\,i\,t)^{-k_2}=\left(1 - \theta\,i\,t\right)^{-(k_1+k_2)}$

これは、尺度母数 θ、形状母数 k₁ + k₂ のガンマ分布の特性関数に他ならない。したがって、最終的に次の結論が得られる。

$X+Y \sim \Gamma(k_1+k_2,\theta) \,$

この結論は、尺度母数が同じn個の独立なガンマ分布の確率変数に拡張することができ、次が導かれる。

$\forall i \in \{1,\ldots, n\} : X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right)$

[編集] 関連する概念

関連する概念として、積率母関数と確率母関数がある。特性関数は全ての確率分布について存在するが、積率母関数はそうとは限らない。

特性関数は、フーリエ変換と密接な関係がある。確率密度関数 $p (x)$ の特性関数は、 $p (x)$ の連続フーリエ変換の複素共役である。

$\varphi_X(t) = \langle e^{itX} \rangle = \int_{-\infty}^\infty e^{itx}p(x)\, dx = \overline{\left( \int_{-\infty}^\infty e^{-itx}p(x)\, dx \right)} = \overline{P(t)}$

ここで P(t) は、確率密度関数 p(x) の連続フーリエ変換を表す。同様に $\varphi_X(t)$ への逆フーリエ変換で $p (x)$ を得られる。

$p(x) = \frac{1}{2\pi} \int_{-\infty}^\infty e^{itx} P(t)\, dt = \frac{1}{2\pi} \int_{-\infty}^\infty e^{itx} \overline{\varphi_X(t)}\, dt$

確率変数が密度関数を持たない場合でも、特性関数はその確率変数に対応した測度のフーリエ変換とみなすことができる。

[編集] 脚注・出典

^ ^い ^ろ ^は Lukacs, E. (1970). Characteristic functions. London: Griffin.
^ Billingsley, Patrick (1995). Probability and measure, 3rd, John Wiley & Sons. ISBN 0-471-00710-2.
^ Pinsky, Mark (2002). Introduction to Fourier analysis and wavelets. Brooks/Cole. ISBN 0-534-37660-6.
^ Bochner, Salomon (1955). Harmonic analysis and the theory of probability. University of California Press.
^ ^い ^ろ (1995) Linear and graphical models for the multivariate complex normal distribution, Lecture notes in statistics 101. New York: Springer-Verlag. ISBN 0-387-94521-0.
^ Sobczyk, Kazimierz (2001). Stochastic differential equations. Kluwer Academic Publishers. ISBN 9781402003455.
^ Cuppens, R. (1975). Decomposition of multivariate probabilities. Academic Press.
^ Wendel, J.G. (1961). “The non-absolute convergence of Gil-Pelaez' inversion integral”. The Annals of Mathematical Statistics 32 (1): 338–339.
^ Paulson, A.S., E.W. Holcomb, R.A. Leitch (1975). “The estimation of the parameters of the stable laws”. Biometrika 62: 163–170.
^ Heathcote, C.R. (1977). “The integrated squared error estimation of parameters”. Biometrika 64 (2): 255–264.
^ Yu, J. (2004). “Empirical characteristic function estimation and its applications”. Econometrics Reviews 23 (2): 93–1223.

[編集] 参考文献

Bisgaard, T. M.; Z. Sasvári (2000). Characteristic functions and moment sequences. Nova Science.

フリー百科事典『ウィキペディア（Wikipedia）』 Text is available under GNU Free Documentation License.

最終更新 2009年11月19日 (木) 20:10 （日時は個人設定で未設定ならばUTC）。
【特性関数 (確率論)】変更履歴

[Lukas1970-0] い ^ろ ^は Lukacs, E. (1970). Characteristic functions. London: Griffin.

[1] Billingsley, Patrick (1995). Probability and measure, 3rd, John Wiley & Sons. ISBN 0-471-00710-2.

[2] Pinsky, Mark (2002). Introduction to Fourier analysis and wavelets. Brooks/Cole. ISBN 0-534-37660-6.

[3] Bochner, Salomon (1955). Harmonic analysis and the theory of probability. University of California Press.

[Anderson1995-4] い ^ろ (1995) Linear and graphical models for the multivariate complex normal distribution, Lecture notes in statistics 101. New York: Springer-Verlag. ISBN 0-387-94521-0.

[5] Sobczyk, Kazimierz (2001). Stochastic differential equations. Kluwer Academic Publishers. ISBN 9781402003455.

[6] Cuppens, R. (1975). Decomposition of multivariate probabilities. Academic Press.

[7] Wendel, J.G. (1961). “The non-absolute convergence of Gil-Pelaez' inversion integral”. The Annals of Mathematical Statistics 32 (1): 338–339.

[8] Paulson, A.S., E.W. Holcomb, R.A. Leitch (1975). “The estimation of the parameters of the stable laws”. Biometrika 62: 163–170.

[9] Heathcote, C.R. (1977). “The integrated squared error estimation of parameters”. Biometrika 64 (2): 255–264.

[10] Yu, J. (2004). “Empirical characteristic function estimation and its applications”. Econometrics Reviews 23 (2): 93–1223.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]