지수족

확률 및 통계학에서 지수 계열은 아래에 지정된 특정 형식의 모수 분포 집합입니다.이 특별한 형태는 수학적인 편의를 위해 선택되었으며, 일반성뿐만 아니라 몇 가지 유용한 대수적 특성에 근거해 일반성을 고려하기에 매우 자연스러운 분포 집합이다.지수 클래스라는 용어는 "지수 패밀리"^[1] 또는 더 오래된 용어인 쿱만-다무아 패밀리 대신 사용되기도 한다.조건과"가족""분포"종종 느슨하게:매개 변수와 특정 유통하는 것은, 구체적으로 기하 급수적인 가족은 집합[를] 하지만, 분포의 파라메트릭 가족은 종종"유통"( 같은"정규 분포""정상적인 분배를 가족 의미는 사용된다.")모든 지수족 집합은 때때로 느슨하게 "지수족"이라고 불립니다.이들은 다양한 바람직한 속성을 가지고 있기 때문에 구별되며, 가장 중요한 것은 충분한 통계량의 존재이다.

지수족 개념은 E. J. Pitman,^[3] G. Darmois,^[4] B에 기인한다^[2]. 1935~1936년 O. 쿠프만^[5]지수 분포군은 자연 모수 측면에서 모수 분포군의 가능한 대체 모수화를 선택하고, 계열의 자연적 충분한 통계량이라고 불리는 유용한 표본 통계를 정의하기 위한 일반적인 프레임워크를 제공한다.

정의.

일반적으로 사용되는 분포 대부분은 아래 하위 섹션에 나열된 지수 계열 또는 지수 계열의 부분 집합을 구성합니다.그 뒤의 하위 섹션은 점점 더 일반적인 지수 계열의 수학적 정의의 연속이다.일반 독자는 이산 또는 연속 확률 분포의 단일 모수 계열에 해당하는 첫 번째 가장 단순한 정의에 주의를 제한할 수 있습니다.

지수 집합 분포 예제

지수 집합에는 가장 일반적인 분포가 많이 포함됩니다.여러 가지 중에서도 지수 패밀리에는 다음이 포함됩니다.

여러 공통 분포는 지수 계열이지만 특정 모수가 고정되어 있고 알려진 경우에만 해당됩니다.예를 들어 다음과 같습니다.

• 이항(고정 시행 횟수 포함)
• 다항식(고정 시행 횟수 포함)
• 음의 이항 분포(고정 고장 횟수 포함)

각 경우 고정해야 하는 모수에 따라 관측치 크기의 한계가 결정됩니다.

지수 집합이 아닌 일반 분포의 예로는 학생 t, 대부분의 혼합물 분포, 경계가 고정되지 않은 경우 균일한 분포 집합 등이 있습니다.상세한 것에 대하여는, 다음의 항을 참조해 주세요.

스칼라 파라미터

단일 모수 지수 계열은 확률 밀도 함수(또는 이산 분포의 경우 확률 질량 함수)가 다음과 같이 표현될 수 있는 확률 분포의 집합이다.

$\displaystyle f_{X}(x\mid \theta)=h(x),\exp \!{\bigl [},\eta (\theta)\cdot T(x)-A(\theta ),{\bigr }}$

여기서 T(x), h(x), "("") 및 A(")는 기존의 함수입니다.함수 h(x)는 당연히 음수가 아니어야 합니다.

종종 제공되는 동등한 대체 형식은 다음과 같습니다.

$\displaystyle f_{X}(x\mid \theta)=h(x),g(\theta),\exp \!{\bigl [},\eta (\theta)\cdot T(x),{\bigr }}$

또는 동등하게

$(\displaystyle f_{X}(x\mid \theta)=\exp \!{\bigl [},\eta (\theta)\cdot T(x)-A(\theta)+B(x),{\bigr ]})$

값 is을 패밀리의 파라미터라고 합니다.

${\displaystyle 또한}$ f X${\displaystyle {}_{}}$( ${\displaystyle x}$ ${\displaystyle \mid }$ $){$$\left(x\mid \theta \right)$ $$(${\displaystyle {즉}_{}}$, f X${\displaystyle {}_{}}$(${\displaystyle x}$$$${\displaystyle \mid \theta }$ $)\${X$$$}\!$\$left(x\mid \theta \right)$는 $0$보다 ${\$ { $displaystyle \theta$ $\}$^[6]에 의존하지 않습니다.이는 모수 패밀리 분포를 지수 패밀리로부터 제외하기 위해 사용할 수 있습니다.예를 들어, Pareto 분포에는 x${\displaystyle m_{}}$x m { $displaystyle$x \ $geq$ x _ {$$$m$} （$x$ m } ）에 $정의$되어 있는pdf 가 있습니다.따라서 그 ${\displaystyle {지원}_{}}$은 x$$m { $displaystyle x_{$m$\}$ 입니다$$.${\displaystyle {f\alpha }_{}}$, $x$${\displaystyle {{}_{}}_{}}$m (${\displaystyle x}$) { $displaystyle f_{$ m} 의 $서포트$이므로,$_{m}}\!(x)}$은(는) 매개 변수 값에 따라 달라지며, Pareto 분포 패밀리는 지수 분포 패밀리를 형성하지 않습니다(${\displaystyle {적어도}_{}}$ x$$m {$displaystyle x_{$m$$}을(를) 알 수 $없는{\displaystyle {}_{}}$ 경우).

종종 x는 측정의 벡터이며, 이 경우 T(x)는 x의 가능한 값 공간부터 실수까지의 함수일 수 있습니다.보다 일반적으로는 $\theta {\displaystyle {}^{}}$(θ)와 T(x${\displaystyle )}$는 각각 θ${\displaystyle (\theta )}$와${\displaystyle }$T$)\displaystyle \eta'(\theta)\cdot$ T$(x)}$가 실가치가 되도록 벡터값으로 할 수 있다.그러나 곡선 지수 패밀리에 대한 벡터 매개 변수에 대한 다음 설명을 참조하십시오.

η(가) = θ이면 지수군은 정준형이라고 한다.변환된 파라미터 η = ( （ ）을 정의함으로써 지수 패밀리를 정규 형식으로 변환할 수 있습니다.T(x)에 그 상수의 역수를 곱하거나 ${\displaystyle \mathrm{상수}}$c에${\displaystyle \exp }$ [ - ${\displaystyle c)}$ T${\displaystyle }$( ${\displaystyle x}$)\ display $style$ \exp \$exp$ \ exp !\l [ \ $cdot ](x )$를 곱하는 경우, θ(x) 및 h(x)에 상수 c를 추가할 수 있으므로 표준 형식은 고유하지 않습니다.θ(θ) = θ 및 T(x) = x인 특수한 경우, 군을 자연 지수족이라고 합니다.

x가 스칼라이고 파라미터가 1개밖에 없는 경우에도 다음과 같이 함수 θ(θ)와 T(x)는 벡터일 수 있습니다.

함수 A(') 또는 동등한 g(')는 다른 함수가 선택되면 자동으로 결정됩니다.이는 분포를 정규화하는 형식(도메인 전체에 걸쳐 하나의 형태로 합산 또는 적분)을 취할 필요가 있기 때문입니다.또, 이러한 함수는, θ(θ)가 일대일 함수가 아닌 경우라도, 즉 θ의 2이상의 다른 값이 θ(θ)의 같은 값에 매핑되어 있기 때문에, θ(θ)를 반전할 수 없는 경우에도 항상 θ의 함수로 쓸 수 있다.이 경우, A(') 및 g(')에 대한 매핑의 모든 값도 같은 값이 됩니다.

관련된 변수의 인수분해

주목해야 할 중요한 것과 모든 지수족 변형을 특징짓는 것은 변수와 관측 변수가 직접 또는 지수 연산의 어느 한 부분(기저수 또는 지수) 내에서 인수분해되어야 한다는 것이다(각각은 하나의 변수 유형만 포함하는 곱으로 분리될 수 있음).일반적으로 밀도 또는 질량 함수를 구성하는 모든 인자는 다음 중 하나의 형태여야 합니다.

$\displaystyle f(x), g(\theta), c^{f(x), c^{g(\theta), {[f(x)]}^{c},{[g(\theta)}^{c},{[f(x)]}^{g(\theta)},{{f(x)}^h(x)g(\theta)},{\text{ 또는 }{g(\theta)}(x)},{hta}(x})\ta},$

여기서 f와 h는 x의 임의의 함수이고, g와 j는 θ의 임의의 함수이며, c는 임의의 "가변" 식이다(즉, x나 θ를 포함하지 않는 식).

그러한 요소들이 얼마나 많이 발생할 수 있는지에 대한 추가적인 제약이 있다.예를 들어, 다음 두 가지 식입니다.

${\displaystyle {[f(x)g(\theta)}^{h(x)j(\theta)},\qquad {[f(x)]^{h(x)j(\theta)},$

동일한 두 가지 "허용된" 요소의 산물입니다.하지만 인수분해된 형태로 다시 작성하면

${\displaystyle {[f(x)g(\theta)}^{h(x)j(\theta)}={[f(x)]^{h(x)j(\theta)}=e^{[h(x)\theta)\ta(x)}$

필요한 형태로 표현할 수 없다는 것을 알 수 있다(다만, 이러한 종류의 형태는 지수 내에서 여러 인수분해 항을 사용할 수 있는 곡선 지수군의 구성원이다).^{[citation needed]}

양식의 표현 이유를 확인하려면

${\displaystyle {[f(x)]}^{g(\theta)}}$

자격요건수,

${\displaystyle {[f(x)]}^{g(\theta)}=e^{g(\theta)\log f(x)}$

따라서 지수 내부에서 인수분해됩니다.유사하게,

${{displaystyle {f(x)}^{h(x)g(\theta)}=e^{h(x)g(\theta)\log f(x)}=e^{h(x)\log f(x)]g(\theta)}}}}$

그리고 다시 지수 내부에서 인수분해 합니다.

두 유형의 변수가 모두 관련된 합계로 구성된 계수(${\displaystyle 예}$: 1${\displaystyle }$+${\displaystyle f}$ (${\displaystyle x}$ )${\displaystyle g}$ ( ${\displaystyle )}$) (\$displaystyle$1 +$f$ ($x) g$(\$theta$) $))$ (일부 지수에서 직접 발생하는 경우를 제외하고)는 이러한 방식으로 인수분해할 수 없습니다. 예를 들어, 코시 분포와 학생 분포가 아닌 이유는 다음과 같습니다.xponential family.

벡터 파라미터

하나의 실수 파라미터에 대한 정의는 하나의 실수벡터 파라미터로 확장될 수 있습니다.

${\displaystyle {\boldsymbol {theta }\equiv \left[,\theta _ {1},\ldots ,\theta _{s},\right]^{\mathsf {T}}~.}$

확률밀도함수(또는 이산분포의 경우 확률질량함수)가 다음과 같이 기록될 수 있는 경우 분포군은 벡터 지수족에 속한다고 한다.

$\displaystyle f_{X}(x\mid\boldsymbol\theta })=h(x),\exp \left(\sum _{i=1}^{s}\eta _{i}(\boldsymbol\theta })T_{i}(x)-A({\boldsymbol {theta }}\right)~,}$

아니면 좀 더 컴팩트한 형태로

$(\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x),\exp {\boldsymbol {\ta }}}({\boldsymbol {ta }})\cdot \mathbf {T}(x)-A({\boldsymbol {\ta } } } } } } } } } } } } } } } } } } }$

이 형식은 벡터 값 함수 ${\displaystyle (}$ ( $)$ ) \ $displaystyle$\ bold $symbol$\$seta$} （ { \ $bold$ symbol \ $theta }$） $t$ t${\displaystyle }$t${\displaystyle }$) T ($x$ ) ${\displaystyle t}$ t t t t t $t$ t t t t of of of of of of of of of of of of of of of of of of of of of of of of of ${\displaystyle of\mathit{}}$ of of of of of of of of of of of of of of of of of of of of of

자주 볼 수 있는 동등한 대체 형태는 다음과 같습니다.

$(\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x),gg\boldsymbol {\theta }},\exp {\big}({\boldsymbol {ta }}}) {T}(x}})$

스칼라 값 사례에서와 같이, 지수 패밀리는 다음과 같이 표준 형식이라고 한다.

$\displaystyle \eta _{i}({\boldsymbol {theta })=\theta _{i}\forall i,}$

벡터 지수 패밀리는 다음과 같은 경우 곡선이라고 한다.

${\displaystyle {\boldsymbol {theta }\equiv \left[,\theta _ {1},\ldots ,\theta _{d},\right]^{\mathsf {T}}}$

벡터의 차원보다 작습니다.

$(\displaystyle {\boldsymbol {\theta }})\equiv \left[,\eta _{1}({\boldsymbol {theta }}),\ldots,\eta _{},\boldsymbol}, 오른쪽)$

즉, 파라미터 벡터의 차원 d가 확률밀도함수의 상기 표현에서 파라미터 벡터의 함수 s보다 작을 경우이다.지수 패밀리의 대부분의 일반적인 분포는 곡선이 아니며, 모든 지수 패밀리와 함께 작동하도록 설계된 많은 알고리즘은 분포가 곡선이 아니라고 가정합니다.

상기 스칼라값 파라미터의 경우와 마찬가지로 ${\displaystyle 다른\mathit{}}$ 함수가 선택되면 A${\displaystyle (}$ $()\displaystyle$ A$({\boldsymbol {theta$}) 또는$$ ${\displaystyle 이}$에 상당하는${\displaystyle }$g${\displaystyle (}$ $))\display$g({\$boldsymbol$ {$theta$}}})가 자동으로 결정되므로 분포 전체가 정규화된다.In addition, as above, both of these functions can always be written as functions of ${\displaystyle {\boldsymbol {\eta }}}$, regardless of the form of the transformation that generates ${\displaystyle {\boldsymbol {\eta }}}$ from ${\displaystyle {\boldsymbol {\theta }}\,}$. Hence an exponential family in its "natural form" (자연 파라미터에 의해 파라미터화됨)은 다음과 같습니다.

$\displaystyle f_{X}(x\mid\boldsymbol\eta})=h(x),\exp(\boldsymbol\eta})\cdot\mathbf {T}(x)-A({\boldsymbol\eta}}){\Big}}}}}}}}}$

또는 동등하게

$\displaystyle f_{X}(x\mid\boldsymbol\eta})=h(x),g(\boldsymbol\boldsymbol\eta}),\exp(\big){\cdot\mathbf {T}(x){\Big}}}}}}}}}$

위의 폼은${\displaystyle t\mathbf{}}$T (${\displaystyle x}$)$대신$ ${\displaystyle t^{}\mathbf{}}$ T${\displaystyle }$(${\displaystyle }$x )$$( \ $displaystyle$$\ boldsymbol$ \$eta$$}^{$ \ $mathsf$${$ $T }$$$($$x )로 표시되는 경우가 있습니다.$이러한$ 폼은 정확하게 동등합니다$.$

벡터 파라미터, 벡터 변수

단일 스칼라 값 랜덤 변수에 대한 벡터 모수 형식은 랜덤 변수의 벡터에 대한 공동 분포를 포함하도록 3차적으로 확장할 수 있습니다.결과 분포는 스칼라 x가 벡터에 의해 대체될 때마다 스칼라 값 랜덤 변수에 대한 위의 분포와 같다.

$\displaystyle \mathbf {x} =\left(x_{1},x_{2},\cdots,x_{k}\right)^{\mathsf {T}~.}$

랜덤 변수의 치수 k는 파라미터 벡터의 치수 d와 일치할 필요가 없습니다.또한 (곡선지수함수의 경우) 자연 $파라미터{\displaystyle \mathit{}}$ ${\$ \ $display$ \ style \ bold $symbol$\$eta }$ 및$$ 충분한 통계량 T(x)의 치수 s도 없습니다.

이 경우의 분포는 다음과 같습니다.

$(\displaystyle f_{X}\!)\left(\mathbf {x} \mid {\boldsymbol {theta }}\right(\mathbf {x}),\exp \!\left(\sum _i=1}^{s}\eta _{i}(\boldsymbol {theta }})T_{i}(\mathbf {x})-A({\boldsymbol {theta }}),\right)}$

또는 보다 콤팩트하게

$(\displaystyle f_{X}\!)\left(,\mathbf {x} \mid {boldsymbol {theta },\right})=h(\mathbf {x}),\exp \!{\Big (}, {\boldsymbol {eta }}({\boldsymbol {theta }})\cdot \mathbf {T}(\mathbf {x})-A(\boldsymbol {theta }}), {\Big}}}}}}}$

또는 다른 방법으로

$(\displaystyle f_{X}\!)\left(,\mathbf {x} \mid {\boldsymbol {theta },\right}=gboldsymbol {theta })\;h(\mathbf {x}),\exp \!{\Big (}, {\boldsymbol {eta }}({\boldsymbol {theta }})\cdot \mathbf {T}(\mathbf {x}), {\Big})}}$

측정이론제

이산 분포와 연속 분포를 모두 포함하기 위해 누적 분포 함수(CDF)를 사용합니다.

H가 실제 변수의 비감소 함수라고 가정합니다.${\displaystyle 다음}$으로, Lebegue-Stieltjes 적분은 d${\displaystyle }$H (${\displaystyle x\mathbf{}}$)에 $대한{\displaystyle \mathrm{}}$ 적분이다. (\$displaystyle {d,}H(\mathbf {x}))$는 H에 의해 생성된 지수군의 기준 측도에 대한 적분이다.

해당 지수 계열의 모든 구성원이 누적 분포 함수를 가지고 있습니다.

${\displaystyle {d,}F\left(,\mathbf {x})\mid(\boldsymbol {theta})=\exp(\boldsymbol {bigl},{\ta})\cdot \mathbf {T},A(\mathbf {x})$

H(x)는 기준 측정의 Lebegue-Stieltjes 적분자이다.기준 측도가 유한하면 정규화할 수 있으며 H는 사실 확률 분포의 누적 분포 함수입니다.F가 기준 ${\displaystyle 측도\mathrm{}}$ ${\displaystyle d}$ x$,$ ${\rm {d,}x,}($일반적으로 르베그 측도)에 대해 $밀도{\displaystyle }$ f$)$ {$displaystyle$ f$(x)}$ {\$rm {$d} {x$}$로 절대$$ 연속인 경우 d $($ $=$ $(x$ ${\displaystyle d}$ x {$displaystyle$} {d, {\rm {d} {d} {x} {x$}$로 쓰면 $된다$.${\displaystyle continuous}$및 d H ( ${\displaystyle x}$) $=$ (${\displaystyle }$x ) ${\displaystyle d}$ x {\$rm {d,}$ H $($x) $= h$ (x ) 、${\rm${d,} x$$, } 라고 쓸 수 있기 때문에, 수식은 앞의 단락의 수식으로 줄일 수 있습니다.F가 이산인 경우 H는 스텝 함수(F를 지원하는 스텝 포함)입니다.

또는 확률 측도를 다음과 같이 직접 작성할 수 있습니다.

$(\displaystyle P\left({\rm {d,}})\mathbf {x}\mid(\boldsymbol {theta},\right)=\exp {bigl(},{\boldsymbol {ta}})\cdot \mathbf {T}-A(\ta})$

일부 기준 $측정{\displaystyle }$μ$(\displaystyle$ \mu$\})$에 대해 설명합니다.

해석

위의 정의에서는 함수 T(x), θ(θ) 및 A(θ)가 임의로 정의되어 있는 것으로 보인다.그러나 이러한 함수는 결과 확률 분포에서 중요한 역할을 합니다.

• T(x)는 분포에 대한 충분한 통계량입니다.지수 계열의 경우 충분한 통계량은 알 수 없는 모수 값과 관련하여 데이터 x가 제공하는 모든 정보를 유지하는 데이터의 함수입니다.즉, 모든 $데이터{\displaystyle }$ 세트$$x(\$displaystyle$x)와$y$(\$displaystyle$ y$)$에 대해 우도비는 $같습니다{\displaystyle \frac{.}{}}$즉,${\displaystyle \frac{f}{}}$(${\displaystyle \frac{{x\mathrm{}}_{}}{}}$ ;${\displaystyle \frac{{}_{}}{(}}$ ${\displaystyle \frac{1}{}}$)${\displaystyle \frac{}{}\frac{f}{}}$(${\displaystyle \frac{{x\mathrm{}}_{}}{}}$ ;$=$ ${\displaystyle 2\frac{}{}}$)${\displaystyle \frac{}{}}$= f( y${\displaystyle \frac{}{}}$; ${\displaystyle \frac{{2\mathrm{}}_{}}{}}$2) { $display$ style ${f(x ;\ta _1} = f(x$; $ta$ )입니다$.$) = T(y) . x 와 y 가 상당히 다른 경우, 즉 d(x ,) $>$ { $displaystyle d(x$ ,$y$ ) > 0 , 해당됩니다. T(x)의 치수는 and의 파라미터 수와 같으며 파라미터 θ에 관련된 모든 데이터를 포함합니다.독립적이고 동일한 분포의 데이터 관측치 집합의 충분한 통계량은 단순히 개별적인 충분한 통계량의 합이며, 주어진 데이터(따라서 모수의 원하는 추정치를 도출하는 데)의 사후 분포를 설명하는 데 필요한 모든 정보를 캡슐화한다.(이 중요한 속성은 아래에서 자세히 설명합니다.)
• θ를 자연 파라미터라고 합니다.$함수$ ${\displaystyle f_{}}$ ${\displaystyle X{}_{}}$(${\displaystyle x}$ ; ${\displaystyle )}$) { $displaystyle f_{X}(x;\$eta)} 가 적분 가능한 for의 값 집합을 자연 파라미터 공간이라고 한다.자연 파라미터 공간은 항상 볼록하다는 것을 알 수 있다.
• A())는 정규화 계수의 로그이기 때문에 로그 분할^[b] 함수라고 불리며, $정규화{\displaystyle {}_{}}$ 계수가 없으면 f ${\displaystyle X_{}x;}$ $))$ {$displaystyle f_{X}(x;\theta)}$는 확률 분포가 되지 않습니다.

$A _theta)\ xdisplaystyle A(\eta)=\log \left(\int _X}h(xp(CDOT)$

함수 A는 충분한 통계량 T(x)의 평균, 분산 및 기타 모멘트를 단순히 A( a)를 미분함으로써 도출할 수 있기 때문에 그 자체로 중요하다.예를 들어 log(x)는 감마 분포의 충분한 통계량 성분 중 하나이므로 A(η)를 사용하여 E${\displaystyle }$ [ ${\displaystyle \log x}$ x$]$ \ $displaystyle \operatorname {E}$ {\$log$ x$$}를$$ $쉽게{\displaystyle \mathcal{}}$ 결정할 수 있습니다.엄밀히 말하면, 이것은 사실이다.

$K\displaystyle K\left(u\mid\eta\right)=A(\eta +u)-A(\eta )}$

는 충분한 통계량의 누적 생성 함수입니다.

지수족에는 통계 분석에 매우 유용한 특성이 많이 있습니다.대부분의 경우 지수 패밀리만 이러한 속성을 가지고 있음을 알 수 있습니다.예:

• 지수 계열은 고정된 수의 값을 사용하여 동일한 분포의 독립 데이터의 임의의 양을 요약할 수 있는 충분한 통계량을 가진 유일한 계열이다. (피트만-쿠프만-다모아 정리)
• 지수족에는 베이지안 통계에서 중요한 속성인 켤레 우선 순위가 있습니다.
• 사전 켤레를 갖는 지수족 랜덤 변수의 후방 예측 분포는 항상 닫힌 형식으로 작성될 수 있다(지수족 분포의 정규화 요인 자체가 닫힌 ^[c]형식으로 작성될 수 있는 경우).
• 가변 베이즈(대형 베이지안 네트워크에서 후방 분포를 근사하는 데 사용됨)의 평균장 근사에서, 공역 사전이 있는 지수 패밀리 노드(노드는 베이지안 네트워크의 맥락에서 랜덤 변수)의 최선의 후방 분포는 ^[7]노드와 같은 패밀리에 있다.

${\displaystyle f_{}}$ X${\displaystyle {}_{}}$( ${\displaystyle x}$ ${\displaystyle \mid \mid }$ )${\displaystyle =h}$ ( ${\displaystyle x}$)${\displaystyle }$exp [ ${\displaystyle \mathrm{\theta \theta }}$T${\displaystyle }$(${\displaystyle x}$) -${\displaystyle }$A ( ${\displaystyle )}$) $]{$ $display f$_ { $X$} ($x$ \$mid$ \ $theta$ ) $= h$ ( $x$) , \ $exp$\ { \ $bigl$ [ } , \ $theta$\ $cdot T$ ( x ) \ $TA$ )$。$$\subset \mathbb {R}^{k$그리고나서

• ${\$ { $displaystyle$\$Theta }$ { $R$ ${\displaystyle {}^{}}$ \ $displaystyle$\ $mathbb${ $R$$}$^ { k $\}$${\displaystyle }$$の{\displaystyle {\mathbb{}}^{}}$${\displaystyle }$in in in {{ { $in{\displaystyle }$ 、${\displaystyle {}_{}}$X ${\displaystyle {}_{}}$ ~$F X$（${\displaystyle }$$displaystyle$ X$$${\displaystyle {\_\mathrm{}}_{}}$${ 1$${\displaystyle {}_{}}$}$$${\displaystyle ）}$ ${\displaystyle 。}$$=\sum _{i=1}^{n$}T$(X_{$i$$})는 ${\$ {$displaystyle$ \theta$\}$^[8][9]의 $완전{\displaystyle }$ 통계량입니다$.$
• ${\displaystyle }$$T$$(\$$displaystyle$ T$)$는 X$(xisplaystyle$$)$를 $지원$하는 $display2(\displaystyle \theta _{1}\$${\displaystyle {}_{}}$ $）$ 및 $x1{\displaystyle {}_{}}$ $(\$의 모든$$ifffff에$$ $대한$ 최소 통계량입니다.${\displaystyle )}$ ${\displaystyle =}$ (\$displaystyle _{1}-\theta$_{$2}\cdot (T(x_{1}-T(x_{$2})=$0$ ${\displaystyle {1\mathrm{}}_{}}$ 1 $=$ ${\displaystyle {2\mathrm{}}_{}}$2 (\$displaystyle \theta$_{1}=\$theta$ _${2}}$ $또는$ ${\displaystyle {x\mathrm{}}_{}}$ 1 $=$ ${\displaystyle {x\mathrm{}}_{}}$2 (\$displaystyle x_{1})$ . $0$^[10]）

»

이 섹션의 예를 고려할 때, "분포"는 지수 패밀리라고 하는 것이 무엇을 의미하는지에 대한 위의 논의를 기억하는 것이 중요합니다. 특히, "분포"가 지수 패밀리인지 아닌지를 판별하는 데 있어 변경이 허용되는 일련의 파라미터가 중요하다는 점에 유의하십시오.

정규, 지수, 로그 정규, 감마, 카이 제곱, 베타, 디리클레, 베르누이, 범주형, 포아송, 기하학적, 역 가우스, 폰 미제 및 폰 미제스-피셔 분포는 모두 지수족이다.

일부 분포는 모수 중 일부가 고정된 경우에만 지수 집합입니다.최소 한계_m x가 고정된 파레토 분포군은 지수 군을 형성합니다.시행 횟수가 고정되어 있지만 확률 모수를 알 수 없는 이항 및 다항 분포의 군들은 지수 군입니다.고장 횟수가 고정된 음의 이항 분포 군(정지 시간 모수) r은 지수 군입니다.단, 위의 고정 파라미터 중 하나를 변경할 수 있는 경우 결과 패밀리는 지수 패밀리가 아닙니다.

위에서 설명한 바와 같이 일반적으로 지수 패밀리의 지원은 패밀리의 모든 매개변수 설정에서 동일하게 유지되어야 합니다.위의 사례(예: 시행 횟수가 다양한 이항식, 최소 경계가 다양한 파레토)가 지수 패밀리가 아닌 이유이며, 모든 경우에서 해당 매개변수가 지원에 영향을 미칩니다(특히 최소 또는 최대 가능 값 변경).비슷한 이유로 이산 균등 분포와 연속 균등 분포는 둘 중 하나 또는 둘 다 다르기 때문에 지수 계열이 아닙니다.

고정 형상 모수가 k인 Weibull 분포는 지수 군입니다.이전 예시와 달리 형상 매개변수는 지지에 영향을 주지 않습니다. 형상 매개변수를 변동시킬 수 있는 것은 와이불 확률 밀도 함수의 특정 형태(k는 지수의 지수에 표시됨)에 기인합니다.

일반적으로 다른 분포의 유한 또는 무한 혼합(예: 혼합물 모형 밀도 및 복합 확률 분포)에서 발생하는 분포는 지수군이 아닙니다.대표적인 가우스 혼합 모델뿐만 아니라, 예를 들어 학생의 t-분포(사전 감마 분포 정밀도에 대한 정규 분포 합성)와 베타-이항 분포와 같은 매개변수 중 하나에 대한 사전 분포와의 배합(즉 무한 혼합)에서 발생하는 많은 헤비테일 분포가 그 예이다.디리클레 다항 분포지수 분포가 아닌 분포의 다른 예로는 F-분포, 코시 분포, 초기하 분포 및 로지스틱 분포가 있습니다.

다음은 지수 패밀리로서 유용한 분포를 나타내는 몇 가지 자세한 예입니다.

알수 없는 알려진 : 알 수 없는 평균, 알 수 없는 분산

첫 번째 예로는 알 수 없는 평균 μ 및 알려진 분산 θ를² 갖는 정규 분포 랜덤 변수를 생각해 보십시오.확률 밀도 함수는 다음과 같습니다.

${\displaystyle f_{\displaystyle }(x;\mu)=blashfrac {1}{\displayrt {2\pi \display ^{2}/(2\display ^{2}}}}}.}$

은 단일 이며, 에서는 알 수 .

${{1display{1}{1}{\display2}}}\[]{\displaystyle }\display frac {h}T_{\sigma }(x)&=sigma frac {x}{\sigma }}\[4pt]A_{\sigma}(\mu)&=frac {2\flac ^{2}}\[4pt]\eta _{\flac }(\mu)&=frac {\flac } {\flac } {\flac }(\flac })end {aligned}$

θ = 1이면 θ(μ) = μ와 같이 표준 형태이다.

알수과 알 수 없는 입니다.

다음으로 평균이 불분명하고 분산이 불분명한 정규 분포의 경우를 고려합니다.는 '확률밀도함수'가.

${\displaystyle f(y;\mu,\displayrt {2\pi \display ^{2}}e^{-(y-\mu)^{2}/2\display ^{2}}.}$

계열은 형식으로 쓸수입니다.

${\displaystyle{\begin{정렬}{\boldsymbol{\eta}}&=\left[\,{\frac{\mu}{\sigma ^{2}}},~-{\frac{1}{2\sigma ^{2}}}\,\right]\\h(y)&, ={\frac{1}{\sqrt{2\pi}}}\\T(y)&, =\left(y,y^{2}\right)^{\rm{T}}\\A({\boldsymbol{\eta}})&, ={\frac{\mu ^{2}}{2\sigma ^{2}}}+\log \sigma =-{\frac{\eta_{1}^{2}}{4\eta_{2}}}+{\frac{1}{2}}\log \lef.t{\frac{1}{2\e{\displaystyle{\boldsymbol}}eta}}&=left[, {\fracmboletamu}{\frac}{2\frac{2}},\right]\h(y)&, =parc{1}{\sqrt{2\pi}\y}\y=,\left}&TT}}\A({\boldsymbol{\eta})&, =flacambu ^{2}}+\log \flaca mu ^{2}}+\log \fraca_{1}^{2}}+{4\eta_{2}}+{\log \leflac{f}.tfr frac {1} {2\ _ta _{2}}\right \end {aligned}$

이산 지수군의 예로 시행 횟수가 n인 이항 분포를 고려하십시오.이 분포의 확률 질량 함수는 다음과 같습니다.

$\displaystyle f(x)={n \choose x}p^{x}(1-p)^{n-x},\display x\in \{0,1,2,\ldots,n\}.}$

말은 '어느끼다'라고 할 수.

$({displaystyle f(x)={n \choose x}\exp \left(x\log \leftfrac {p}{1-p}}\right)+n\log(1-p)\right)}}}$

이는 이항 분포가 지수 군이며, 자연 모수는 다음과 같습니다.

$(\displaystyle \eta =\log {frac {p}{1-p})}$

p의 이 함수를 로짓이라고 합니다.

분포표

다음 표에서는 다수의 공통 분포를 자연 모수를 사용하여 지수 패밀리 분포로 다시 쓰는 방법을 보여 줍니다.메인 지수 패밀리에 대해서는 플래시^[11] 카드를 참조해 주세요.

scalar 변수 및 scalar 파라미터의 형식은 다음과 같습니다.

$({displaystyle f_{X}(x\mid \theta)=h(x)\exp {Big(\theta }\eta({\theta })})T(x)-A({\eta }}{\Big}}})}$

스칼라 변수 및 벡터 파라미터의 경우:

$({displaystyle f_{X}(x\mid {\boldsymbol {\theta}})=h(x)\exp {\boldsymbol {\theta}}}({\boldsymbol {T}})\cdbf {T}-A({\boldsymbol {eta}}}}}})$

$(\displaystyle f_{X}(x\mid {\theta })=h(x)gg(\boldsymbol {\theta }})\exp {\boldsymbol {\ta }}({\boldsymbol{ta }}}){\big})$

벡터 변수 및 벡터 파라미터의 경우:

$(\displaystyle f_{X}(\mathbf {x})\mid {\boldsymbol {x})=h(\mathbf {x})\exp {\boldsymbol {eta}}({\boldsymbol {ta}}})\cdot \mathbf {T}(\symbol})$

위의 공식에서는 로그 파티션 $함수{\displaystyle }$A ( "$){$ $display style$ A ( { \ $bold$ symbol { $eta }}$)를 가진 지수 패밀리의 함수 형식을 선택합니다.그 이유는 이 함수를 미분하는 것만으로 충분한 통계 모멘트를 쉽게 계산할 수 있기 때문입니다.대체 형태로는 자연 매개변수 $대신{\displaystyle \mathit{}}$ 일반 매개변수 ${\(\${\$boldsymbol$ {$theta$})로$$ 이 함수를 매개변수화하거나 지수 외부에 $있는{\displaystyle }$ ${\displaystyle 계수\mathit{}}$ g$( {\)$ {\$boldsymbol${eta $})$를 사용합니다.후자와 전자의 관계는 다음과 같습니다.

$({displaystyle A(\boldsymbol {eta }})=-\log g(\boldsymbol {eta}})}$

$({displaystyle gg\boldsymbol {eta }}=e^{-A({\boldsymbol {eta }})}$

두 가지 유형의 매개 변수를 포함하는 표현 간에 변환하려면 다음 공식을 사용하여 다른 유형의 매개 변수를 작성합니다.

분배	$파라미터{\displaystyle \mathit{}}$ ${\$ { $displaystyle$\ bold $symbol$\$theta }$ }	$자연{\displaystyle \mathit{}}$ 파라미터${\(\style\boldsymbol\eta })$	역파라미터 매핑	기본 $측정{\displaystyle }$h (${\displaystyle x}$) {$displaystyle$ h$(x)}$	충분한 $통계{\displaystyle }$ 정보${\displaystyle }$T (${\displaystyle x}$) {$style$ T$(x)}$	${\displaystyle 로그\mathit{}}$ $파티션A{\displaystyle (}$ ${\displaystyle )}$ $)({displaystyle$ A$(\boldsymbol {eta$}})})	${\displaystyle 로그\mathit{}}$ $파티션A{\displaystyle (}$ ${\displaystyle )}$ $)(\displaystyle$ A$(\boldsymbol\theta$})})
베르누이 분포	${\displaystyle p}$	${\displaystyle\log{p}{1-p}}$ 이것은 로짓 함수입니다.	$({displaystyle {1}{1+e^{-\eta }})=paramfrac {e^{\eta}}{1+e^{\eta}}})$ 이것은 로지스틱 함수입니다.	${\displaystyle 1}$	${\displaystyle x}$	$\displaystyle \log(1+e^{\eta })$	$\displaystyle -\log(1-p)}$
이항 분포 $이미{\displaystyle }$ 알려진 시행 횟수 n${displaystyle$ n$}$	${\displaystyle p}$	${\displaystyle\log{p}{1-p}}$	$({displaystyle {1}{1+e^{-\eta }})=paramfrac {e^{\eta}}{1+e^{\eta}}})$	${\displaystyle {n\choose x}}$	${\displaystyle x}$	${\displaystyle n\log(1+e^{\eta})}$	${\displaystyle -n\log(1-p)}$
포아송 분포	$\displaystyle \displayda }$	$\displaystyle \log \displayda }$	${\displaystyle e^{\eta}}$	${\displaystyle\frac{1}{x!}}}$	${\displaystyle x}$	${\displaystyle e^{\eta}}$	$\displaystyle \displayda }$
음이항 분포 기존 실패 $횟수{\displaystyle }$ r$\displaystyle$r	${\displaystyle p}$	$\displaystyle \log p}$	${\displaystyle e^{\eta}}$	$(\displaystyle {x+r-1\choose x})$	${\displaystyle x}$	$\displaystyle -r\log(1-e^{\eta })}$	${\displaystyle -r\log(1-p)}$
지수 분포	$\displaystyle \displayda }$	${\displaystyle -\displayda}$	${\displaystyle -\eta}$	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle -\logfilen\eta}$	$\displaystyle -\log \displayda }$
파레토 분포 $최소값{\displaystyle {}_{}}$ x $(\$을 알고 있습니다.	$\displaystyle \alpha }$	$\displaystyle -\alpha -1}$	$(\displaystyle-1-\eta)$	${\displaystyle 1}$	$\displaystyle \log x}$	${\displaystyle -\logparam1-\eta}+(1+\eta)\log x_{\mathrm {m}}}$	${\displaystyle -\log \alpha -\alpha \log x_{\mathrm {m}}}$
와이불 분포 이미 알려진 모양 k의	$\displaystyle \displayda }$	${\displaystyle -{\frac {1}{\displayda ^{k}}}}$	${\displaystyle(-\eta)^{-{\frac {1}{k}}}}$	${\displaystyle x^{k-1}}$	${\displaystyle x^{k}}$	$\displaystyle -\loggeta )-\log k}$	$\displaystyle k\log \displayda -\log k}$
라플라스 분포 $평균$이 알려진$$μ$(\displaystyle$\mu$)$인 경우	$(\display style b)$	${\displaystyle -{\frac {1}{b}}$	${\displaystyle -{\frac {1}{\eta }}}$	${\displaystyle 1}$	${\displaystyle x-\mu}$	${\displaystyle \log \leftflac {2}{\eta }}\right}$	$\displaystyle \log 2b$
기수 분포	${\displaystyle\nu}$	${\displaystyle\frac{2}-1}$	${\displaystyle 2(\eta +1)}$	${\displaystyle e^{-{\frac {x}{2}}}}$	$\displaystyle \log x}$	$\displaystyle \log \Gamma (\eta + 1) + (\eta + 1) \log 2 }$	$\displaystyle \Gamma \left({\frac {nu}{2}}\right)+{\frac {nu}{2}\log 2}$
정규 분포 이미 알려진 분산	${\displaystyle\mu}$	$(\displaystyle\frac{\displaystyle})$	$\displaystyle \eta }$	$({displaystyle {e^{-{\frac {x^2}}}{2\frac ^{2}}}}{\fracrt {2\pi}}}\frac }}$	$(\displaystyle\frac {x}{\display }})$	$(\displaystyle\frac^{2}}{2}}$	$(\displaystyle\frac\mu^{2}}{2\display^{2}}})$
연속 베르누이 분포	$\displaystyle \displayda }$	${\displaystyle\log\frac{1-\displayda}}$	$(\displaystyle {e^{\eta}}}{1+e^{\eta}}})$	${\displaystyle 1}$	${\displaystyle x}$	${\displaystyle \log {e^{\eta }-1}{\eta }}$	$\displaystyle \log \leftfrac {1-2\flac}{(1-\flacda)\log \flac {1-\flacda}{\flac}}}\right}}}}}}:\right$
정규 분포	$\displaystyle \mu, \display ^{2}}$	$\displaystyle {\dfrac {bmatrix} {\dfrac ^{2}\[10pt]-{\dfrac {1}{2\display ^{2}}\end {bmatrix}}}$	${\displaystyle {bmatrix}-{\dfrac {1}-{2}\[15pt]-{1}{2\eta _{2}}\end{bmatrix}}$	$(\displaystyle {1}{\displayrt {2\pi }}})$	${\displaystyle {bmatrix}x\x^{2}\end {bmatrix}}$	$({displaystyle - {\frac _{1}^2}}{4\eta _{2}}-{\frac {1}{2}}\logfac2\eta _{2}})$	${\displaystyle {\frac ^{2}}{2\display ^{2}}+\log \display }$
로그 정규 분포	$\displaystyle \mu, \display ^{2}}$	$\displaystyle {\dfrac {bmatrix} {\dfrac ^{2}\[10pt]-{\dfrac {1}{2\display ^{2}}\end {bmatrix}}}$	${\displaystyle {bmatrix}-{\dfrac {1}-{2}\[15pt]-{1}{2\eta _{2}}\end{bmatrix}}$	${\displaystyle {1}{\displayrt {2\pi }}x}}$	${\displaystyle {bmatrix}\log x\(\log x)^{2}\end {bmatrix}}$	$({displaystyle - {\frac _{1}^2}}{4\eta _{2}}-{\frac {1}{2}}\logfac2\eta _{2}})$	${\displaystyle {\frac ^{2}}{2\display ^{2}}+\log \display }$
역가우스 분포	$\displaystyle \mu, \displayda}$	${\displaystyle {bmatrix}-{\dfrac {2\mu ^{2}}\[15pt]-{\dfrac {bmatrix}}\end {bmatrix}}$	$(\displaystyle {bmatrix} {\dfrac {\eta _{1}}} \ \ [ 15pt ]-2\eta _{2} \ end {bmatrix} )$	${\displaystyle {1}{\displayrt {2\pi }}x^{\frac {3}{2}}}}$	${\displaystyle {bmatrix}x\[5pt]{\dfrac {1}{x}}\end {bmatrix}$	$({displaystyle - 2grt _ {1} \ eta _ {2} } - {\frac {1} {2} } \ loggrap2 \ eta _ {2} }$	${\displaystyle - {\frac {1}{2}} \log \frac da }$
감마 분포	$\displaystyle \alpha , \displays }$	$(\displaystyle\alpha-1\-\displaystyle\end{bmatrix})$	${\displaystyle {bmatrix}\eta _{1}+1\\\eta _{2}\end {bmatrix}}$	${\displaystyle 1}$	$(\displaystyle {bmatrix}\log x\x\end {bmatrix})$	$\displaystyle \log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})}$	$\displaystyle \log \Gamma (\alpha )-\alpha \log \beta }$
	${\displaystyle k,\theta}$	${\displaystyle {bmatrix}k-1\[5pt]-{\dfrac {1}{\theta }}\end {bmatrix}}$	${\displaystyle {bmatrix}\eta _{1}+1\[5pt]-{\dfrac {1}{2}}\end {bmatrix}}$				$\displaystyle \log \Gamma (k)+k\log \theta }$
역감마 분포	$\displaystyle \alpha , \displays }$	$(\displaystyle {bmatrix}-\alpha-1\-\display\end{bmatrix})$	$({displaystyle {bmatrix}-\eta _{1}-1\\\eta _{2}\end {bmatrix})$	${\displaystyle 1}$	${\displaystyle {bmatrix}\log x\{\frac {1}{x}}\end {bmatrix}}$	$\displaystyle \log \Gamma(-\eta _{1}-1)-(-\eta _{1}-1)\log(-\eta _{2})}$	$\displaystyle \log \Gamma (\alpha )-\alpha \log \beta }$
일반화 역가우스 분포	${\displaystyle p,\a,\b}$	$(\displaystyle {bmatrix} p-1\\-a/2\-b/2\end {bmatrix})$	${\displaystyle {bmatrix}\eta _{1}+1\\-2\eta _{2}\-2\eta _{3}\end {bmatrix}}$	${\displaystyle 1}$	${\displaystyle {bmatrix}\log x\{\frac {1}{x}}\end {bmatrix}}$	${\displaystyle \log 2K_{\eta _{1}+1}({\sqrt {4\eta _{2}\eta _{3}})-{\frac {1}+1}{2}}\log {\frac {\eta _{3}}}}}$	${ab {fracb}}\displaystyle \log 2K_{p}({\sqrt {ab})-{b}}-{\log {fraca}}}}}$
된 역치	$displaystyle \nu, \display ^{2}}$	${nu}-{bmatrix}-{\dfrac {bmatrix}}}-{dfrac {bmatrix}-{\}-{bmatrix})$	$}+{{ _2(\display style _{1}+1)\dfrac2}{1}{1}{\dflac}{1}{\dpt}{{{1}}$	${\displaystyle 1}$	$xdisplaystyle {bmatrix}\log x\{\frac {1}{x}}\end {bmatrix}}$	$\Gamma}-}- _{2displaystyle \Gamma(-\eta _{1}-1)-(-)\log(-\eta _{2})$	$}{}{{nu }{2displaystyle \Gamma \left({\frac {nu } {2}})-{\frac {\frac}\frac {nu }{2}}\frac } {\frc} {\frc} {nu }$
1복수 1)	$\alpha, \displaystyle }$	${displaystyle\alpha\end {bmatrix}}$	$\ _ \\} {bmatrix {\displaystyle {bmatrix} \eta _{1} \\eta _{2} \end {bmatrix}}$	$displaystyle {1}{x(1-x)}}$	$xdisplaystyle {bmatrix}\log x\log(1-x)\end {bmatrix}}$	$_{(\(\displaystyle \Gamma (\eta _{1}+\ \Gamma (\eta _{2})_{1})$	$\Gamma )-\ \Gamma (\alpha +\beta displaystyle \Gamma (\alpha +\beta )$
2복수 2)	$\alpha, \displaystyle }$	$(\displaystyle\alpha-1\displaystyle\lapa-1\end{bmatrix})$	$_{displaystyle {bmatrix}\eta _{1}+1\eta _{2}+1\end {bmatrix})$	${\displaystyle 1}$	$xdisplaystyle {bmatrix}\log x\log(1-x)\end {bmatrix}}$	$\Gamma _{displaystyle \Gamma (\eta _{11)+\log \Gamma (\eta _{22)$	$\Gamma )-\ \Gamma (\alpha +\beta displaystyle \Gamma (\alpha +\beta )$
정규	$\sigma\},\boldsymbol\sigmaboldsymbol\sigma\}$	${\}{\ { {displaystyle {\boldsymboldsymbol {-1}{-1}{{-1$	${\boldsyle}$	$displaystyle(2\pi)^{-{\frac {k}{2}}}}$	${displaystyle {bgin{bmatrix}\mathbf {x}\mathbf {x}}}{\mathbf {x}}}}}$	${\}^{\ { {\} {\{{2 - {T} {T}$	${boldsymbol {1 {1{1}{\boldsymbol {{{{{{1}}{{{{{{{\mboldsigmboldsigmboldsigmbol}}}}}}}{{{{{{{{{{{{$
분포 1복수 1)	${kdisplaystyle p_{1},\ldots,...p_{k}$ ${\displaystyle \underset{}{\overset{}{여기}}}$서 $\sum {\displaystyle \underset{}{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ k ${\displaystyle {pi}_{}}$ ${\displaystyle {}_{}}$ \ $displaystyle$\ $textstyle \sum$_ {$i=1}^{k}p_{i$}=1}	$\ \\\\ p_{ \ {\displaystyle {bmatrix} \log p_{1} \vdots \\log p_{k} \end {bmatrix}}$	$_ _{kdisplaystyle {bmatrix} e^{\eta _{1}}\vdots \e^{\eta _{k}}}\end {bmatrix})$ ${\displaystyle \underset{}{\overset{}{여기}}}$서 $\sum {\displaystyle \underset{}{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}^{}}$ e ${\displaystyle {{\eta }_{}}^{}}$ i ${\displaystyle {{}_{}}^{}}$ { $displaystyle$\ $textstyle \sum$_ { i$$=$1$}^{ $k$} $e^{\eta$_ { i} $= 1$ }	${\displaystyle 1}$	$displaystyle {bmatrix}[x=1]\vdots \{x=k}\end {bmatrix}}$ ${\displaystyle [}$ ${\displaystyle x}$ ${\displaystyle =}$ $]$ {$displaystyle [x=i]$는 Iverson 브래킷*	${\displaystyle 0}$	${\displaystyle 0}$
분포 2복수 2)	${kdisplaystyle p_{1},\ldots,...p_{k}$ ${\displaystyle \underset{}{\overset{}{여기}}}$서 $\sum {\displaystyle \underset{}{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ k ${\displaystyle {pi}_{}}$ ${\displaystyle {}_{}}$ \ $displaystyle$\ $textstyle \sum$_ {$i=1}^{k}p_{i$}=1}	$p_{displaystyle {bmatrix}\log p_{1}+C\vdots\end {matrix}}$	$_ {\displaystyle {\dfrac {1}{C}} e^{\eta _1vots}$ $_{{i _}}{\ {e}{\e}{}}{}}{efrac {dfrac {\frac {e}}}$ ${\displaystyle \underset{}{\overset{}{여기}}}$서${\displaystyle \underset{}{\overset{}{}}}$i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}{}^{}}$ e ${\displaystyle {{ii}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle C}$ ${\$ _${i=1}^{k}e^{\eta$ _${i$}}=$C}$	${\displaystyle 1}$	$displaystyle {bmatrix}[x=1]\vdots \{x=k}\end {bmatrix}}$ ${\displaystyle [}$ ${\displaystyle x}$ ${\displaystyle =}$ $]$ {$displaystyle [x=i]$는 Iverson 브래킷*	${\displaystyle 0}$	${\displaystyle 0}$
분포 )3으)3(으)	${kdisplaystyle p_{1},\ldots,...p_{k}$ ${\displaystyle {여기}_{}}$서 p k ${\displaystyle {}_{}1}$ - ${\displaystyle \sum \underset{i}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ - ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle {pi}_{}}$ ${$ $displaystyle p_{k$ } =$1$- \ $textstyle \sum$ _ { i$$=$1$}^{$k-1}p_{i}$	$\\[ { {0\end{bmatrix}}{\display style {matrix}\dfrac}{p}$ $}{\\[}}$ 이것은 로짓 함수의 일반화인 역 소프트맥스 함수입니다.	$_{{i _}}{\ {e}{\e}{}}{}}{efrac {dfrac {\frac {e}}}$ $_{vdots \\[{e}{}}}{1+sum}^{i}}$ 이것은 로지스틱 함수의 일반화인 softmax 함수입니다.	${\displaystyle 1}$	$displaystyle {bmatrix}[x=1]\vdots \{x=k}\end {bmatrix}}$ ${\displaystyle [}$ ${\displaystyle x}$ ${\displaystyle =}$ $]$ {$displaystyle [x=i]$는 Iverson 브래킷*	$\left)=\displaystyle \left(\sum _i=1}^{right})\ \left(\light)\log \left(\left)$	$-\k}_{displaystyle -\log \left(1-\sum _{i=1}^k-1}p_{i}\right}}$
1복수 1) $이미{\displaystyle }$ 알려진 시행 횟수 n${displaystyle$ n$}$	${kdisplaystyle p_{1},\ldots,...p_{k}$ ${\displaystyle \underset{}{\overset{}{여기}}}$서 $\sum {\displaystyle \underset{}{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ k ${\displaystyle {pi}_{}}$ ${\displaystyle {}_{}}$ \ $displaystyle$\ $textstyle \sum$_ {$i=1}^{k}p_{i$}=1}	$\ \\\\ p_{ \ {\displaystyle {bmatrix} \log p_{1} \vdots \\log p_{k} \end {bmatrix}}$	$_ _{kdisplaystyle {bmatrix} e^{\eta _{1}}\vdots \e^{\eta _{k}}}\end {bmatrix})$ ${\displaystyle \underset{}{\overset{}{여기}}}$서 $\sum {\displaystyle \underset{}{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}^{}}$ e ${\displaystyle {{\eta }_{}}^{}}$ i ${\displaystyle {{}_{}}^{}}$ { $displaystyle$\ $textstyle \sum$_ { i$$=$1$}^{ $k$} $e^{\eta$_ { i} $= 1$ }	${ displaystyle(디스플레이 스타일}{\cisco _{i=1}^{k}x_{i}!$	$\\ {displaystyle {bmatrix}x_{1}\vdots \x_{k}\end {bmatrix}}$	${\displaystyle 0}$	${\displaystyle 0}$
2복수 2) $이미{\displaystyle }$ 알려진 시행 횟수 n${displaystyle$ n$}$	${kdisplaystyle p_{1},\ldots,...p_{k}$ ${\displaystyle \underset{}{\overset{}{여기}}}$서 $\sum {\displaystyle \underset{}{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ k ${\displaystyle {pi}_{}}$ ${\displaystyle {}_{}}$ \ $displaystyle$\ $textstyle \sum$_ {$i=1}^{k}p_{i$}=1}	$p_{displaystyle {bmatrix}\log p_{1}+C\vdots\end {matrix}}$	$_ {\displaystyle {\dfrac {1}{C}} e^{\eta _1vots}$ $_{{i _}}{\ {e}{\e}{}}{}}{efrac {dfrac {\frac {e}}}$ ${\displaystyle \underset{}{\overset{}{여기}}}$서${\displaystyle \underset{}{\overset{}{}}}$i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}{}^{}}$ e ${\displaystyle {{ii}_{}}^{}}$ ${\displaystyle {{}_{}}^{}}$ ${\displaystyle C}$ ${\$ _${i=1}^{k}e^{\eta$ _${i$}}=$C}$	${ displaystyle(디스플레이 스타일}{\cisco _{i=1}^{k}x_{i}!$	$\\ {displaystyle {bmatrix}x_{1}\vdots \x_{k}\end {bmatrix}}$	${\displaystyle 0}$	${\displaystyle 0}$
)3으)3(으) $이미{\displaystyle }$ 알려진 시행 횟수 n${displaystyle$ n$}$	${kdisplaystyle p_{1},\ldots,...p_{k}$ ${\displaystyle {여기}_{}}$서 p k ${\displaystyle {}_{}1}$ - ${\displaystyle \sum \underset{i}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ - ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle {pi}_{}}$ ${$ $displaystyle p_{k$ } =$1$- \ $textstyle \sum$ _ { i$$=$1$}^{$k-1}p_{i}$	$\\[ { {0\end{bmatrix}}{\display style {matrix}\dfrac}{p}$ $}{\\[}}$	$_{{i _}}{\ {e}{\e}{}}{}}{efrac {dfrac {\frac {e}}}$ $_{vdots \\[{e}{}}}{1+sum}^{i}}$	${ displaystyle(디스플레이 스타일}{\cisco _{i=1}^{k}x_{i}!$	$\\ {displaystyle {bmatrix}x_{1}\vdots \x_{k}\end {bmatrix}}$	$n _)= \ _displaystyle n\left(\sum _i=1}^{k}\right})_left(\left)_i}_light)$	$- \}^{displaystyle -n\log p_{k}=-n\log \left(1-\sum _{i=1}^k-1}p_{i}\right})$
1복수 1)	$__{displaystyle \alpha _{1},\ldots ,\alpha _{k}$	$_ \\displaystyle {bmatrix}\vdots \\alpha _{k}\end {bmatrix}}$	$_{\{displaystyle {bmatrix}\eta _{1}\vdots \{k}\end {bmatrix}}$	$({displaystyle {frac {1}{k}^{k}x_{i}})$	$log }\end bmatrix}{\displaystyle {bmatrix}\log x_{1}\log x_{k}\end {bmatrix}}$	$}^{\Gamma \left (\ _}^{displaystyle _{ \Gamma (\eta _{i})$	$_ (\}\ _right}\displaystyle \ _{i}^{k}\log \Gamma (\alpha _{i})$
2복수 2)	$__{displaystyle \alpha _{1},\ldots ,\alpha _{k}$	$_}-_{displaystyle {bmatrix}\alpha _{1}-1\vdots \\alpha _{k}-1\end {bmatrix}}$	$__{displaystyle {bmatrix}\eta _{1}+1\vdots \\eta _{k}+1\end {bmatrix}}}$	${\displaystyle 1}$	$log }\end bmatrix}{\displaystyle {bmatrix}\log x_{1}\log x_{k}\end {bmatrix}}$	$(\(\ 스타일 _{i=1}^{k}\log \Gamma (\eta _{i}+1)\Log \Gamma \Log$	$_ (\}\ _right}\displaystyle \ _{i}^{k}\log \Gamma (\alpha _{i})$
	$displaystyle \mathbf {V} ,\n}$	$end {bmatrix}{\displaystyle {bmatrix}-{\f}{\f}{{{\f}}}{\displaystyle {}{{V}{{{{{{{{{{\f}}}}}}}}}}}}}}{{{{{{{$	${\] 2 _\end{bmatrix}{\displaystyle {bmbatrix}-{\frac {1}{\}{\boldsymbol}{-1}} {\}$	${\displaystyle 1}$	$\\ { {\displaystyle {bmatrix} \log \mathbf {X} \end {bmatrix}$	$\left(\ _}}\ {\{1}displaystyle -\left(\eta _{2}+{2}}\right)\log - {\boldsymbol {eta} {1} {1} {1}$ $_left}+{\ {p+1}{2){\displaystyle +\log \Gamma _{p}\left(\eta _{2}+{2}}\right)=$ $- {n} { \{\1 \log \_ {p} \ {2} \displaystyle - \frac {n} {2}} \log - {\boldsymbol {eta }$ $(\ \{Vdisplaystyle \left(\eta _{2}+{2right)(p\log 2+\log \mathbf {V})$ $__{displaystyle +\log \Gamma _{p}\left(\eta _{2}+{2}}{2}}\right})}$ 충분한 통계의 모멘트를 쉽게 계산할 수 있도록 매개변수화가 다른 세 가지 변형이 제공된다.	$2 _displaystyle {\frac {n}{2}}(p\log 2+\log \mathbf {V}\gamf})_Lef {p} \Lef {p}}}$
	주의: ${\displaystyle \mathrm{t}}$r ( ${\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {\mathsf{}}^{}}$ ${\displaystyle B^{}\mathbf{}}$) ${\displaystyle =}$ ${\displaystyle \mathrm{vec}}$ ${\displaystyle (}$ (${\displaystyle A\mathbf{}}$ ) ${\displaystyle 、}$ ${\displaystyle \mathrm{vec}（}$ ${\displaystyle B\mathbf{}}$ ${\displaystyle ）}$、 \ $displaystyle${$tr}$（ \ $mathbf${$$T$$}$$^ { \ $mathbf${ $B } =$ \ $operatorname${ $c$} ( \ $mathbf$ { $B$} ) = \ c$operat$ { c ） 。행렬 매개변수는 지수 형식에 삽입될 때 벡터화(벡터 배치)되는 것으로 가정합니다.또한 V$(\$와 X$(\$는 대칭이므로, 예를 $들어{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {\mathsf{}}^{}}$ ${\displaystyle T\mathbf{}}$ ${\displaystyle {=}^{}}$V$$. {\$displaystyle \mathbf {V}$^{\$mathbf${T} = \$mathbf {V} \}$ 등입니다.
	$\Psidisplaystyle \mathbf \Psi },m$	$1}{displaystyle {bmatrix}-{\ {2}}{\boldsymbmbmbolpsi}}}{Ptpsi}}}}{{\}}}}}}}$	${eta displaystyle {bmatrix}-2bold 기호 {eta }_{1}\[5pt]-2b}+p+1\matrix}) {end})$	${\displaystyle 1}$	$X}\1}\log \mathbf {X}\end {bmatrix}$	$_{\1}\displaystyle \left(\eta _{2}+{2}}\right)\log - {\boldmbol {eta } {1}$ $_}){\}{\오른쪽}{\displaystyle +\log \Gamma _{p}\left(-{\big (}\eta _{\big}+{\frac {1}{1}{}}}}}}}}}}{big}}}}}}}}}}{{\Big}}}}}}}}}{=$ $- m} {\log - {\ {eta{1} \Gamma_ } \ left\frac {m}{2} \ displaystyle - \ frac {mboldsymbol {eta } \ left } \ light ) {\ - - - - - - - - - - - - - - - - - - - - -p left left left - { { { \ lap }$ $_ \displaystyle -\left(\eta _{2}+{2}}){\right}(p\frac {\log {\symboldsymbolpsi})}}}}}}}}}}}}}}}}$ $p}\leftBig (}\{2}+{\displaystyle +\log \Gamma _{p}\(-{\big (}+{\frac})}})}{\fright$	${\ \ _displaystyle {m}{2}}(p\log 2-\log {boldsymbol {psi}}}}}}}+\gamboldsi left} \gamboldsymbal {\gamblf}\gamblft}$
	$\mu , \displayda } \displaystyle \alpha , \displayda}$	${\{\ \mu {bmatrix {\dfracstyle {bmatrix} {\frac1}{\frac}$	$_{{_{4}}{dfrac { _}}}{\\dfrac {{{{{\ _{\eta _{\}}}}}}}}{\frac {{{{{{{{{{\}}}}}}}}}{{{}}}}}}}{{{$	$({displaystyle {1}{\displayrt {2\pi }})$	$displaystyle {bmatrix}\ \displaystyle {bmatrix}\displaystyle {bmatrix}\displaystyle {batrix}\displaystyle x\displicle x\dx\dx\tml x\dx\dx\dx}$	$\leftright)\displaystyle \Gamma \left(\eta _{1}+{2}}\frac {\right}{1}\fright}) {1}$ $(\right2}+{\ {3}{2displaystyle -\(\ _1}+{2}}\light}\\leftfrac2\}$	${\displaystyle \Gamma \left (\alpha \right)-\alpha \beta - {1}{2}\log \$

* Iverson 브래킷은 이산 델타 함수를 일반화한 것입니다.괄호로 묶은 표현이 참일 경우 괄호 값은 1이 됩니다.포함된 문이 거짓일 경우 Iverson 괄호는 0이 됩니다.많은 변형 표기법이 있습니다. 예를 들어, 웨이브 괄호 "a=b"는 위에서 사용한 [a=b] 표기법과 동일합니다.

범주형 분포와 다항 분포의 세 가지 변형은 $파라미터{\displaystyle {}_{}}$ $(\$i$$})가 다음과 같이 제약되기 때문입니다.

$displaystyle \sum _{i=1}^{k}p_{i}=1~}$

따라서$$ k${\displaystyle }$-$$ \style k -$$1 \ $display$ k - 1 \ $display{\displaystyle }$ k - 1 \ 。

• Variant 1은 표준 파라미터와 자연 파라미터의 관계가 단순한 k${displaystyle$ k$}$개의$$ 자연 파라미터를 $사용$하지만 자연 파라미터 중$(\displaystyle k-1)$만 $독립적$이며 k${displaystyle$ k$}$개의$$ $자연{\displaystyle }$ 파라미터 세트는 식별할 수 없다.일반 파라미터에 대한 제약은 자연 파라미터에 대한 유사한 제약으로 변환됩니다.
• 변형 2는 전체 자연 매개변수를 식별할 수 없다는 사실을 보여준다.자연 모수에 상수 값을 추가해도 결과 분포에는 영향을 주지 않습니다.그러나 자연 매개변수에 대한 제약을 사용함으로써 자연 매개변수에 대한 정규 매개변수에 대한 공식을 추가된 상수에 대해 독립적인 방식으로 작성할 수 있습니다.
• Variant 3은 C $=$ - ${\displaystyle \log }$ ${\displaystyle }$ ${\displaystyle {}_{}{}_{}{k}_{}}$ $.\$ $displaystyle$ C=-\$log$ p_${k}\$ .$$} 를 설정하여 파라미터를 쉽게 식별할 수 있도록 하는 방법을 보여 줍니다. 이 ${\displaystyle {방법}_{}}$은 p$$k {$style p_{$k$$} 의 $주위$를 효과적으로 "표시"하고 마지막 자연 파라미터의 값을 0 으로 합니다.나머지 공식은 모두 p $displaystyle p_{k}\$ $\}$에 $액세스하지{\displaystyle {}_{}}$ 않는 방식으로 작성되므로 모델에는${\displaystyle }$k -$$ {$displaystyle$k-1} 파라미터$$(통상 및 자연)만 유효합니다.

변형 1과 2는 실제로는 표준 지수 패밀리가 아닙니다.오히려 곡선 지수족이다. 즉, k$(\displaystyle$ k$)$ $차원$ $매개변수$ ^[12]공간에 k${\displaystyle }$- $(\displaystyle$ k-1$)$ 독립$$ 매개변수가 $포함$되어 있다.지수 패밀리에 대한 많은 표준 결과는 곡선 지수 패밀리에 적용되지 않습니다.예를 들어 로그 파티션 $함수{\displaystyle }$A (${\displaystyle x}$) \ $displaystyle$A ($x$ ) \ $\}$ 이며, 곡선 케이스의 값은 0 입니다.표준 지수 군에서 이 함수의 도함수는 충분한 통계의 모멘트(더 엄밀히 말하면 누적량)에 해당한다(예: 평균과 분산).단, 값이 0이면 충분한 통계정보의 평균과 분산이 균일하게 0인 반면, 실제로 $충분한$의 $평균$은 $displaystyle$$$$p_{i}\$이어야 합니다. (이는 변동으로 표시된${\displaystyle A(}$x$)\$x)\ $}$ $형식$을 사용하면 올바르게 나타납니다.개미 3).

충분한 통계량의 순간과 누적

분포의 정규화

확률 분포의 정규화부터 시작합니다.일반적으로 확률분포(x에 대한 모든 의존성을 부호화하는 부분)의 커널로서 기능하는 비음함수 f(x)는 정규화함으로써 적절한 분포로 만들 수 있다.

${\displaystyle p(x)=black {1}{Z}}f(x)}$

어디에

${\displaystyle Z=\int _{x}f(x),190}$

계수 Z는 통계물리학의 유추에 기초하여 정규화 함수 또는 분할 함수라고 불리기도 한다.

지수 계열의 경우

${\displaystyle p(x;\boldsymbol {\eta })=gboldsymbol {\eta }h(x)e^{\boldsymbol {\eta}}}\cdot \mathbf {T}(x)},$

알맹이는

$\displaystyle K(x)=h(x)e^{\boldsymbol\eta}}\cdot\mathbf {T}(x)}$

파티션 기능은

${\displaystyle Z=\int _{x}h(x)e^{\boldsymbol {eta }}\cdot \mathbf {T}(x)},cdot}$

분배가 정상화되어야 하기 때문에, 우리는

$({displaystyle 1=\int _{x}g\boldsymbol {eta })h(x)e^{\cdot \mathbf {T}(x)}, display=gboldsymbol {t}(xe)\int _{x}h(xe)\cdboldsymbol {T})}$

바꿔 말하면

$({displaystyle g}\boldsymbol {eta } = flac {1} {Z} }$

또는 동등하게

$\displaystyle A({\boldsymbol\eta })=\log g(\log g)-\boldsymbol\eta }=\log Z.}$

이것에 의해, A 를 로그 노멀라이저 또는 로그 파티션 함수로 호출하는 것이 정당화됩니다.

충분한 통계량의 모멘트 생성 함수

T(x)의 모멘트 생성 함수는

${\displaystyle M_{T}(u)\equiv E[e^{\top}T(x)}\mid \eta]=\int _{x}h(x)e^{\top}T(x)-A(\eta)},dx=e^{A(\eta)\eta)+}-U(\eta))$

라고 하는 이전의 진술을 증명하다

$\displaystyle K(u\mid \eta)=A(\eta +u)-A(\eta)}$

는 T의 적분 생성 함수입니다.

지수군의 중요한 하위 클래스는 x 분포에 대한 모멘트 생성 함수와 유사한 형태를 가진 자연 지수 군입니다.

누적물질의 미분 아이덴티티

특히 적분 생성 함수의 특성을 이용하여

${\displaystyle \operatorname {E}(T_{j})={\displaystyle \operatorname {E}(T_{j})}$

그리고.

${\displaystyle \operatorname {cov} \left(T_{i},\T_{j}\right)=param frac {\param \eta _{2}A(\eta)}{\param \eta _{i},\parama \eta _{j}}}.}$

첫 번째 두 개의 원시 모멘트와 혼합된 두 번째 모멘트는 이 두 개의 아이덴티티에서 회복할 수 있습니다.고차 모멘트 및 적분량은 고차 도함수에 의해 구해진다.이 기술은 종종 T가 데이터의 복잡한 함수이며, 모멘트를 적분하여 계산하기 어려운 경우에 유용합니다.

적분 이론에 의존하지 않는 또 다른 방법은 지수 계열의 분포를 정규화하고 차별화해야 한다는 사실에서 시작하는 것입니다.우리는 1차원 매개변수의 단순한 사례를 사용하여 설명하지만, 유사한 파생이 더 일반적으로 적용된다.

1차원의 경우, 우리는

${\displaystyle p(x)=g(\eta)h(x)e^{\eta T(x)}$

이건 정상화해야 하니까

${\displaystyle 1=\int _{x}p(x)}, p(x)\int _{x}g(\eta)e^{\eta T(x)}, dx=g(\eta)\int _{x}h(x)e^{\eta T(x)}, dx}.$

§에 대해 양변 도함수를 구한다.

$=\int _ᆩT())g(\eta)h(x)e^{\eta T(x)},dx+{\frac {g'(\eta)}{g(\eta)}}\int _{x}g(\eta)e^{\eta T(x)},dx\&=int _{x(x)px(\frac)\frac}{g}{g}}{g}}}{g}}}}{g(\frac}}}}}{g}{nt(\frac}}}}}}{g(\fr})$

그러므로,

${\displaystyle \operatorname {E} [T(x)]=-{\frac {d}{d\eta}}\log g(\eta)=black {d}{d\eta}}A(\eta)}$

예 1

첫 번째 예로서 감마 분포를 고려합시다. 감마 분포는 다음과 같이 정의됩니다.

${\displaystyle p(x)=parcfrac {\Gamma (\alpha )}}x^{\alpha -1}e^{-\gampa x}.}$

위의 표를 참조하면, 우리는 자연 매개변수가 다음과 같이 주어지는 것을 알 수 있다.

$\displaystyle \eta _{1}=\alpha -1,}$

${\displaystyle \eta _{2}=-\display,}$

역치환:

${\displaystyle \alpha =\eta _{1}+1,}$

${\displaystyle \displaystyle =-\eta _{2}$

the sufficient statistics are ${\displaystyle (\log x,x),}$ and the log-partition function is

${\displaystyle A(\eta _{1},\eta _{2})=\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2}).}$

We can find the mean of the sufficient statistics as follows. First, for η₁:

${\displaystyle {\begin{aligned}\operatorname {E} [\log x]&={\frac {\partial A(\eta _{1},\eta _{2})}{\partial \eta _{1}}}={\frac {\partial }{\partial \eta _{1}}}\left(\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right)\\&=\psi (\eta _{1}+1)-\log(-\eta _{2})\\&=\psi (\alpha )-\log \beta ,\end{aligned}}}$

Where ${\displaystyle \psi (x)}$ is the digamma function (derivative of log gamma), and we used the reverse substitutions in the last step.

Now, for η₂:

${\displaystyle {\begin{aligned}\operatorname {E} [x]&={\frac {\partial A(\eta _{1},\eta _{2})}{\partial \eta _{2}}}={\frac {\partial }{\partial \eta _{2}}}\left(\log \Gamma (\eta _{1}+1)-(\eta _{1}+1)\log(-\eta _{2})\right)\\&=-(\eta _{1}+1){\frac {1}{-\eta _{2}}}(-1)={\frac {\eta _{1}+1}{-\eta _{2}}}\\&={\frac {\alpha }{\beta }},\end{aligned}}}$

again making the reverse substitution in the last step.

To compute the variance of x, we just differentiate again:

${\displaystyle {\begin{aligned}\operatorname {Var} (x)&={\frac {\partial ^{2}A\left(\eta _{1},\eta _{2}\right)}{\partial \eta _{2}^{2}}}={\frac {\partial }{\partial \eta _{2}}}{\frac {\eta _{1}+1}{-\eta _{2}}}\\&={\frac {\eta _{1}+1}{\eta _{2}^{2}}}\\&={\frac {\alpha }{\beta ^{2}}}.\end{aligned}}}$

All of these calculations can be done using integration, making use of various properties of the gamma function, but this requires significantly more work.

Example 2

As another example consider a real valued random variable X with density

${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}}}$

indexed by shape parameter ${\displaystyle \theta \in (0,\infty )}$ (this is called the skew-logistic distribution). The density can be rewritten as

${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp \left(-\theta \log \left(1+e^{-x}\right)+\log(\theta )\right)}$

Notice this is an exponential family with natural parameter

${\displaystyle \eta =-\theta ,}$

sufficient statistic

${\displaystyle T=\log \left(1+e^{-x}\right),}$

and log-partition function

${\displaystyle A(\eta )=-\log(\theta )=-\log(-\eta )}$

So using the first identity,

${\displaystyle \operatorname {E} (\log(1+e^{-X}))=\operatorname {E} (T)={\frac {\partial A(\eta )}{\partial \eta }}={\frac {\partial }{\partial \eta }}[-\log(-\eta )]={\frac {1}{-\eta }}={\frac {1}{\theta }},}$

and using the second identity

${\displaystyle \operatorname {var} (\log \left(1+e^{-X}\right))={\frac {\partial ^{2}A(\eta )}{\partial \eta ^{2}}}={\frac {\partial }{\partial \eta }}\left[{\frac {1}{-\eta }}\right]={\frac {1}{(-\eta )^{2}}}={\frac {1}{\theta ^{2}}}.}$

This example illustrates a case where using this method is very simple, but the direct calculation would be nearly impossible.

Example 3

The final example is one where integration would be extremely difficult. This is the case of the Wishart distribution, which is defined over matrices. Even taking derivatives is a bit tricky, as it involves matrix calculus, but the respective identities are listed in that article.

From the above table, we can see that the natural parameter is given by

${\displaystyle {\boldsymbol {\eta }}_{1}=-{\frac {1}{2}}\mathbf {V} ^{-1},}$

${\displaystyle \eta _{2}={\frac {n-p-1}{2}},}$

the reverse substitutions are

${\displaystyle \mathbf {V} =-{\frac {1}{2}}{{\boldsymbol {\eta }}_{1}}^{-1},}$

${\displaystyle n=2\eta _{2}+p+1,}$

and the sufficient statistics are ${\displaystyle (\mathbf {X} ,\log \mathbf {X} ).}$

The log-partition function is written in various forms in the table, to facilitate differentiation and back-substitution. We use the following forms:

${\displaystyle A({\boldsymbol {\eta }}_{1},n)=-{\frac {n}{2}}\log -{\boldsymbol {\eta }}_{1} +\log \Gamma _{p}\left({\frac {n}{2}}\right),}$

${\displaystyle A(\mathbf {V} ,\eta _{2})=\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log \mathbf {V} )+\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right).}$

Expectation of X (associated with η₁)

To differentiate with respect to η₁, we need the following matrix calculus identity:

${\displaystyle {\frac {\partial \log a\mathbf {X} }{\partial \mathbf {X} }}=(\mathbf {X} ^{-1})^{\rm {T}}}$

Then:

${\displaystyle {\begin{aligned}\operatorname {E} [\mathbf {X} ]&={\frac {\partial A\left({\boldsymbol {\eta }}_{1},\cdots \right)}{\partial {\boldsymbol {\eta }}_{1}}}\\&={\frac {\partial }{\partial {\boldsymbol {\eta }}_{1}}}\left[-{\frac {n}{2}}\log -{\boldsymbol {\eta }}_{1} +\log \Gamma _{p}\left({\frac {n}{2}}\right)\right]\\&=-{\frac {n}{2}}({\boldsymbol {\eta }}_{1}^{-1})^{\rm {T}}\\&={\frac {n}{2}}(-{\boldsymbol {\eta }}_{1}^{-1})^{\rm {T}}\\&=n(\mathbf {V} )^{\rm {T}}\\&=n\mathbf {V} \end{aligned}}}$

The last line uses the fact that V is symmetric, and therefore it is the same when transposed.

Expectation of log X (associated with η₂)

Now, for η₂, we first need to expand the part of the log-partition function that involves the multivariate gamma function:

${\displaystyle \log \Gamma _{p}(a)=\log \left(\pi ^{\frac {p(p-1)}{4}}\prod _{j=1}^{p}\Gamma \left(a+{\frac {1-j}{2}}\right)\right)={\frac {p(p-1)}{4}}\log \pi +\sum _{j=1}^{p}\log \Gamma \left[a+{\frac {1-j}{2}}\right]}$

We also need the digamma function:

${\displaystyle \psi (x)={\frac {d}{dx}}\log \Gamma (x).}$

Then:

${\displaystyle {\begin{aligned}\operatorname {E} [\log \mathbf {X} ]&={\frac {\partial A\left(\ldots ,\eta _{2}\right)}{\partial \eta _{2}}}\\&={\frac {\partial }{\partial \eta _{2}}}\left[-\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log \mathbf {V} )+\log \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)\right]\\&={\frac {\partial }{\partial \eta _{2}}}\left[\left(\eta _{2}+{\frac {p+1}{2}}\right)(p\log 2+\log \mathbf {V} )+{\frac {p(p-1)}{4}}\log \pi +\sum _{j=1}^{p}\log \Gamma \left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)\right]\\&=p\log 2+\log \mathbf {V} +\sum _{j=1}^{p}\psi \left(\eta _{2}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)\\&=p\log 2+\log \mathbf {V} +\sum _{j=1}^{p}\psi \left({\frac {n-p-1}{2}}+{\frac {p+1}{2}}+{\frac {1-j}{2}}\right)\\&=p\log 2+\log \mathbf {V} +\sum _{j=1}^{p}\psi \left({\frac {n+1-j}{2}}\right)\end{aligned}}}$

This latter formula is listed in the Wishart distribution article. Both of these expectations are needed when deriving the variational Bayes update equations in a Bayes network involving a Wishart distribution (which is the conjugate prior of the multivariate normal distribution).

Computing these formulas using integration would be much more difficult. The first one, for example, would require matrix integration.

Entropy

Relative entropy

The relative entropy (Kullback–Leibler divergence, KL divergence) of two distributions in an exponential family has a simple expression as the Bregman divergence between the natural parameters with respect to the log-normalizer.^[13] The relative entropy is defined in terms of an integral, while the Bregman divergence is defined in terms of a derivative and inner product, and thus is easier to calculate and has a closed-form expression (assuming the derivative has a closed-form expression). Further, the Bregman divergence in terms of the natural parameters and the log-normalizer equals the Bregman divergence of the dual parameters (expectation parameters), in the opposite order, for the convex conjugate function.^[14]

Fixing an exponential family with log-normalizer ${\displaystyle A}$ (with convex conjugate ${\displaystyle A^{*}}$), writing ${\displaystyle P_{A,\theta }}$ for the distribution in this family corresponding a fixed value of the natural parameter ${\displaystyle \theta }$ (writing ${\displaystyle \theta '}$ for another value, and with ${\displaystyle \eta ,\eta '}$ for the corresponding dual expectation/moment parameters), writing KL for the KL divergence, and ${\displaystyle B_{A}}$ for the Bregman divergence, the divergences are related as:

${\displaystyle {\rm {{KL}(P_{A,\theta }\parallel P_{A,\theta '})=B_{A}(\theta '\parallel \theta )=B_{A^{*}}(\eta \parallel \eta ').}}}$

The KL divergence is conventionally written with respect to the first parameter, while the Bregman divergence is conventionally written with respect to the second parameter, and thus this can be read as "the relative entropy is equal to the Bregman divergence defined by the log-normalizer on the swapped natural parameters", or equivalently as "equal to the Bregman divergence defined by the dual to the log-normalizer on the expectation parameters".

Maximum-entropy derivation

Exponential families arise naturally as the answer to the following question: what is the maximum-entropy distribution consistent with given constraints on expected values?

The information entropy of a probability distribution dF(x) can only be computed with respect to some other probability distribution (or, more generally, a positive measure), and both measures must be mutually absolutely continuous. Accordingly, we need to pick a reference measure dH(x) with the same support as dF(x).

The entropy of dF(x) relative to dH(x) is

${\displaystyle S[dF\mid dH]=-\int {\frac {dF}{dH}}\log {\frac {dF}{dH}}\,dH}$

or

${\displaystyle S[dF\mid dH]=\int \log {\frac {dH}{dF}}\,dF}$

where dF/dH and dH/dF are Radon–Nikodym derivatives. The ordinary definition of entropy for a discrete distribution supported on a set I, namely

${\displaystyle S=-\sum _{i\in I}p_{i}\log p_{i}}$

assumes, though this is seldom pointed out, that dH is chosen to be the counting measure on I.

Consider now a collection of observable quantities (random variables) T_i. The probability distribution dF whose entropy with respect to dH is greatest, subject to the conditions that the expected value of T_i be equal to t_i, is an exponential family with dH as reference measure and (T₁, ..., T_n) as sufficient statistic.

The derivation is a simple variational calculation using Lagrange multipliers. Normalization is imposed by letting T₀ = 1 be one of the constraints. The natural parameters of the distribution are the Lagrange multipliers, and the normalization factor is the Lagrange multiplier associated to T₀.

For examples of such derivations, see Maximum entropy probability distribution.

Role in statistics

Classical estimation: sufficiency

According to the Pitman–Koopman–Darmois theorem, among families of probability distributions whose domain does not vary with the parameter being estimated, only in exponential families is there a sufficient statistic whose dimension remains bounded as sample size increases.

Less tersely, suppose X_k, (where k = 1, 2, 3, ... n) are independent, identically distributed random variables. Only if their distribution is one of the exponential family of distributions is there a sufficient statistic T(X₁, ..., X_n) whose number of scalar components does not increase as the sample size n increases; the statistic T may be a vector or a single scalar number, but whatever it is, its size will neither grow nor shrink when more data are obtained.

As a counterexample if these conditions are relaxed, the family of uniform distributions (either discrete or continuous, with either or both bounds unknown) has a sufficient statistic, namely the sample maximum, sample minimum, and sample size, but does not form an exponential family, as the domain varies with the parameters.

Bayesian estimation: conjugate distributions

Exponential families are also important in Bayesian statistics. In Bayesian statistics a prior distribution is multiplied by a likelihood function and then normalised to produce a posterior distribution. In the case of a likelihood which belongs to an exponential family there exists a conjugate prior, which is often also in an exponential family. A conjugate prior π for the parameter ${\displaystyle {\boldsymbol {\eta }}}$ of an exponential family

${\displaystyle f(x\mid {\boldsymbol {\eta }})=h(x)\exp \left({\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)-A({\boldsymbol {\eta }})\right)}$

is given by

${\displaystyle p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\exp \left({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}-\nu A({\boldsymbol {\eta }})\right),}$

or equivalently

${\displaystyle p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp \left({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}\right),\qquad {\boldsymbol {\chi }}\in \mathbb {R} ^{s}}$

where s is the dimension of ${\displaystyle {\boldsymbol {\eta }}}$ and ${\displaystyle \nu >0}$ and ${\displaystyle {\boldsymbol {\chi }}}$ are hyperparameters (parameters controlling parameters). ${\displaystyle \nu }$ corresponds to the effective number of observations that the prior distribution contributes, and ${\displaystyle {\boldsymbol {\chi }}}$ corresponds to the total amount that these pseudo-observations contribute to the sufficient statistic over all observations and pseudo-observations. ${\displaystyle f({\boldsymbol {\chi }},\nu )}$ is a normalization constant that is automatically determined by the remaining functions and serves to ensure that the given function is a probability density function (i.e. it is normalized). ${\displaystyle A({\boldsymbol {\eta }})}$ and equivalently ${\displaystyle g({\boldsymbol {\eta }})}$ are the same functions as in the definition of the distribution over which π is the conjugate prior.

A conjugate prior is one which, when combined with the likelihood and normalised, produces a posterior distribution which is of the same type as the prior. For example, if one is estimating the success probability of a binomial distribution, then if one chooses to use a beta distribution as one's prior, the posterior is another beta distribution. This makes the computation of the posterior particularly simple. Similarly, if one is estimating the parameter of a Poisson distribution the use of a gamma prior will lead to another gamma posterior. Conjugate priors are often very flexible and can be very convenient. However, if one's belief about the likely value of the theta parameter of a binomial is represented by (say) a bimodal (two-humped) prior distribution, then this cannot be represented by a beta distribution. It can however be represented by using a mixture density as the prior, here a combination of two beta distributions; this is a form of hyperprior.

An arbitrary likelihood will not belong to an exponential family, and thus in general no conjugate prior exists. The posterior will then have to be computed by numerical methods.

To show that the above prior distribution is a conjugate prior, we can derive the posterior.

First, assume that the probability of a single observation follows an exponential family, parameterized using its natural parameter:

${\displaystyle p_{F}(x\mid {\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})\exp \left({\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)\right)}$

Then, for data ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}$, the likelihood is computed as follows:

${\displaystyle p(\mathbf {X} \mid {\boldsymbol {\eta }})=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)}$

Then, for the above conjugate prior:

${\displaystyle {\begin{aligned}p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )&=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\propto g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\end{aligned}}}$

We can then compute the posterior as follows:

${\displaystyle {\begin{aligned}p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )&\propto p(\mathbf {X} \mid {\boldsymbol {\eta }})p_{\pi }({\boldsymbol {\eta }}\mid {\boldsymbol {\chi }},\nu )\\&=\left(\prod _{i=1}^{n}h(x_{i})\right)g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\\&\propto g({\boldsymbol {\eta }})^{n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)g({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\\&\propto g({\boldsymbol {\eta }})^{\nu +n}\exp \left({\boldsymbol {\eta }}^{\rm {T}}\left({\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\right)\end{aligned}}}$

The last line is the kernel of the posterior distribution, i.e.

${\displaystyle p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )=p_{\pi }\left({\boldsymbol {\eta }}\left ~{\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i}),\nu +n\right.\right)}$

This shows that the posterior has the same form as the prior.

The data X enters into this equation only in the expression

${\displaystyle \mathbf {T} (\mathbf {X} )=\sum _{i=1}^{n}\mathbf {T} (x_{i}),}$

which is termed the sufficient statistic of the data. That is, the value of the sufficient statistic is sufficient to completely determine the posterior distribution. The actual data points themselves are not needed, and all sets of data points with the same sufficient statistic will have the same distribution. This is important because the dimension of the sufficient statistic does not grow with the data size — it has only as many components as the components of ${\displaystyle {\boldsymbol {\eta }}}$ (equivalently, the number of parameters of the distribution of a single data point).

The update equations are as follows:

${\displaystyle {\begin{aligned}{\boldsymbol {\chi }}'&={\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} )\\&={\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\\\nu '&=\nu +n\end{aligned}}}$

This shows that the update equations can be written simply in terms of the number of data points and the sufficient statistic of the data. This can be seen clearly in the various examples of update equations shown in the conjugate prior page. Because of the way that the sufficient statistic is computed, it necessarily involves sums of components of the data (in some cases disguised as products or other forms — a product can be written in terms of a sum of logarithms). The cases where the update equations for particular distributions don't exactly match the above forms are cases where the conjugate prior has been expressed using a different parameterization than the one that produces a conjugate prior of the above form — often specifically because the above form is defined over the natural parameter ${\displaystyle {\boldsymbol {\eta }}}$ while conjugate priors are usually defined over the actual parameter ${\displaystyle {\boldsymbol {\theta }}.}$

Hypothesis testing: uniformly most powerful tests

A one-parameter exponential family has a monotone non-decreasing likelihood ratio in the sufficient statistic T(x), provided that η(θ) is non-decreasing. As a consequence, there exists a uniformly most powerful test for testing the hypothesis H₀: θ ≥ θ₀ vs. H₁: θ < θ₀.

Generalized linear models

Exponential families form the basis for the distribution functions used in generalized linear models, a class of model that encompass many of the commonly used regression models in statistics.

See also

• Exponential dispersion model
• Gibbs measure
• Modified half-normal distribution
• Natural exponential family

Footnotes

References

Citations

This article includes a list of general references, but it lacks sufficient corresponding inline citations. Please help to improve this article by introducing more precise citations. (November 2010) (Learn how and when to remove this template message)

Sources

Further reading

• Fahrmeir, Ludwig; Tutz, G. (1994). Multivariate Statistical Modelling based on Generalized Linear Models. Springer. pp. 18–22, 345–349. ISBN 0-387-94233-5.
• Keener, Robert W. (2006). Theoretical Statistics: Topics for a Core Course. Springer. pp. 27–28, 32–33. ISBN 978-0-387-93838-7.
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). sec. 1.5. ISBN 0-387-98502-6.

External links

• A primer on the exponential family of distributions
• Exponential family of distributions on the Earliest known uses of some of the words of mathematics
• jMEF: A Java library for exponential families