사노프 정리

이 기사에는 여러 가지 문제가 있습니다. 개선을 도와주시거나 토크 페이지에서 이러한 문제에 대해 논의해 주시기 바랍니다. (이러한 템플릿 메시지를 제거하는 방법 및 시기에 대해 알아보기) 이 기사는 대부분의 독자가 이해하기에는 너무 기술적일 수 있습니다. 기술적인 세부사항을 제거하지 않고 비전문가들이 이해할 수 있도록 개선하는 데 도움을 주시기 바랍니다. (2012년 2월) (본 템플릿 메시지의 제거 방법 및 시기에 대해 알아보세요.) 이 기사에는 참조, 관련 판독 또는 외부 링크 목록이 포함되어 있지만 인라인 인용이 없기 때문에 출처가 불분명합니다. 좀 더 정확한 인용문을 소개하여 이 기사를 개선하는 데 도움을 주시기 바랍니다. (2012년 2월) (이 템플릿 메시지를 제거하는 방법과 시기에 대해 알아보시기 바랍니다.) (이 템플릿 메시지를 제거하는 방법과 시기에 대해 알아보기)

수학과 정보 이론에서 사노프의 정리는 주어진 확률 분포에서 표본의 비정형적인 순서를 관찰할 확률에 대한 한계를 제공합니다. 큰 편차 이론의 언어에서 사노프의 정리는 i.i.d. 랜덤 변수 시퀀스의 경험적 측정의 큰 편차에 대한 비율 함수를 식별합니다.

알파벳 X에 대한 확률 분포의 집합을 A라고 하고, X에 대한 임의의 분포를 q라고 합니다(여기서 q는 A에 포함될 수도 있고 포함되지 않을 수도 있습니다). 벡터 $x$ ${\displaystyle n^{}}$ = ${\displaystyle x}$ $,$ x 2, …, x n {\displaystyle x^{n} = x_{1}, x_{2},\ldots, x_{n}} 로 표현된 ni.i.d 샘플을 q 에서 그렸다고 가정합니다. 그러면, $표본$의 경험적 측정 p^ ${\displaystyle x_{{}^{}}}$ ${\$가 $집합$ A에 속할 확률에 대해 다음과 같은 한계가 있습니다.

${\displaystyle q^{}}$ n ($p$ ${\displaystyle n_{}}$ ${\displaystyle \in }$ ${\displaystyle A}$) ≤ (n$$+ 1 ) X 2 - n D K${\displaystyle L^{}}$ (p ∗ q) {\display q^{n}({\hat {p}}_{x^{n}}\in A)\leq (n+1)^{ X}2^{-nD_{\mathrm {KL}}(p^{*} q)},

어디에

• ${\displaystyle {qn}^{}}$ ${\$ $q$$^{n}}$는 ${\displaystyle {Xn}^{}}$ ${\$ X$^{n}}$의$$결합 확률 분포이며,
• $p ∗$ {\$displaystyle$p^{*}}는 A에 대한 q의 정보 투영입니다.

즉, 비정형 분포를 그릴 확률은 실제 분포에서 비정형 분포로의 KL 발산 함수에 의해 제한됩니다. 우리가 가능한 비정형 분포의 집합을 고려하는 경우, 정보 투영에 의해 주어진 지배적인 비정형 분포가 있습니다.

또한 A가 닫힌집합이라면

${\displaystyle \lim _{n\to \infty }{\frac {1}{n}}\log q^{n}({\hat {p}}_{x^{n}}\in A)=-D_{\mathrm {KL} }(p^{*} q).}$

참고문헌

• Cover, Thomas M.; Thomas, Joy A. (2006). Elements of Information Theory (2 ed.). Hoboken, New Jersey: Wiley Interscience. pp. 362. ISBN 9780471241959.

• 사노프, UN (1957) "임의변수의 큰 편차의 확률에 대하여" Mat. Sbornik 42(84), No. 1, 11–44.
• Санов, И. Н. (1957) "О вероятности больших отклонений случайных величин". МАТЕМАТИЧЕСКИЙ СБОРНИК' 42(84), No. 1, 11–44.

이 확률 관련 기사는 스텁입니다. 위키백과를 확장하면 도움이 될 수 있습니다.

• v
• t