표본 복잡성

다음에 대한 시리즈 일부
머신러닝 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 탐지 데이터 클리닝 자동ML 연결 규칙 강화학습 구조 예측 피쳐 엔지니어링 피처러닝 온라인 학습 반감독학습 무감독 학습 순위 매기기 문법 유도
감독 학습 (계속 • 회귀) 의사결정 나무 앙상블 바깅 부스팅 랜덤 포리스트 k-NN 선형 회귀 분석 순진한 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) SVM(지원 벡터 머신)
클러스터링 버치 치료하다 계층적 k-16 기대-최대화(EM) 디스캔 광학 평균 이동
차원성 감소 인자분석 CCA ICA LDA NMF PCA PGD t-SNE
구조 예측 그래픽 모델 베이즈 그물 조건부 랜덤 필드 히든 마르코프
이상 탐지 k-NN 국부 특이치 인자
인공신경망 오토인코더 인지 컴퓨팅 심오한 학문 딥드림 멀티레이어 퍼셉트론 RNN LSTM GRU ESN 제한 볼츠만 기계 간 somerset. 콘볼루션 신경망 유넷 변압기 비전 스파이킹 신경망 멤트랜지스터 전기화학 RAM(ECRAM)
강화학습 Q-러닝 사사 시간차(TD)
이론 커널 시스템 바이어스-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 학습 통계학 VC 이론
기계 학습 장소 뉴럽스IPS ICML ML JMLR ArXiv:cs.LG
관련기사 인공지능 용어집 기계 학습 연구를 위한 데이터셋 목록 기계학습 개요
v t

머신러닝 알고리즘의 샘플 복잡성은 목표 함수를 성공적으로 학습하기 위해 필요한 훈련 샘플의 수를 나타낸다.

더 정확히 말하면, 샘플 복잡성은 알고리즘에 공급해야 하는 훈련 샘플의 수입니다. 그래서 알고리즘에 의해 반환되는 함수는 임의로 가장 좋은 함수의 작은 오차 내에 있고, 확률도 임의로 1에 가깝다.

샘플 복잡성에는 두 가지 변형이 있다.

• 약한 변종은 특정 입력-출력 분배를 수정한다.
• 강한 변형은 모든 입력-출력 분포에서 최악의 경우 표본 복잡성을 취한다.

아래에서 논하는 No free school 정리는 일반적으로 강한 샘플 복잡성이 무한하다는 것을 증명한다. 즉, 한정된 수의 훈련 샘플을 사용하여 세계적으로 최적화된 목표 함수를 학습할 수 있는 알고리즘이 없다는 것이다.

단, 특정 등급의 대상함수(예: 선형함수만)에만 관심이 있다면 표본 복잡성은 유한하며, 대상함수의 등급에 따라 VC 차원에 선형적으로 의존한다.^[1]

정의

$X{\displaystyle }$ ${\displaystyle X}$은(는) 입력 공간, Y ${\displaystyle Y}$은(는) 출력 공간이라고 부르는 공간이며, Z ${\displaystyle$ Z}은(는$)$ 제품 $X{\displaystyle }$ ${\displaystyle \times }$ {\displaystyle X$\time$ Y$}$을 $나타내도록$ 하자. 예를 들어$,$ 이진 분류 $설정$에서 X ${\d$는 일반적으로$$ 유한하다$.$모방 벡터 공간과 $Y{\displaystyle }$ ${\displaystyle Y}$은$({\displaystyle }$는) {${\displaystyle }$- ${\displaystyle 1}$,${\displaystyle 1\}}$ ${\displaystyle \{-1\}} 집합$이다$.$

Fix a hypothesis space ${\displaystyle {\mathcal {H}}}$ of functions ${\displaystyle h\colon X\to Y}$. A learning algorithm over ${\displaystyle {\mathcal {H}}}$ is a computable map from ${\displaystyle Z^{*}}$ to ${\displaystyle {\mathcal {H}}}$. In other words, it is an algorithm that는 $훈련{\displaystyle }$ 샘플의 유한 순서를 입력으로 삼고 X ${\displaystyle X}$에서 $Y{\displaystyle }$ ${\displaystyle$ Y$}$까지의 함수를 출력한다$.$ 대표적인 학습 알고리즘은 티코노프 정규화 없이 경험적 위험 최소화를 포함한다.

Fix a loss function ${\displaystyle {\mathcal {L}}\colon Y\times Y\to \mathbb {R} _{\geq 0}}$, for example, the square loss ${\displaystyle {\mathcal {L}}(y,y')=(y-y')^{2}}$, where ${\displaystyle h(x)=y'}$. For a given distribution ${\dis$$X$ ${\displaystyle \times }$ ${\displaystyle Y}$ ${\displaystyle X\time$ Y$}$의 $Playstyle \rho$$\},$ 가설(함수) h${\displaystyle }h{\displaystyle }$ ${\displaystyle H\mathcal{}}$ ${\$ h$\in {\mathcal {H}}$의 예상 위험은 다음과$$ 같다.

${\displaystyle {\mathcal{E}(h):=\mathb {E} _{\rho }[{\mathcal {L}(h(x),y)]]=\int _{X\time Y}{\mathcal {L}(h(x),y)\,d\rho(x,y)}$

In our setting, we have ${\displaystyle h={\mathcal {A}}(S_{n})}$, where ${\displaystyle {\mathcal {A}}}$ is a learning algorithm and ${\displaystyle S_{n}=((x_{1},y_{1}),\ldots ,(x_{n},y_{n}))\sim \rho ^{n}}$ is a sequence of vec$all{\displaystyle }$ ${\displaystyle \rho }$과(와) 독립적으로 그려진 토어$.$ 최적의 위험을 정의하십시오.

Set ${\displaystyle h_{n}={\mathcal {A}}(S_{n})}$, for each ${\displaystyle n}$. Note that ${\displaystyle h_{n}}$ is a random variable and depends on the random variable ${\displaystyle S_{n}}$, which is drawn from the distribution ${\displaystyle \rho ^{n}}$. 만약 E({\displaystyle{{E\mathcal}}(h_{n})}probabilistically EH({\displaystyle{{E\mathcal}}_{{H\mathcal}}^{*}}에 전진 이 알고리즘{\displaystyle{{A\mathcal}}}일치해 다른 말로, 모든 ϵ,δ 을, 0{\displaystyle \epsilon ,\delta>0}, exis라고 불린다.한 ts 양의 정수 $N{\displaystyle }$ ${\displaystyle N$ 즉, ${\displaystyle \mathrm{모든}}$ n${\displaystyle }$n N$${\$displaystyle$ n$\geq$N}에 대해$,$ 다음과 같은 값을 갖는다.

The sample complexity of ${\displaystyle {\mathcal {A}}}$ is then the minimum ${\displaystyle N}$ for which this holds, as a function of ${\displaystyle \rho ,\epsilon }$, and ${\displaystyle \delta }$. We write the sample complexity as ${\displaystyle N(\rho ,\epsilon ,\delta )}$ to emphasize that this value of ${\displaystyle N}$ depends on ${\displaystyle \rho ,\epsilon }$, and ${\displaystyle \delta }$. If ${\displaystyle {\mathcal {A}}}$ is not consistent, then we set ${\displaystyle N(\rho ,\epsilon ,\delta )=\infty }$. If there exists an algorithm for which ${\displaystyle N}$ (${\displaystyle \rho }$ ,${\displaystyle \Delta }$ ,$$Δ ) {\$displaystyle N(\rho$ ,\$epsilon$,\delta $)}$은 유한하다$$. 그렇다면 가설 공간 $H{\displaystyle \mathcal{}}$ ${\$은(으) 학습이 가능하다고$$ 한다.

In others words, the sample complexity ${\displaystyle N(\rho ,\epsilon ,\delta )}$ defines the rate of consistency of the algorithm: given a desired accuracy ${\displaystyle \epsilon }$ and confidence ${\displaystyle \delta }$, one needs to sample ${\displaystyle N(\rho ,\epsilon ,\delta )$출력 함수의 위험이 최소 $1{\displaystyle \mathrm{}\Delta }$ {\$displaystyle \epsilon }$의 최적 범위$$ 내에 있음을 보장하기 위한 데이터$$ 지점 ${\$displaystyle \epsilon }. 최소 1 Δ ${\displaystyle 1-\³ }.$^[2]

In probably approximately correct (PAC) learning, one is concerned with whether the sample complexity is polynomial, that is, whether ${\displaystyle N(\rho ,\epsilon ,\delta )}$ is bounded by a polynomial in ${\displaystyle 1/\epsilon }$ and ${\displaystyle 1/\delta }$. If ${\d$$isplaystyle N(\rho ,\epsilon ,\delta )}$은 일부 학습 알고리즘의 다항식이며, 그러면 가설 공간 H ${\$은(는) PAC 학습이 가능하다고$$ 한다. 이것은 배울 수 있는 것보다 더 강한 개념이라는 것에 주목하라.

제한되지 않은 가설 공간: 무한 표본 복잡성

견본 복잡성이 강한 의미에서 유한하도록 학습 알고리즘이 존재하는지, 즉 알고리즘이 특정 표적 오류로 입출력 공간에 대한 분포를 학습할 수 있도록 필요한 표본 수에 한계가 있는지를 물을 수 있다. 좀 더 형식적으로, $학습{\displaystyle \mathcal{}}$ 알고리즘$$A {\$displaystyle${\$mathcal${A}이(가) 존재하는지 질문한다$.$ 즉, 모든> {\$displaystyle \epsilon$,\$delta$ $>0$에 대해, $모든{\displaystyle }$ n ${\displaystyle \ge }$ ${\displaystystyle N}$이(가)이(가) 있는 것이다$.$

where ${\displaystyle h_{n}={\mathcal {A}}(S_{n})}$, with ${\displaystyle S_{n}=((x_{1},y_{1}),\ldots ,(x_{n},y_{n}))\sim \rho ^{n}}$ as above. No Free School Organization은 가설 $공간{\displaystyle \mathcal{}}$ H ${\$에 대한 제한 없이$,$ 샘플 복잡성이 임의로 큰 "나쁜" 분포가 항상 존재한다고 말한다.^[1]

따라서, 수량의 수렴 속도에 대한 진술을 하기 위해서.

어느 쪽이든 해야 한다.

• 확률 분포 공간 $($parametric approach){\$displaystyle \rho$ $\},$ 예를 들어 파라메트릭 접근법을 통해 또는
• 분포가 없는 접근에서와 같이 가설 $H{\displaystyle \mathcal{}}$ ${\$의 공간을 제한한다$.$

제한된 가설 공간: 유한 표본 복합성

후자의 접근방식은 공간 $H{\displaystyle \mathcal{}}$ ${\$의 복잡성을 제어하는 VC 차원 및 Rademacher 복잡성과 같은 개념으로 이어진다$.$ 보다 작은 가설 공간은 추론 과정에 더 많은 편향을 도입하며, $이$는 ${\displaystyle E_{\mathcal{}}^{}}$ H ${\displaystyle {\ast }_{}^{}}$ ${\displaystystyle {E}_{\mathcal}{H}}}}}*}}}}}}}}*}}}*}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$음 더 큰 공간에서 가능한 최선의 위험보다. 그러나 가설 공간의 복잡성을 제한함으로써 알고리즘이 보다 균일하게 일관된 함수를 생성할 수 있게 된다. 이러한 절충은 정규화 개념으로 이어진다.^[2]

가설공간 $H{\displaystyle \mathcal{}}$ ${\$에 대해 다음과 같은 세 개의 문장이 동등하다는 것은 VC 이론에서 나온 정리다$.$

1. ${\displaystyle \mathcal{H}}$ ${\$은(는) PAC 학습이 가능하다.
2. $H{\displaystyle \mathcal{}}$ ${\$의 VC 치수는 유한하다$$.
3. ${\displaystyle \mathcal{H}}$ ${\$은(는) 균일한 글리벤코-칸텔리 클래스다.

이것은 특정 가설공간이 PAC 학습가능하고, 나아가 학습가능하다는 것을 증명할 수 있는 방법을 제공한다.

PAC 학습 가능 가설 공간의 예

${\displaystyle X=\mathbb {R} ^{d},Y=\{-1,1\}}$, and let ${\displaystyle {\mathcal {H}}}$ be the space of affine functions on ${\displaystyle X}$, that is, functions of the form ${\displaystyle x\mapsto \langle w,x\rangle +b}$ for some ${\$디스플레이 $스타일 w\in \mathb$ {$R} ^{d},b\in$$\mathb$ {$R} }.$ 오프셋 학습 문제가 있는 선형 분류다. 이제, 사각형의 네 개의 동일 평면점은 어떤 아핀 기능으로도 산산이 부서질 수 없다는 점에 유의하십시오. 어떤 아핀 기능도 대각선으로 반대되는 두 개의 정점에서는 양이고 나머지 두 개의 정점에서는 음수일 수 없기 때문이다. 따라서 $H{\displaystyle \mathcal{}}$ ${\$의 VC 치수는 ${\displaystyle \mathrm{d}}$+ 1 ${\displaystyle d+1}$이므로 유한하다$.$ $H{\displaystyle \mathcal{}}$ {\$displaystyle {\mathcal{H}}$이(가$)$ PAC 학습 가능하고, 나아가 학습이 가능하다는 것은 위의 PAC 학습 클래스의 특성화에 따른 것이다.

표본 복합성 한계

$H{\displaystyle \mathcal{}}$ ${\$이(가) 이진 함수의 클래스라고 가정하십시오$(\{{\displaystyle 0}$, 1${\displaystyle \}}$ ${\displaystyle \{0,1\}$에 대한 기능).$$ 그러면 $H{\displaystyle \mathcal{}}$ ${\$이$({\displaystyle 가)}$ ${\displaystyle$ -PAC-학습 가능(크기의 표본:

where ${\displaystyle VC({\mathcal {H}})}$ is the VC dimension of ${\displaystyle {\mathcal {H}}}$. Moreover, any ${\displaystyle (\epsilon ,\delta )}$-PAC-learning algorithm for ${\displaystyle {\mathcal {H}}}$ must have sample-complexity:^[4] 따라서 표본 복합성은 가설 공간의 VC 차원의 선형 함수다.

Suppose ${\displaystyle {\mathcal {H}}}$ is a class of real-valued functions with range in ${\displaystyle [0,T]}$. Then, ${\displaystyle {\mathcal {H}}}$ is ${\displaystyle (\epsilon ,\delta )}$-PAC-learnable with a sample of size: ^[5][6]

여기서 $P{\displaystyle }$ ${\displaystyle D}$( ${\displaystyle H}$) ${\displaystyle PD({\mathcal{H}})$는 폴라드의 $H{\displaystyle \mathcal{}}$ ${\$의 의사-차원이다$.$

기타 설정

감독된 학습 환경 외에도, 샘플 복잡성은 알고리즘이 많은 라벨 획득 비용을 줄이기 위해 특별히 선택한 입력물에 라벨을 요청할 ^[7]수 있는 능동적 학습을 포함한 반 감독적 학습 문제와 관련이 있다. 샘플 복잡성의 개념은 사전 학습과 같은 강화 학습,^[8] 온라인 학습 및 감독되지 않은 알고리즘에서도 나타난다.^[9]

로봇공학에서의 효율성

높은 표본 복잡성은 몬테카를로 나무 검색을 실행하기 위해 많은 계산이 필요하다는 것을 의미한다.^[10] 그것은 주 공간에서 자유로운 무차별적인 힘 검색과 같다. 반면 ^[11]고효율 알고리즘은 표본 복잡도가 낮다. 표본 복잡성을 줄이는 가능한 기법은 미터법 학습과^[12] 모델 기반 강화 학습이다.^[13]

참조