Machine Learning CH - Nural Net

1. 사람/동물의 신경세포인 생물 뉴런과 인공 신경망의 신경세포인 인공 뉴런 간의 유사점을 설명하시오.
- 생물의 뇌는 1,000억 개 이상의 뉴런으로 이루어져 있고, 뉴런은 외부에서 여러 입력 받아 가중해 합산하고 임계값을 넘으면
다음 뉴런에 신호를 전달한다. 또 뉴런들은 무수히 많은 시냅스로 연결되어있어 서로 신호를 주고받으며 정보를 처리하는데 인
공 신경 또한 생물의 뉴런을 모방해 만들어졌기 때문에 생물의 뉴런처럼 여러 입력을 받아 이에 가중치를 두고 이를 합친 뒤
임계값을 넘어서면 그 값을 출력한다. 그러므로 이 과정이 매우 유사하다.
2. 일반 신경망, 딥 뉴럴 신경망(deep neural network, DNN), 컨볼루션 신경망(Convolutional Neural Neteok,

CNN)간의 유사점과 차이점을 설명하시오
- ANN, DNN, CNN은 기본적으로 입력층, 은닉층, 출력층의 구조를 베이스로 이루어져 있으며 입력을 받아 가중치를 학습하여
출력을 생성한다는 점이 유사하다. ANN은 학습 과정에서 gradient값이 0에 수렴하거나 부분적인 에러를 최저 에러를 인식하
고 더 이상 학습을 진행하지않는 등의 오류가 발생할 수 있어 파라미터의 최적값을 찾는 것이 어렵고 과적합이 발생하기 쉽다.
또한 ANN에서 은닉층을 늘리면 정확도가 올라가는 대신 그만큼 연상량이 늘어 학습시간이 느려지게 되는 문제가 있다. DNN
은 ANN보다 더 복잡한 구조를 가지고 있으나 반복학습, 사전학습, 오류역전파와 같은 기법을 통해 과적합을 줄이기 위한 기법
을 사용하고 있고 컴퓨터가 스스로 분류 레이블을 만들어 내어 최적의 구분선을 도출한다. CNN은 데이터의 특징을 추출하여,
특징들의 패턴을 파악하는 구조로 이 점이 ANN, DNN에서 하는 학습 형식과 차이가 있다. CNN 또한 DNN과 마찬가지고 과
적합을 줄이기 위해 다양한 기법을 사용한다. ANN은 간단한 분류 작업에 사용되고 DNN은 복잡한 패턴 인식이나 텍스트 및
이미지 처리, 자연어 처리, 음성 인식등 다양한 작업에 사용되며 CNN은 이미지와 연관된 작업에 효과적이므로 주로 컴퓨터 비
전 작업에 사용된다.
3. CNN 모델의 예시들이 매우 많다. 그들을 조사하여 현재 가장 많이 활용되고 있는 모델 6종을 말하고 이들에 대해
설명하시오
- CNN 기반 모델로는 LeNet – 5, AlexNet, ZFNet, VGGNET, GoogLeNet, ResNet 등이 있다.

LeNet – 5 : 우편번호나 숫자를 인식하는 활용되고 인풋레이어, 3개의 컨볼루션 레이어, 2개의 서브샘플링 레이어, 1층의 풀커넥티드 레이어,
아웃풋 레이어로 구성되어 있다. 3개의 컨볼루션 레이어, 2개의 서브샘플링 레이어, 1층의 풀커넥티드 레이어는 활성화 함수로
tanh를 사용한다.
AlexNet : 구조자체는 LeNet – 5와 크게 다르지 않으나 병렬연산을 위해 병렬적인 구조로 설계되어 있다. AlexNet은 인풋레이어, 5개의 컨볼
루션 레이어, 3개의 풀커넥티드 레이어, 아웃풋 레이어로 구성되어 있다. 두 번째, 네 번째, 다섯 번째 컨볼루션 레이어들은 전 단계
와 같은 채널의 특성맵들과만 연결되어 있지만 세 번째 컨볼루션 레이어는 전 단계의 두 채널의 특성맵들과 모두 연결되어 있다. 대
규모 이미지 데이터셋에서 객체 인식 및 분류에 좋은 성능을 보여준다.
ZFNet : ZFNet의 구조는 AlexNet에서 GPU를 하나만 쓰고 일부 컨볼루션 레이어의 커널사이즈와 스트라이드를 일부 조절했을 뿐 AlexNet의
구조와 차이가 없다. CNN을 가시화하여 CNN의 중간 과정을 눈으로 보고 개선 방향을 파악할 수 있다.
VGGNET : 많은 컨볼루션 레이어를 가지고 있다. 이미지의 사이즈가 금방 축소되는 것을 막기 위해 필터의 크기를 3x3으로 설정하였고 이를
통해 CNN의 깊이 깊게 만들 수 있었다. 작은 필터를 사용하기 때문에 더 많은 ReLU함수를 사용할 수 있어서 더 많은 비선형성을
확보할 수 있다. 비선형성을 많이 확보할 수 있다는 말은 더 좋은 차별성을 가진 특징을 뽑아낼 수 있다는 것이다.
GoogLeNet : 깊지만 적은 파라미터 수를 가지기 때문에 과적합에 빠질 가능성도 적고 깊이 깊어지면 깊어질수록 연산량이 증가하여 학습 속도
가 느려지지만 GoogLeNet은 그렇지 않다. GoogLeNet은 Inception module을 쌓아서 만든 네트워크로 메모리 효율을 고려해서
초반에는 일반적인 컨볼루션 레이어를 사용하고, 뒤쪽에 Inception module을 사용한다. 이런 구조는 GoogLeNet의 연산효율의
증가에 도움이 되었다. GoogLeNet의 성능이 더 좋지만 너무 어렵기 때문에 보통 VGGNET을 사용하게 되었다.
ResNet : Residual block을 제안한 모델이다. ResNet은 블록 단위로 층을 쌓는다. AlexNet과 GoogLeNet에서 층이 깊어짐에 따른 과적합과
기울기 소멸 문제를 ResNet은 Skip Connection을 사용하는 Residual Block을 제안하면서 해결하였다. ResNet의 Residual Block이
란 개념은 CNN의 가장 중요한 개념 중 하나로 자리잡았다.
4. CNN과 Vision Transformer간의 차이를 설명하시오.
- CNN은 컨벌루션 필터를 사용하기 때문에 지역정보의 유지가 가능하지만 Vision Transformer는 self-attention 매커니즘을 사
용하기 때문에 지역정보의 유지가 어렵다. 하지만 self-attention 매커니즘은 데이터 내의 상관관계를 바탕으로 특징을 추출하
여 CNN에 비해 더 멀리 떨어진 두 정보를 쉽게 얻어낼 수 있다는 장점이 있다.

Machine Learning CH - Nural Net

Uploaded by

Machine Learning CH - Nural Net

Uploaded by

1. 사람/동물의 신경세포인 생물 뉴런과 인공 신경망의 신경세포인 인공 뉴런 간의 유사점을 설명하시오.

2. 일반 신경망, 딥 뉴럴 신경망(deep neural network, DNN), 컨볼루션 신경망(Convolutional Neural Neteok,

- CNN 기반 모델로는 LeNet – 5, AlexNet, ZFNet, VGGNET, GoogLeNet, ResNet 등이 있다.

4. CNN과 Vision Transformer간의 차이를 설명하시오.

You might also like