[DL] 딥러닝 기초

- 딥러닝

• 인간의 신경망 이론을 이용한 인공신경망의 일종
• 계층 구조로 구성되며 입력층과 출력층 사이에 하나 이상의 은닉층을 가지고 있는 심층 신경망
• 딥러닝은 20세기로 넘어옴과 동시에 충분한 하드웨어와 그래픽 처리장치, 드롭아웃과 같은 알고리즘의 발견으로 더욱 폭발적으로 상승 향상 곡선을 그림

 

- 딥러닝이 학습을 이루는 방법

• 입력데이터 : 해당 계층에 의해 데이터가 특정되고 변환되어 '가중치'라는 형태로 저장
• 다양한 계층을 반복적으로 통과하며 학습 진행
• 이러한 맥락에서 '학습'이란 신경망에서 모든 계층의 가중치에 대한 값 집합을 찾아, 새로운 입력값이 목표한 값에 올바르게 이르기까지 가중치를 조절하는 반복작업
• 심층 신경망에는 수천만개의 가중치가 존재, 모든 가중치들을 대상으로 올바른 값을 찾는 일은 쉽지 않음(가중치는 하나의 값을 수정하면 다른 모든 가중치에 영향을 주기 때문)

 

- 인공신경망

• 인간의 뇌 구조를 모방하여 모델링한 수학적 모델
• 인간의 뇌를 형성하는 뉴런의 집합체를 수학 모델로 표현한 것

• 뉴런(신경세포)의 입력은 다수이고, 출력은 하나(여러 신경세포로부터 전달되어 온 신호들이 합산되어 출력)
• 출력은 무작정 되는 것이 아님 → 조건 출력
  • 합산된 값이 설정값 이상이면 출력 신호가 생기고 이하면 출력 신호가 생기지 않음
• 수상돌기 : 연결 / 세포체(노드) : 입력합산 지점 / 축삭 : 출력 / 시냅스 : 다수의 뉴런 연결

• 인공신경망의 경우, 노드들을 연결시키고 층을 만들며 연결 강도는 가중치로 처리됨
• 인공신경망의 연구
  • 1957년 프랭크 로젠블랫 : 퍼셉트론(Perceptron)
  • 1969년 다층 퍼셉트론(Multilayer perceptron) 출현
  • 1986년 역전파 이론(Backpropagation)
  • 1992년 순환 신경망(Recurrent Neural Network)
  • 1998년 손글씨 문자인식 연구
  • 2000년 딥러닝 용어 등장
  • 2012년 Drop out 알고리즘 출현

 

- 신경망의 출력을 제어하려먼 출력이 예상한 것과 얼마나 차이가 나는지 측정할 수 있어야함

• 손실함수(loss function, 목적 함수)
  • 실제 결과값과 신경망이 예측한 결과값을 가지고 거리 점수를 계산하여 특정 사례에서 신경망이 얼마나 잘 수행되었는지 계산
  • 딥러닝의 기본 기법은 이 점수를 피드백 신호로 사용해 현재 사례의 손실 점수를 낮추는 방향으로 무작위 가중치값들을 조금씩 조절
  • 이러한 조절 방식은 주로 역전파 알고리즘을 통해 구현
  • 최종적으로 손실이 최소화된 신경망은 우리가 원하는 가장 근접한 출력을 낼 수 있음 → 가장 잘 훈련된 신경망

 

- 이미지 인식

• 이미지 인식 경진대회(ImageNet) 2010~2017
• 대회 초반에는 주로 얓은 구조를 지닌 알고리즘 → 에러율 28%, 24%
• 2012년 CNN기반의 딥러닝 알고리즘 Alexnet → 에러율 16% →이 후 대회의 트랜드는 딥러닝 구조를 누가 얼마나 깊고 복잡하게 쌓느냐로 우승의 당락이 판가름 됨
• 2015년 우승 알고리즘 ResNet : 152개의 레이어 → 에러율 3%
• 2017년 에러율 2.3% → 경진대회 막을 내림
• 합성곱 신경망(Convolutional Neutal Network)
  • CNN은 인식이라는 범주에서 나아가 유명 화가의 작품을 학습하고 이를 활용하여 화풍에 맞게 그림을 그리는 기술로 발전되기도 함
  • CNN기반의 SegNet은 자율주행을 위해 카메라에 담긴 주변 환경을 픽셀 수준으로 분할하여 인식

 

 

- 음성 혹은 글자 인식

• 음성과 텍스트의 공통점 : 가변적인 길이
• 사람의 말을 정확하게 판단하기 위해서는 단어 하나하나를 파악하기보다 말의 문맥을 활용할 줄 알아야하는 것이 중요 → 이전의 기억을 어느 정도 가지고 활용할 줄 알아야함
• 순환 신경망(Recurrent Neural Network)
  • 이후 LSTM(LongShort-Term Memory), GRU(Gated Recurrent Unit)등으로 발전 → 긴 문장에 대한 번역에서도 높은 성과 달성