728x90 손실함수2 [DL] 역전파(backpropagation) - 신경망의 손실함수 식 : 다차함수 → 정의하거나 미분하기 어려움 - 신경망의 목적 : 손실함수가 최솟값일 때의 파라미터를 찾아 올바른 학습 결과를 내는 것(회귀분석이나 로지스틱 회귀와 기본 개념이 같음, 단 신경망이 사용하는 파라미터의 개수가 더 많음) - 역전파(backpropagation) 신경망의 파라미터를 효율적으로 찾기 위한 연구 1987년 역전파가 공개됨 뉴런의 가중치를 효율적으로 조정하기 위하여 거꾸로 무엇인가를 전파하는 방식 위의 신경망 모델에서 기대 출력 값과 현재 출력 값의 오차 = 1 역전파 기존 출력값을 지우고 새로운 출력값으로 3을 전달 은닉층 노드 값(3)과 고정값(1)을 비교하여 값이 큰 쪽의 가중치 혹은 편향을 더 크게 조정하여 출력 값을 3이 되도록 조정 편향에서 0.1.. 2021. 5. 13. [DL] 딥러닝 기초 - 딥러닝 인간의 신경망 이론을 이용한 인공신경망의 일종 계층 구조로 구성되며 입력층과 출력층 사이에 하나 이상의 은닉층을 가지고 있는 심층 신경망 딥러닝은 20세기로 넘어옴과 동시에 충분한 하드웨어와 그래픽 처리장치, 드롭아웃과 같은 알고리즘의 발견으로 더욱 폭발적으로 상승 향상 곡선을 그림 - 딥러닝이 학습을 이루는 방법 입력데이터 : 해당 계층에 의해 데이터가 특정되고 변환되어 '가중치'라는 형태로 저장 다양한 계층을 반복적으로 통과하며 학습 진행 이러한 맥락에서 '학습'이란 신경망에서 모든 계층의 가중치에 대한 값 집합을 찾아, 새로운 입력값이 목표한 값에 올바르게 이르기까지 가중치를 조절하는 반복작업 심층 신경망에는 수천만개의 가중치가 존재, 모든 가중치들을 대상으로 올바른 값을 찾는 일은 쉽지.. 2021. 5. 12. 이전 1 다음 728x90
