backpropagation 손으로 따라가 보기

들을 때면 '아하~' 하고 이해하지만 자고 일어나면 항상 '왜 저렇게 되지??' 의 대명사가 되었던 backpropagation.. 그래서 직접 손으로 따라가 보기로 했다. target이 되는 방정식은 y = wx의 가장 간단한 1차 방정식.. 원래는 y =3x의 방정식인데, 이를 찾아가는 과정을 backpropagation을 써서 따라가 보기로 했다. 우선 w의 처음 초기 값은 1로 설정한다. 그리고 cost function은 (target - 예측값)의 제곱을 구하는 MSE를 쓰기로 한다. 그럼 이제부터가 관건인데.. 우리가 실제 알고 싶어하는 것은 w 값이 변했을 때 cost function의 변화량이 얼마나 바뀌는가 이다. 왜냐하면 cost function의 변화량이 크다는 것은 아직 정답 값과 ..

2016.11.17