오승상1 [오승상 딥러닝 강의] 4, 5. Gradient Descent Gradient Descent란? Gradient Descent는 Deep Learning에서 기본으로 쓰이고 있는 방법으로 손실함수를 최소화할 때 쓰인다. 실제 손실함수를 그래프로 그리면 아래와 같이 그릴 수 있다. [1] 만약 우리가 초기에 설정한 파라미터에 따른 손실함수 값이 빨간색 부분에 있는 검은색 점이라고 가정해보자. 우리는 파라미터를 어떻게 설정하느냐에 따라 검은색 점이 위로 갈수도 아래로 갈수도 옆으로 갈수도 있다. 어떻게 가던 파란색 부분 즉, 손실함수의 값이 가장 작은 쪽으로 검은색 점이 이동하도록 파라미터를 설정해야한다. 파란색 부분으로 이동하기 위해 손실함수를 미분하여 기울기를 구한다. 그 기울기의 반대방향 즉, 기울기가 작아지는 방향으로 파라미터를 이동한다. 그렇게 조금씩 조금씩.. 2025. 7. 7. 이전 1 다음
