분류 전체보기23 [오승상 딥러닝] 6. Backpropagation Backpropagation이란? 앞에서 Feed Forward와 경사하강법을 배웠다. 경사하강법은 손실함수의 기울기를 구하여 손실함수가 최솟값을 가질 수 있는 방향으로 Parameter를 업데이트 하는 것이라고 하였다. Backpropagation 즉, 역전파는 그 기울기를 구하는 방법이다. 경사하강법은 역전파를 이용해 파라미터를 업데이트하는 최적화 알고리즘인 것이다. Backpropagation은 수백만개의 파라미터의 계산을 효율적으로 하도록 한다. Single layer 즉, 1개의 Perceptron으로 보자.Perceptron 에서 Forward pass를 한 후 Gradient descent를 통해 Parameter를 업데이트한다. 수식을 다시 정리해보자. 먼저, input의 정보를 전부 합산.. 2025. 7. 11. [오승상 딥러닝 강의] 4, 5. Gradient Descent Gradient Descent란? Gradient Descent는 Deep Learning에서 기본으로 쓰이고 있는 방법으로 손실함수를 최소화할 때 쓰인다. 실제 손실함수를 그래프로 그리면 아래와 같이 그릴 수 있다. [1] 만약 우리가 초기에 설정한 파라미터에 따른 손실함수 값이 빨간색 부분에 있는 검은색 점이라고 가정해보자. 우리는 파라미터를 어떻게 설정하느냐에 따라 검은색 점이 위로 갈수도 아래로 갈수도 옆으로 갈수도 있다. 어떻게 가던 파란색 부분 즉, 손실함수의 값이 가장 작은 쪽으로 검은색 점이 이동하도록 파라미터를 설정해야한다. 파란색 부분으로 이동하기 위해 손실함수를 미분하여 기울기를 구한다. 그 기울기의 반대방향 즉, 기울기가 작아지는 방향으로 파라미터를 이동한다. 그렇게 조금씩 조금씩.. 2025. 7. 7. [오승상 딥러닝 강의] 3. DNN forward pass Deep Neural Network(DNN) 이란? 지난 글에서 Perceptron에 대해 간략하게 소개했다. 또한 MLP에 관해서도 간략히 소개했다. DNN도 MLP와 같이 Perceptron을 여러 개 조합하여 만든 인공신경망이다. 즉, Hidden Layer의 갯수가 많은 인공신경망(Artificial Neural Network, ANN)이다. MLP와의 차이는 MLP는 DNN에 비해 단순한 편이며 DNN은 MLP에 비해 Hidden Layer의 개수가 많은 편이다. 보통 Layer가 많을 수록 Node가 많을 수록 복잡한 문제를 해결할 수 있다. DNN은 MLP에 비해 Layer가 더 많은 신경망이므로 더 복잡한 데이터를 처리할 수 있다. 참고로 DNN이 MLP 보다 Node가 많은 신경망을 뜻하.. 2025. 5. 10. [오승상 딥러닝 강의] 2. Perceptron MLP Perceptron이란?인공신경망의 초기형태로 DL을 하기 위해선 필수 개념이다.1957년 Frank Rosenblatt이 고안한 AI의 Programming과 Learning 중 Learning의 개념을 처음 도입한 알고리즘이다.사람의 뉴런과 동작이 유사하며, 다수의 입력으로부터 하나의 결과를 내보낸다. 즉, n개의 입력값으로 출력값을 내보낸다. Neuron(뉴런)이란?Dendrites를 통해 정보가 들어오며 이 정보가 일정값 이상 축적되면 신호를 보낸다.즉, 신호의 양이 적을 때는 신호를 보내지 않지만 임계값(threshold)를 넘어서면 다음 뉴런으로 신호를 보낸다.뉴런이 다음 뉴런으로 신호를 보내는 것을 activate 한다. 즉, 활성화한다라고 한다. Neuron과 Perceptron perc.. 2025. 3. 20. [오승상 딥러닝 강의] 1. introduction 개념의 중요성DL을 활용해 논문을 쓰고, 공모전에서 ML 을 활용해 분석을 해 상을 받기도 하고, 여러 해커톤에 나가 ML/DL 모델을 개발하였다.하지만 깊은 개념에 대해서 공부한지 2년은 넘은 것 같다. 또 그때의 나는 이해하기 너무 어려운 부분에 대해 어물쩍 넘어간 적도 있는 것 같다.앞으로 1달간은 ML/DL에 대한 개념을 다시 바로 잡고, 여러 대회에 참여하며 공부해보고 싶었지만 많은 일을 한번에 처리하느라 시도하시 못했던 부분들에 대해서도 차근차근 공부를 해보려 한다.먼저, 오승상 딥러닝 강의[1]를 기준으로 공부할 예정이다. AIAI는 Artificial intelligence 즉, 인공지능이다. 인공 지능은 컴퓨터에서 음성 및 작성된 언어를 확인, 이해, 번역하고 데이터를 분석하며 추천하는 .. 2025. 3. 6. [서울시 기온 예측 해커톤] Neuralprophet 데이콘 서울시 기온 예측 해커톤의 데이터로 공부한 모델이다. 나는 GRU나 LSTM을 사용해 성능을 높이는 경험을 하고 싶어 참여하였는데 생각보다 성능이 좋아지지 못했다. 그래서 다른 분의 공유 코드를 보고 시도해보았다. 이번 대회에서 성능을 높이는데 도움을 준 모델은 아니었지만 이 모델을 쓰시는 분들이 참고하셨으면 한다. Neural Prophet 이란? : 유명한 분석 패키지 중 하나인 Prophet를 시계열 분석 모델을 관심있게 보신 분이라면 들어는 보셨을 것이다. 페이스북에서 개발한 Neural Prophet은 기존의 Prophet에서 신경망을 추가한 모델이다. Neural Prophet 설치 보통 패키지를 설치하면 !pip install 이 코드를 많이 쓸 것이다. Neural Prophet을 .. 2024. 1. 5. 이전 1 2 3 4 다음
