Patrick's 데이터 세상

👉🏻 경사 하강법(Gradient Descent) 경사 하강법은 딥러닝에서 비용 함수를 미분하여 기울기(Gradient)를 구해서 오차를 최소화하는 방향을 찾아내는 알고리즘을 말합니다. Pytorch에서는 torch.autograd로 자동 미분 엔진을 제어합니다. 순전파(Forward Propagation) 단계에서 정답을 맞추기 위한 최선의 추측(guess)를 진행하고 입력 데이터를 각 함수들에서 실행합니다. 역전파(Backward Propagation) 단계에서는 출력(output)으로부터 역방향으로 이동하면서 오류에 대한 함수 매개변수들의 미분값을 수집, 경사하강법으로 매개변수들을 최적화합니다. ex) nb_epochs = 2000 for epoch in range(nb_epochs+1): # H(..