Stocastic1 [TIL] SGD 에 대한 제대로 된 이해 오피스 갔다와서 또 물어본 이야기 부끄러운 말이지만 논문을 그렇게 읽었지만 아직도 SGD를 이해를 못했다. 이번에 물어보면 너무너무 좋을 기회일 것 같아서 같이 물어봤다. 일단 SGD란 확률적 경사하강법인데, 난 여기서 '확률적'이라는 말을 이해할 수 없었다. SGD에서는 batch size가 1인 배치를 이용해서 총 샘플 수 만큼 iteration을 한다. 그러면 결국 계산하는 순서만 랜덤인거라는 생각이 들었다. 그래서 모든 데이터 셋을 한꺼번에 이용하느냐, 하나씩 하느냐가 다른거 아닌가 싶어서 왜 '확률적'이라는 말을 쓰는지 의아했다. 일단 내가 이해한 건 맞다. batch size가 1인 배치를 이용하는 것도 맞고, 샘플 수만큼 iteration 하고 가중치를 업데이트 하는 것도 맞다. 하지만 '확.. 2021. 10. 14. 이전 1 다음