StudyStudyStudyEveryday

과대적합을 감소시키는 좋은 방법을 모델을 규제하는 것이다. 예를 들어보자. 자유도를 줄이면 데이터에 과대적합되기 더 어려워진다. 다항 회귀 모델 규제 : 다항식의 차수 감소 선형 회귀 모델 규제 : 모델의 가중치 제한 이 외에도 가중치를 제한하는 여러가지 방법들에 대해 알아보겠다. 릿지 회귀 (L2 regularization) 릿지 회귀는 규제가 추가된 선형 회귀라고 볼 수 있다. 규제항 \(\alpha \sum_{i=1}^{n}\theta ^{2}_{i}\) 이 비용함수에 추가된다. 규제항은 학습 알고리즘은 데이터에 맞출뿐 아니라, 모델의 가중치가 가능한 작게 유지되도록 한다. 훈련하는 동안에만 비용 함수에 추가되어 모델 훈련이 끝나면 모델 성능을 규제가 없는 성능 지표로 평가한다. (이는 훈련 시의 ..