StudyStudyStudyEveryday

과대 적합과 과소 적합 고차 다항 회귀의 경우 차수가 낮은 선 회귀에 비해 훨씬 더 훈련 데이터에 잘 맞는다. 위 그래프를 참고해보자. 차수가 2인 회귀 모델에 비해 차수가 300인 모델은 심각하게 훈련 데이터에 과대적합되었다. 반면, 차수가 1인 선형 모델은 과소적합이 되어보인다. 이렇듯 모델을 만들고 난 후, 모델의 일반화 성능을 추정해볼 필요가 있다. 측정 방법에는 교차 검증 방법과 학습 곡선을 살펴보는 방법이 있다. 이번 포스팅에서는 학습 곡선에 대해 알아보고, 추후에 교차 검증과 관련된 포스팅을 해보도록 하겠다. 학습 곡선을 이용한 성능 측정 (과소 적합된 경우) 학습 곡선 그래프는 훈련 세트와 검증 세트의 모델 성능을 훈련 세트 크기(or 훈련 반복)의 함수로 나타낸다. 이 그래프를 생성하기 ..

경사하강법 경사 하강법 (Gradient Descent, GD)은 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘이다. 경사 하강법은 비용함수를 줄이기 위해 반복해서 파라미터를 조정해간다. 첫 시작은 파라미터 벡터 \(\mathbf{\theta}\)를 임의값으로 설정하여 시작한다. (무작위 초기화 random initialization) 그 다음, \(\mathbf{\theta}\)에 대해 비용함수(예를 들어 MSE)의 현재 Gradient를 계산한다. 그리고 Gradient가 감소하는 방향으로 파라미터를 조정해나간다. 이를 반복하여 Gradient가 0이 되면 최솟값에 도달한 것이다. * 여기서 Gradient는 비용 함수의 미분값이라고 생각하면 된다. 즉, 정리해보면 다음과..

머신러닝 모델과 훈련 알고리즘에 대한 소개를 하고자 한다. 이번 포스팅에서는 선형 회귀에 대한 설명을 할 것이다. 선형 회귀에 대한 설명에 앞서 이 모델을 훈련시키는 두 가지 방법을 설명하겠다. 먼저, 직접 계산 가능한 공식을 통해 training set에 대해 비용 함수를 최소화하는 모델 파라미터를 해석적으로 구하는 방법 경사 하강법 (GD)라 불리는 반복적인 최적화 방식을 사용해 모델 파라미터를 조금씩 바꾸며 비용 함수를 훈련 세트에 대해 최소화시키는 방법 선형 회귀 모델의 예측 선형 회귀 모델은 다음과 같이 나타낼 수 있다. $$ \hat{y} = \theta_{0}+\theta_{1}x_{1}+\cdots +\theta_{n}x_{n} $$ \(\hat{y}\) 은 예측값, n은 특성수, \(x_..