핸즈온 머신러닝 Chapter4. 모델 학습 학습 정리

모델을 훈련시키자.

• 모델을 훈련시킨다는 것은 모델이 훈련 세트에 가장 잘 맞도록 모델 파라미터를 설정하는 것이다.

1. 직접 계산할 수 있는 공식을 사용해 훈련 세트에 가장 잘 맞는 모델 파라미터를 해석적으로 구한다.
2. 경사 하강법 (GD)이라 불리는 반복적인 최적화 방식을 사용하여 모델 파라미터를 조금씩 바꾸면서 비용함수를 훈련 세트에 대해 최소화시킨다.

• 경사 하강법의 변종?
  1. Batch 경사 하강법
  2. Mini - Batch 경사 하강법
  3. Stichastic 경사 하강법

     이장을 이해하기 위해서?

• 기초적인 선형대수와 미분 기호를 사용한 수학 방정식이 나오기 떄문에, 이 식들을 이해하기 위해서는 벡터와 행렬, 전치, 점곱, 역행렬, 편미분에 대해 알아야 합니다.

선형대수에 대한 주피터 노트북

선형 회귀

• 입력 가중치 합과 편향이라는 상수를 더해 예측을 만드는 모델입니다. (y=ax + b)꼴을 의미함.

정규방정식 ?

• 비용함수를 최소화하는 쎼타 값을 찾기 위한 해석적인 방법이 있다? -> 바로 결과를 얻을 수 있는 수학 공식이 있다. -> 정규방정식이라고 한다.

• 정규방정식을 이용해서 비용함수의 최적값을 찾을 수 있고, 이 값으로 선형 모델의 파라미터 값을 구할 수 있다.

• But 계산 복잡도가 나빠서 계산 시간에 있어서 특성 수 가 2배 늘어나면 -> 8배의 계산시간이 소요된다.

경사 하강법

• 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘이다.
• 기본 아이디어는 비용함수를 최소화하기 위해 반복해서 파라미터를 조정해가는 것이다.
• 경사하강법에서 중요한 파라미터는 스텝(Step의 크기로 보통 -> 학습률이라고 말하는 것이다.
• 경사하강법을 이용할 때는 반드시 특성의 스케일을 맞추어 주어야 합니다. -> 사이킷런의 StandardScaler를 사용하자.

배치 경사 하강법

• 편도함수 : 각 모델 파라미터가 조금 변경될 떄 비용함수가 얼마나 바뀌는지?
• 매 경사 하강법 스템에서 전체 훈련 세트 X에 대해 계산한다. 그래서 전체 경사 하강법이라고도 한다.

확률적 경사 하강법

• 매 스텝에서 한 개의 샘플을 무작위로 선택하고 그 하나의 샘플에 대한 그레이디언트를 계산한다.
• 배치경사하강법보다 불안정하다. -> 비용 함수가 최솟값에 다다를 때까지 부드럽게 감소하지 않고, 위 아래로 요동치며 평균적으로 감소한다. -> 시간이 지나면 최솟값에 매우 근접하겠지만, 요동이 지속되면서 최솟값에 안착하지 못한다.
  • 그래서, 이를 해결하기 위해서 -> 학습률을 점진적으로 감소시킬 수 있다. -> 시작할 때는 학습률을 크게하고, 점차 작게 줄여서 알고리즘이 전역 최솟값에 도달하게 한다. -> 학습 스케줄 (Learning Schedule): 매 반복에서 학습률을 결정하는 함수

미니배치 경사 하강법

• 각 스텝에서 전체 훈련 세트나 하나의 샘플을 기반으로 그레이디언트를 계산하는 것이 아니라 미니배치라 부르는 임의의 작은 샘플 세트에 대해 그레이디언트를 계산합니다. -> 주요 장점: 행렬 연산에 최적화된 하드웨어, 특히 GPU를 사용해서 얻는 성능 향상이다.

다항 회귀

• 비선형 데이터를 학습하는 데 선형 모델을 사용할 수 있다.
  • HOW? : 각 특성의 거듭제곱을 새로운 특성으로 추가하고, 이 확장된 특성을 포함한 데이터셋에 선형 모델을 훈련시키는 것. -> 다항회귀 기법이라고함.

학습 곡선

• 모델 학습이 잘 되고 있는지를 판단할 수 있는 요소가 된다.
• 2장에서는 교차 검증을 이용해서, 훈련 데이터에서 성능이 좋지만, 교차검증 세트에서 성능이 나쁘다면 과대적합, 둘 모두에서 성능이 좋지 않으면 과소적합이라 판단을 했는데, 이외에도 학습 곡선을 살펴보는 방법을 알아보자.

규제가 있는 선형 모델

1. 릿지 회귀
2. 라쏘 회귀
3. 엘라스틱넷

릿지 회귀(티호노프 규제) - 규제가 추가된 선형 회귀 버전