[ML] 선형 회귀모델

• 선형 회귀모델 (Linear Regression)
  • 변수들 사이의 관계를 추정하는 분석 방법
  • 관측 값을 가장 잘 나타내는 직선 혹은 곡선의 방정식을 구하는 통계적 방법
  • 독립변수(x1, x2, …값)가 종속변수(y값)에 미치는 영향 분석
  • 다중회귀 분석, 단순회귀 분석
• 단순 선형 회귀모델 (Simple Linear Regression)
  • Y = b + wx + 𝜖
• 다중 선형 회귀모델 (Multiple Linear Regression)
  • Y = b + w1x1 + w2x2 + 𝜖
• 최소제곱법 (Least Square Estimator)
  • 회귀모델에서 SSE(제곱오차)를 최소화 시키는 모델 파라미터 b, w1, w2 …를 결정하는 방법
• 경사하강법 (Gradient Descent)
  • 전체 배치 경사하강법 (Full Batch Gradient Descent)
    • 모든 샘플을 메모리에 적재 후 전체 샘플에 대해 한 번의 학습
    • 오프라인 학습
    • 계산 부담 단점
  • 확률적 경사하강법 (Stochastic Gradient Descent)
    • 한 번에 하나의 샘플에 대해서만 학습
    • 한 샘플만 메모리에 적재하여 학습 가능
    • 온라인 학습
  • 미니 배치 경사하강법 (Mini Batch Gradient Descent)
    • 전체 샘플 중 미리 정한 수의 샘플(미니 배치)을 메모리에 적재
    • 미니 배치 샘플 전체에 대해 한 번의 학습