[ML] 선형 회귀모델

Data Analysis/ML & DL

Bay Im 2024. 6. 8. 17:46

선형 회귀모델 (Linear Regression)
- 변수들 사이의 관계를 추정하는 분석 방법
- 관측 값을 가장 잘 나타내는 직선 혹은 곡선의 방정식을 구하는 통계적 방법
- 독립변수(x1, x2, …값)가 종속변수(y값)에 미치는 영향 분석
- 다중회귀 분석, 단순회귀 분석
단순 선형 회귀모델 (Simple Linear Regression)
- Y = b + wx + 𝜖
다중 선형 회귀모델 (Multiple Linear Regression)
- Y = b + w1x1 + w2x2 + 𝜖
최소제곱법 (Least Square Estimator)
- 회귀모델에서 SSE(제곱오차)를 최소화 시키는 모델 파라미터 b, w1, w2 …를 결정하는 방법
경사하강법 (Gradient Descent)
- 전체 배치 경사하강법 (Full Batch Gradient Descent)
  - 모든 샘플을 메모리에 적재 후 전체 샘플에 대해 한 번의 학습
  - 오프라인 학습
  - 계산 부담 단점
- 확률적 경사하강법 (Stochastic Gradient Descent)
  - 한 번에 하나의 샘플에 대해서만 학습
  - 한 샘플만 메모리에 적재하여 학습 가능
  - 온라인 학습
- 미니 배치 경사하강법 (Mini Batch Gradient Descent)
  - 전체 샘플 중 미리 정한 수의 샘플(미니 배치)을 메모리에 적재
  - 미니 배치 샘플 전체에 대해 한 번의 학습

Im Bay