혼자 공부하는 머신러닝+딥러닝 / Chapter 02 데이터 다루기

 Chapter 02-1
훈련 세트와 테스트 세트

 

- 지도 학습 (supervised learning)

입력(데이터)와 타깃(정답)으로 이루어진 훈련 데이터가 필요

정답을 맞히는 것을 학습한다.

 

- 비지도 학습 (unsupervised learning)

타깃 없이 입력 데이터만 사용

데이터를 잘 파악하거나 변형하는 데 도움을 준다.

 

- 훈련 세트와 테스트 세트

머신러닝의 알고리즘의 성능을 제대로 평가하려면 훈련 데이터와 평가에 사용할 데이터가 각각 달라야 한다.

테스트 세트(test set): 평가에 사용하는 데이터

훈련 세트(train set): 훈련에 사용되는 데이터

 

- 샘플링 편향 (sampling bias)

샘플링이 한쪽으로 치우쳤다는 의미

 

- 넘파이 (numpy)

파이썬의 대표적인 배열(array) 라이브러리

고차원의 배열을 손쉽게 만들고 조작 가능

1차원 배열은 선, 2차원 배열은 면, 3차원 배열은 공간을 나타낸다.

사이킷런 모델의 입력과 출력은 모두 넘파이 배열이다.

 

array(): 리스트 전달 시 넘파이 배열로 바꿔준다.

.shape: 배열의 크기를 (샘플 수, 특성 수)로 출력해준다.

arange(): 정수 N 전달 시 0부터 N-1까지 1씩 증가하는 인덱스를 만들어준다.

shuffle(): 배열 전달 시 배열을 무작위로 섞는다.

 

코랩 실습 화면

 

 

- 실행 화면

 

[[  25.4  242. ]
 [  26.3  290. ]
 [  26.5  340. ]
 [  29.   363. ]
 [  29.   430. ]
 [  29.7  450. ]
 [  29.7  500. ]
 [  30.   390. ]
 [  30.   450. ]
 [  30.7  500. ]
 [  31.   475. ]
 [  31.   500. ]
 [  31.5  500. ]
 [  32.   340. ]
 [  32.   600. ]
 [  32.   600. ]
 [  33.   700. ]
 [  33.   700. ]
 [  33.5  610. ]
 [  33.5  650. ]
 [  34.   575. ]
 [  34.   685. ]
 [  34.5  620. ]
 [  35.   680. ]
 [  35.   700. ]
 [  35.   725. ]
 [  35.   720. ]
 [  36.   714. ]
 [  36.   850. ]
 [  37.  1000. ]
 [  38.5  920. ]
 [  38.5  955. ]
 [  39.5  925. ]
 [  41.   975. ]
 [  41.   950. ]
 [   9.8    6.7]
 [  10.5    7.5]
 [  10.6    7. ]
 [  11.     9.7]
 [  11.2    9.8]
 [  11.3    8.7]
 [  11.8   10. ]
 [  11.8    9.9]
 [  12.     9.8]
 [  12.2   12.2]
 [  12.4   13.4]
 [  13.    12.2]
 [  14.3   19.7]
 [  15.    19.9]]
(49, 2)
[13 45 47 44 17 27 26 25 31 19 12  4 34  8  3  6 40 41 46 15  9 16 24 33
 30  0 43 32  5 29 11 36  1 21  2 37 35 23 39 10 22 18 48 20  7 42 14 28
 38]
[[ 26.3 290. ]
 [ 29.  363. ]]
[ 32. 340.] [ 32. 340.]

array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])

 

 

 

 

 

Chapter 02-2
데이터 전처리

 

- 튜플 (tuple)

리스트처럼 원소에 순서가 있지만 한 번 만들어진 튜플은 수정할 수 없다.

튜플 사용시 함수로 전달한 값이 바뀌지 않기 때문에 매개변수 값으로 많이 사용

 

np.column_stack(): 연결할 리스트를 튜플로 전달하면 리스트를 일렬로 세운 다음 차례대로 나란히 연결해준다.

np.ones(), np.zeros(): 원하는 개수를 전달하면 1과 0을 채운 배열을 만들어 준다.

np.concatenate(): 리스트나 배열을 튜플로 전달하면 배열을 연결해 준다.

 

- 사이킷런으로 훈련 세트와 테스트 세트 나누기

train_test_split(): 전달되는 리스트나 배열을 섞은 후 비율에 맞게 훈련 세트와 테스트 세트로 나누어 준다.

나누고 싶은 리스트나 배열을 원하는 만큼 전달

기본적으로 25%를 테스트 세트로 뗴어 낸다.

random_state 매개변수로 자체적으로 랜덤 시드 지정 가능

stratify 매개변수로 타깃 데이터 전달하면 클래스 비율에 맞게 데이터를 나누어준다. (훈련 데이터가 작을 때 유용)

 

kn.kneighbors(): 2차원 리스트로 값 전달하면 이웃까지의 거리와 인덱스를 반환

xlim(), ylim(): 튜플 형태로 (시작범위, 끝범위) 전달하면 x축과 y축의 범위 지정

 

- 스케일 (scale)

특성 간의 값이 놓인 범위가 다를 때 스케일이 다르다고 말한다.

 

- 데이터 전처리 (data preprocessing)

특성값을 일정한 기준으로 맞춰주는 작업

 

- 표준점수 (standard score) 혹은 z점수

가장 널리 사용하는 전처리 방법 중 하나이며, 각 특성값이 평균에서 표준편차의 몇 배만큼 떨어져 있는지 나타낸다.

np.mean(): 평균 계산

np.std(): 표준편차 계산

훈련 세트의 mean, std를 이용해서 변환해야 한다.

테스트 세트도 훈련 세트의 평균과 표준편차로 변환해야 한다.

 

- 브로드캐스팅 (broadcasting)

크기가 다른 넘파이 배열에서 자동으로 사칙 연산을 모든 행이나 열로 확장하여 수행하는 기능

 

 

 

 

코랩 실습 화면

 

 

 

- 실행 화면

 

[[ 25.4 242. ]
 [ 26.3 290. ]
 [ 26.5 340. ]
 [ 29.  363. ]
 [ 29.  430. ]]
[1. 1. 1. 1. 1.]
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
 0.]
(36, 2) (13, 2)
(36,) (13,)
[1. 0. 0. 0. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
[0. 0. 1. 0. 1. 0. 1. 1. 1. 1. 1. 1. 1.]
[0.]

[[[ 25.4 242. ]
  [ 15.   19.9]
  [ 14.3  19.7]
  [ 13.   12.2]
  [ 12.2  12.2]]]
[[1. 0. 0. 0. 0.]]
[[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]]

[ 27.29722222 454.09722222] [  9.98244253 323.29893931]

[1.]