혼공머신 | Chap 03-2. 선형 회귀

1. k-최근접 이웃의 한계

데이터 준비모델 준비

http://bit.ly/perch_data

from sklearn.model_selection import train_test_split

train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state=42)
train_input = train_input.reshape(-1, 1)
test_input = test_input.reshape(-1, 1)

 

모델 준비

from sklearn.neibors import KneiborsRegressor

knr = KneiborsRegressor(n_neighbors=3)
knr.fit(train_input, train_target)
print(knr.predict([[50]]))    # 출력 결과 [1033.33333]

 

하지만 실제 농어의 무게는 더 많이 나감!

이 농어의 최근접 이웃을 산점도에 표시

 

import matplotlib.pyplot as plt

distances, indexes = knr.kneighbors([[50]])

# 훈련 세트의 산점도
plt.scatter(train_input, train_target)

# 훈련 세트 중 이웃 샘플
plt.scatter(train_input[indexes], train_target[indexes], marker=’D’)

# 50cm 농어
plt.scatter(50, 1033, marker=’^’)
plt.show()

50cm 농어와 가까운 훈련 샘플이 45cm 근방임.

이 샘플들의 무게를 평균이 타깃 값이 됨.

 

print(np.mean(train_target[indexes]))    # 출력 결과 [1033.33333]

 

100cm 농어의 이웃을 구해보자

distances, indexes = knr.kneighbors([[100]])

# 훈련 세트의 산점도
plt.scatter(train_input, train_target)

# 훈련 세트 중 이웃 샘플
plt.scatter(train_input[indexes], train_target[indexes], marker=’D’)

# 100cm 농어
plt.scatter(100, 1033, marker=’^’)
plt.show()

농어가 아무리 커도 무게가 더 늘어나지 않음.

 

2. 선형 회귀 linear regression

특성이 하나인 경우 어떤 직선을 학습하는 알고리즘.

특성과 타깃 사이의 관계를 가장 잘 나타내는 선형 방정식을 찾음.

 

LinearRegression 클래스

사이킷런 sklearn.linear_model 패키지 아래에 선형 회귀 알고리즘.

 

from sklearn.linear_model import LinearRegression

lr = LinearRegression()
lr.fit(train_input, train_target)
print(lr.predict([[50]]))
# 출력 결과 [1241.83860323]

# 기울기, 절편
print(lr.coef_, lr.intercept_)
# 출력 결과 [39.01714496] -709.0186449535477

 

모델 파라미터(model parameter)

머신러닝 알고리즘이 찾은 값을 의미

예시) coef_, intercept_

 

모델 기반 학습

머신러닝 알고리즘의 훈련과정은 최적의 모델 파라미터를 찾는 것과 같음.

머신러닝 모델이 특성에서 학습한 파라미터를 의미.

 

사례 기반 학습

k-최근접 이웃과 같이 모델 파라미터가 없음.

훈련 세트를 저장하는 것이 훈련의 전부임.

 

농어의 길이 15에서 50까지 직선으로 그려보기.

기울기와 절편을 사용 (15, 15*39-709)와 (50, 50*39-709)

plt.scatter(train_input, train_target)

# 15에서 50까지 1차 방정식 그래프
plt.plot([15, 50], [15*lr.coef_+lr.intercept_, 50*lr.coef_+lr.intercept_]
plt.scatter(50, 1241.8, marker=’^’)
plt.show()

이 데이터셋에서 찾은 최적의 직선!

 

R² 확인

print(lr.score(train_input, train_target))
# 출력 결과 0.9398463339976039

print(lr.score(test_input, test_target))
# 출력 결과 0.8247503123313558

 

과대적합!

그래프의 직선대로 예측하면

농어의 무게가 0g 이하로 내려감.

 

3. 다항 회귀

최적의 곡선 찾기!

제곱한 항이 훈련 세트에 추가되어야 함.

다항식을 사용하여 특성과 타깃 사이의 관계를 나타냄.

비선형일 수 있지만 선형 회귀로 표현할 수 있다.

 

train_poly = np.column_stack((train_input ** 2, train_input))
test_poly = np.column_stack((test_input ** 2, test_input))
print(train_poly.shape, test_poly.shape)
# 출력 결과 (42, 2) (14, 2)

lr = LinearRegression()
lr.fit(train_poly, train_target)
print(lr.predict([[50**2, 50]]))
# 출력 결과 [1573.98423528]

print(lr.coef_, lr.intercept_)
# 출력 결과 [1.01433211 -21.55792498] 116.0502107827827

 

다항 회귀 polynomial regression

다항식을 사용한 선형 회귀

point = np.arange(15, 50)

plt.scatter(train_input, train_target)
plt.plot(point, 1.01*point**2 – 21.6*point * 116.05)
plt.scatter([50], [1574], marker=’^’)
plt.show()

print(lr.score(train_poly, train_target))
# 출력 결과 0.9706807451768623

print(lr.score(test_poly, test_target))
# 출력 결과 0.9775935108325122

과소적합 해결해야 함.