In statistical modeling, Regression analysis (회귀분석) is a statistical process for estimating the relationships among variables. (https://en.wikipedia.org/wiki/Regression_analysis)

Statistics 분석 방법의 한가지. Experimental design에도 사용된다.

회귀분석이란 변수들간의 관련성을 규명하기 위하여 어떤 수학적 모형을 가정하고, 이 모형을 측정된 변수들의 데이터로부터 추정하는 통계적 분석방법을 말한다.

회귀(regression)이란 말은 영국의 Eugenics학자 Francis Galton이 아버지와 아들의 신장간의 관계식을 통해 아들의 키에 미치는 영향을 알아볼때 얻은 결론이, 큰아버지를 가진 아들의 신장은 전체적인 평균신장보다는 크나 아버지의 신장보다는 작아서 평균신장으로 회귀(regression toward mediocrity)하려는 경향이 있다고 말한데서 유래한다.

일반적으로 다음으로 구분하여 다룬다.

1. Linear regression (선형회귀분석) : 독립변수 1개, 종속변수 1개, 선형관계
2. Multiple regression (중회귀분석) : 독립변수 2개이상, 종속변수는 1개
3. Nonlinear regression (비선형회귀분석) : 독립변수 1개, 종속변수 1개 일때의 비선형 함수
   1. Curvilinear regression (곡선회귀분석) : 비선형함수가 2차이상의 고차함수를 가정하는 경우.

독립변수가 하나인 경우의 k차다항회귀모형(k^th order polynomial regression model)는 다음처럼 표현된다.

$$ y=\beta_0 + \beta_1 x + \beta_2 x^2 + ... + \beta_k x^k + \epsilon $$

이 문제는 곡선회귀분석 문제로서, x, x^2을 각각 다른 독립변수로 놓고, 중회귀분석 문제를 푸는 방식으로 Matrix를 이용하여 풀수 있으나, 만일 독립변수 x의 수준이 같은 간격으로 떨어져 있으면(equally spaced), 직교다항식(Orthogonal polynomials)를 사용하여 회귀계수들의 추정값들을 구할 수 있다.

Incoming Links #

Related Articles (Article 0) #

• Decision tree
• Logistic regression
• Support vector machine

Suggested Pages #

• 0.738 Machine learning
• 0.056 scikit-learn
• 0.031 Kubeflow
• 0.023 Mathematics
• 0.023 November 28
• 0.020 WDL
• 0.013 Text-to-image model
• 0.013 Hidden Markov model
• 0.011 Jupyter
• 0.009 Convolutional neural network
• More suggestions...