RSM/Formulation 비선형 회귀 모델 구축

목차

 

개요

이번 포스트에서는 RSM방법론 중 2번째 프로세스인 Formulation 의 회귀모델이 비선형인 경우에 대해 알아본다.

 

이 방법은 모델의 매개변수가 선형인 특징을 이용하여 비선형 문제를 선형 문제로 변환하는 과정이다. 이를 통해 선형 회귀 방법을 사용하여 비선형 문제를 풀 수 있다. 또한 이는 RSM에서 주로 사용되는 다항식 회귀모델을 구성하여 새로운 데이터에 대한 예측을 수행할 수 있다.

 

 

 

 

 

---

비선형 회귀 모델

데이터를 사용하여 문제를 정의하고, 이를 최적화하는 과정을 말한다.

여기서는 회귀 문제를 고려하고 있으며, 회귀 계수(β)를 추정하여 선형 회귀 모델을 생성하는 것이 목표

또한 이 포스팅에서는 1차 선형 회귀가 아닌 다항식에 대해서 방법론 정도만 다룰것이다.

 

1차 선형모델로는 만족되지 않는것일까? 그 이유는

 

다항식은 단항식이나 차수가 낮은 수식에 비해 (항상은 아니지만)  국소적(local)이 아닌 전역적(global)으로 근사할 수 있는 장점이 있기 때문이다. 쉽게 말해서는 근사하고자하는 목표함수를 커버할 수 있을 확률이 높기 때문이다.

 

 

---

 

목표함수

다항식 기저 함수를 이용한 근사에서는 목표 함수를 다음과 같이 나타냅니다

f(x) ≈ P(x) = Σ c_i * φ_i(x)

여기서 f(x)는 목표 함수, P(x)는 근사된 다항식, Σ는 시그마를 나타내는 합 기호, c_i는 각 기저 함수의 계수(unknown coefficient), φ_i(x)는 i번째 기저 함수를 의미한다.

 

---

 

Basis 방식 선정하기

Monomial Basis (모노미얼 베이시스)

모노미얼 베이시스는 가장 일반적인 다항식 기저 함수이고 각 기저 함수가 단일 변수의 거듭제곱 형태로 나타낸다.
즉, 각 φ_i(x) = x^i로 나타낼 수 있다.

P(x) = c_0 + c_1 * x^1 + c_2 * x^2 + ... + c_n * x^n

여기서 c_i는 다항식의 계수

Lagrange Basis (라그랑주 베이시스)

라그랑주 베이시스는 다항식 근사에 사용되는 또 다른 기저 함수 이 방법은 각 기저 함수가 라그랑주 다항식의 형태를 취한다.

L_i(x) = Π ((x - x_j) / (x_i - x_j)) (j ≠ i)

여기서 x_i는 샘플 포인트를 의미 라그랑주 베이시스를 사용하면, 다항식은 다음과 같이 나타낼 수 있다.

P(x) = Σ c_i * L_i(x)

여기서 c_i는 다항식의 계수이며, L_i(x)는 라그랑주 다항식을 의미한다/

라그랑주 베이시스는 FEM에서의 보간 문제에 자주 사용되며, 일정한 구간에서 근사 오차를 최소화하는 데 효과적이다. 이와 반면에 모노미얼 베이시스는 전체 도메인에서 근사 오차를 최소화하는 데 더 효과적일 수 있다.

상황에 따라 적절한 기저 함수를 선택하는 것이 중요하다.

---

 

monomial basis로의 가정

 

각 기저 함수는 단일 변수의 거듭제곱 형태로 나타낼 수 있다.

즉, φ_i(x) = x^i로 나타낼 수 있다.

P(x) = c_0 + c_1 * x^1 + c_2 * x^2 + ... + c_n * x^n

unknown coefficient c_i를 구하기 위해서는 샘플 데이터를 사용하여 최적화 과정을 거쳐야 한다.

여기서 목표는 주어진 샘플 데이터에 대해 근사된 다항식 P(x)가 최대한 잘 근사할 수 있도록 unknown coefficient를 찾는 것이다.

unknown coefficient를 찾기 위해 일반적으로 최소자승법(Least Squares Method)를 사용한다.

이 방법은 샘플 데이터의 관측값과 근사된 다항식의 차이를 제곱하여 누적한 값을 최소화하는 것을 목표로 합니다. 이를 통해 최적의 unknown coefficient를 구할 수 있으며, 이를 이용하여 목표 함수의 근사된 함수를 얻게 된다.