Optimaization/ Lagrange multiplier 라그랑지안 승수법

목차

 

개요

이번 포스트에서는 일정 조건이 주어진 상태에서 극소값이나 극대값을 구할때 필요한 라그랑지안 승수법에 대해 알아본다. 

 

본 포스팅은 하단의 글을 통해 개념을 숙지하고 와야지 쉽게 이해가 가능하다.

Concept/ Unconstrained, constrained optimization 비구속/ 구속 제약 최적화

 

---

Lagrange multiplier 라그랑지안 승수법 정의

 

라그랑지안 승수 방법의 기본 아이디어는 목적 함수와 제약 조건 사이의 경계점에서의 최적화 문제를 풀기 위해 제약 조건을 목적 함수에 통합하는 것이다.

 

라그랑지안 함수(Lagrangian function) L(x, λ)은 아래와 같이 정의된다.

L(x, λ) = f(x) + λ * g(x)

f(x)는  목적 함수
g(x)는 등식 제약 조건
λ는 라그랑지안 승수
x는 변수 벡터
목적 함수 f(x)의 최소값을 구하려면, L(x, λ)의 그래디언트에 대한 각 변수와 라그랑지안 승수의 편미분이 0이 되어야 한다.

∇L(x, λ) = 0
∇f(x) + λ * ∇g(x) = 0
g(x) = 0

 

이 시스템을 풀면 최적화 문제의 해를 찾을 수 있다.

 

---

 

예시와 마무리

목적함수: minimize f(x, y) = x^2 + y^2
제약 조건: g(x, y) = x + y - 1 = 0
라그랑지안 함수를 다음과 같이 정의

 

L(x, y, λ) = x^2 + y^2 + λ(x + y - 1)
∂L/∂x = 2x + λ = 0
∂L/∂y = 2y + λ = 0
∂L/∂λ = x + y - 1 = 0

 

위 시스템을 풀면, 최적해 x = 1/2, y = 1/2, λ = -1를 얻고 따라서 목적함수가 최소화되는 점은 (1/2, 1/2)이며, 최소값은 1/2이다.

 

 

즉 라그랑지언 승수법은 원래의 목적 함수와 제약 조건이 어떻게 서로 영향을 주고받는지에 대한 정보를 제공하여 등식 제약조건이 있는(constrained) 최적화 문제를 마치 제약조건이 없는(unconstrained) 최적화 문제로 바꾸어 풀게 할 수 있는 방법이다.

 

해당 포스팅의 예시를 보면 등식제약조건만 등장했음을 알 수 있는데 다음 포스팅에서는 부등식의 제약조건 함수를 가진 KKT 방식에 대해서 알아보겠다.