Lagrange Multipliers - 라그랑주 승수법

어떤 n개의 자유도를 가진 scalar 함수 G가 있고, 이 값을 극대화하고 싶다. 물론 그냥 극대화하고 싶다면 gradient가 0이 되는 지점을 찾으면 된다.

\text{To find the maximum of }G=G(x_1,\cdots,x_n)\\\text{Find }(\chi_1,\cdots,\chi_n) \text{ where } \nabla G=0

하지만 상황은 그리 녹녹치가 않다. 대부분의 경우 우리가 취할 수 있는 위치는 제한되어 있기 때문이다. 예를 들어서 어떤 함수 R=0을 항상 만족해야 한다거나 말이다.

\text{But }R=R(x_1,\cdots,x_n)\text{must satisfy the relation }R=0

계산이 좀 귀찮아졌다. 일단은 변수의 개수를 두개로 줄이자. 우선은 완전미분에 대해 생각해보자. 제한조건을 만족하는 상황대로 조금 움직인다면 R의 변화량은 항등적으로 0이어야 한다. 왜? 상수값이니 말이다.

\text{To handle the problem, let }n=2\\\text{The exact differential of }R \text{ becomes}\\dR=\frac{\partial R}{\partial x_1}dx_1+\frac{\partial R}{\partial x_2}dx_2\\\text{when infinitesimal movement does not violate the requirement;}\\dR=0

그리고 편미분량이 취해지는 위치에서 G가 극대/극소값을 취하고 있다면 dR=0를 만족하는 조건 하에서 dG또한 0이어야 한다. 왜냐하면 극대/극소이기 때문이다.

\text{When the function }G\text{ takes the extremum at the point}\\\text{The exact differential of }G \text{ also satisfies}\\dG=\frac{\partial G}{\partial x_1}dx_1+\frac{\partial G}{\partial x_2}dx_2=0\\\text{under the condition that }dR=0

그런데 dR=0이므로 두 자유도 중 하나는 다른 하나에 종속되게 되어 다음과 같이 이 방정식을 풀 수도 있다.

\frac{\partial R}{\partial x_1}dx_1+\frac{\partial R}{\partial x_2}dx_2=0\\\therefore dx_1=-\frac{\frac{\partial R}{\partial x_2}}{\frac{\partial R}{\partial x_1}}dx_2\\\therefore dG=\frac{\partial G}{\partial x_1}dx_1+\frac{\partial G}{\partial x_2}dx_2\\=\left[-\frac{\partial G}{\partial x_1}\frac{\frac{\partial R}{\partial x_2}}{\frac{\partial R}{\partial x_1}}+\frac{\partial G}{\partial x_2}\right]dx_2\\=0\\\text{However, we are free to choose } dx_2 \text{, which implies}\\-\frac{\partial G}{\partial x_1}\frac{\frac{\partial R}{\partial x_2}}{\frac{\partial R}{\partial x_1}}+\frac{\partial G}{\partial x_2}=0

하지만 다른 방법은 없을까? 상수 alpha를 도입해 보자.

dR=0, dG=0\\\therefore dR-\alpha dG\\=\left[\frac{\partial R}{\partial x_1}-\alpha\frac{\partial G}{\partial x_1}\right]dx_1\\+\left[\frac{\partial R}{\partial x_2}-\alpha\frac{\partial G}{\partial x_2}\right]dx_2\\=0

물론 첫번째 변수의 미소변화량은 아직 두번째 변수의 미소변화량에 종속되어 있다.

\text{However, as the restriction is still not removed,}\\\frac{\partial R}{\partial x_1}dx_1+\frac{\partial R}{\partial x_2}dx_2=0\\\therefore dx_1=-\frac{\frac{\partial R}{\partial x_2}}{\frac{\partial R}{\partial x_1}}dx_2

그러므로 우리는 아직 두번째 변수의 미소변화량을 마음대로 변화시킬 수 있다.

\text{Therefore under this restriction, we can freely choose }dx_2\\\frac{\partial R}{\partial x_1}dx_1+\frac{\partial R}{\partial x_2}dx_2=0

그런데 만약 상수 alpha를 잘 잡아서 다음 값이 0이 된다고 가정해보자.

\text{Assume we choose }\alpha\text{ so that}\\\frac{\partial R}{\partial x_1}-\alpha\frac{\partial G}{\partial x_1}=0\\\text{Then }dR-\alpha dG =0 \text{ reduces to}\\\left[\frac{\partial R}{\partial x_2}-\alpha\frac{\partial G}{\partial x_2}\right]dx_2=0\\\text{As we are free to choose }dx_2 \text{, we must conclude that}\\\frac{\partial R}{\partial x_2}-\alpha\frac{\partial G}{\partial x_2}\text{ must be zero as well}

라그랑주 승수법의 원리가 여기에 있다. 대략적인 논의는 여기까지. 변수 2개에서 n개로, 제한조건 1개에서 m개로의 확장은 안 해도 되겠지...