ChatGPT体验 AI绘画体验

# 拉格朗日乘数法的推导 ## 1. 问题陈述 考虑约束优化问题： $$\min_{x \in \mathbb{R}^n} f(x) \quad \text{s.t.} \quad g(x) = 0$$ 其中 $f: \mathbb{R}^n \to \mathbb{R}$，$g: \mathbb{R}^n \to \mathbb{R}^m$（$m \leq n$）。 --- ## 2. 几何直观推导 ### 关键观察 设 $x^*$ 为最优解，则目标函数的梯度 $\nabla f(x^*)$ **必须与约束曲面正交**。 **证明：** 沿着约束曲面移动，$f$ 的变化率为： $$\frac{df}{dt} = \nabla f(x^*) \cdot x'(t)$$ 若 $x^*$ 是极值点，则沿任何可行方向的导数必须为零。 约束 $g(x) = 0$ 定义了 $(n-m)$ 维曲面，其切空间由下式描述： $$\nabla g(x^*) \cdot v = 0 \quad \text{（对所有切向量 } v \text{）}$$ 这意味着 $\nabla f(x^*)$ 必须属于 $\nabla g(x^*)$ 的列空间，因此存在向量 $\lambda^*$ 使得： $$\nabla f(x^*) + \sum_{i=1}^{m} \lambda_i^* \nabla g_i(x^*) = 0$$ --- ## 3. 解析推导（使用隐函数定理） ### 步骤 1：正则性条件 假设 $\nabla g(x^*)$ 满秩（列满秩），即 $\text{rank}(\nabla g(x^*)) = m$。 ### 步骤 2：参数化约束曲面 由隐函数定理，局部上约束曲面可表示为 $x = (x_1, x_2)$，其中： - $x_1 \in \mathbb{R}^{n-m}$（自由变量） - $x_2 \in \mathbb{R}^m$（由约束决定） 约束 $g(x_1, x_2) = 0$ 可局部唯一解出 $x_2 = h(x_1)$。 ### 步骤 3：化归无约束问题 将问题转化为无约束优化： $$\min_{x_1} \phi(x_1) = f(x_1, h(x_1))$$ ### 步骤 4：求导并令导数为零 $$\frac{\partial \phi}{\partial x_1} = \frac{\partial f}{\partial x_1} + \frac{\partial f}{\partial x_2} \cdot \frac{\partial h}{\partial x_1} = 0$$ ### 步骤 5：利用约束的导数 对约束 $g(x_1, h(x_1)) = 0$ 求导： $$\frac{\partial g}{\partial x_1} + \frac{\partial g}{\partial x_2} \cdot \frac{\partial h}{\partial x_1} = 0 \implies \frac{\partial h}{\partial x_1} = -\left(\frac{\partial g}{\partial x_2}\right)^{-1} \frac{\partial g}{\partial x_1}$$ ### 步骤 6：消去 $\frac{\partial h}{\partial x_1}$ 代入步骤 4： $$\frac{\partial f}{\partial x_1} - \frac{\partial f}{\partial x_2} \cdot \left(\frac{\partial g}{\partial x_2}\right)^{-1} \frac{\partial g}{\partial x_1} = 0$$ 定义拉格朗日乘子 $\lambda^T = \frac{\partial f}{\partial x_2} \cdot \left(\frac{\partial g}{\partial x_2}\right)^{-1}$，可写成矩阵形式： $$\nabla f(x^*) + \nabla g(x^*)^T \lambda^* = 0$$ --- ## 4. 拉格朗日函数法 定义 **拉格朗日函数**： $$\mathcal{L}(x, \lambda) = f(x) + \lambda^T g(x)$$ **一阶必要条件（KKT 条件）**： $$\begin{cases} \nabla_x \mathcal{L}(x^*, \lambda^*) = \nabla f(x^*) + \nabla g(x^*)^T \lambda^* = 0 \\ \nabla_\lambda \mathcal{L}(x^*, \lambda^*) = g(x^*) = 0 \end{cases}$$ --- ## 5. 简单示例验证 **问题：** $\min f(x,y) = x^2 + y^2$ 约束 $x + y = 1$ **拉格朗日函数：** $\mathcal{L} = x^2 + y^2 + \lambda(x + y - 1)$ **求导：** $$\frac{\partial \mathcal{L}}{\partial x} = 2x + \lambda = 0 \implies x = -\frac{\lambda}{2}$$ $$\frac{\partial \mathcal{L}}{\partial y} = 2y + \lambda = 0 \implies y = -\frac{\lambda}{2}$$ $$\frac{\partial \mathcal{L}}{\partial \lambda} = x + y - 1 = 0 \implies x + y = 1$$ **解得：** $x = y = \frac{1}{2}$，最小值为 $f\left(\frac{1}{2}, \frac{1}{2}\right) = \frac{1}{2}$ --- ## 6. 关键要点总结 | 要素 | 说明 | |------|------| | 拉格朗日函数 | $\mathcal{L}(x, \lambda) = f(x) + \lambda^T g(x)$ | | 一阶条件 | $\nabla \mathcal{L} = 0$ | | 正则性条件 | $\nabla g(x^*)$ 满秩 | | 几何意义 | 梯度平行：$\nabla f = -\lambda^T \nabla g$ | 这就是拉格朗日乘数法的完整推导过程！