掌握最优化理论基石:凸性(一)
对于运筹学的探索者来说,一次深入的凸性理论梳理是不可或缺的。本文仅代表我个人的理解,诚挚期待专家们的指正与分享!
引言
让我们从Stephen Boyd的经典教材《凸优化》[1]出发,探索这个概念的奇妙世界。从直观的"球是凸"到数学定义的严谨,每个细节都值得深入剖析。
想象一下,一个集合是凸的,就像球面无瑕疵地包容着所有内部点,每一个点都能从任何角度看到其他点,这就是凸集的基本概念(图1)。数学定义上,它要求集合内的任意两点连线段都在集合内部或边界上,如超平面、半空间和多面体等常见实例。
仿射集合就像两点确定一条直线,区别于凸组合的"线段"性质,它允许所有点的组合线保持在同一平面内,但不局限于唯一的"线"(图2)。而凸组合则要求所有点的线段连接都在集合内。
凸包和仿射包揭示了集合最简化的"包围"形态。凸包是集合最小的凸集合,仿射包则是所有仿射组合的集合,两者都是集合组合的精华体现(图2和3)。
正定矩阵的全体构成了凸优化中的重要SDP问题,锥的特性在这里大放异彩。
这些概念在几何空间中清晰可见,内点和边界点的组合形成聚点。凸集的运算遵循特定规则,如交集的凸性,投影的几何意义和重要定理(图5)。
点分离和凸集分离定理展示了超平面如何区分和隔离非空闭凸集,这是优化理论中的基石(图6)。
凸函数的定义要求函数的上图像(epigraph)是凸集,这为我们理解函数的凸性提供了直观视角(图7)。从单调性到二阶条件,这些性质揭示了函数行为的深层规律。
共轭函数,作为线性函数与原函数差值的最大化,始终保持凸性,无论原函数是否凸(图9)。它的性质揭示了优化问题中隐含的对偶性。
通过以上的梳理,希望你对凸性理论有了更深入的认识。接下来的篇章,我们将继续深入探讨更多相关概念和应用,敬请期待!