凸函数

  此條目介紹的是英文为Convex function的函数。关于英文为Concave function的函数，请见「凹函数」。

凸函数（英文：Convex function）是指上境圖（英语：Epigraph (mathematics)）（圖像上方的點的集合）为凸集的一类函数。換言之，其圖像上，任意兩點連成的線段，皆位於圖像的上方。二階可導的一元函數${\displaystyle f}$為凸，当且仅当其定義域為凸集，且函數的二階導數${\displaystyle f''}$在整個定義域上非負。^[1]一元凸函數的熟知例子有二次函数${\displaystyle x\mapsto x^{2}}$和指数函数${\displaystyle x\mapsto e^{x}}$。直觀理解，凸函數的圖像形如開口向上的杯${\displaystyle \cup }$，而相反，凹函数則形如開口向下的帽${\displaystyle \cap }$。

凸函数的圖像上任取兩點，連成的線段必在圖像上方。

二元二次多項式函數${\displaystyle (x,y)\mapsto x^{2}+xy+y^{2}}$的圖像，形如開口向上的碗。

注意：中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在某些中国大陆的数学书中指凹函数。Concave Function指凸函数。但在中国大陆涉及经济学的很多书中，凹凸性的提法和其他國家的提法是一致的，也就是和数学教材是反的。举个例子，同济大学高等数学教材对函数的凹凸性定义与本条目相反，本条目的凹凸性是指其上方图是凹集或凸集，而同济大学高等数学教材则是指其下方图是凹集或凸集，两者定义正好相反。

凸函數是多個數學分支的重要概念，尤其在最优化研究中，凸函數的最小化問題有許多方便的性質。舉例，定義在凸開集上的嚴格凸函數，至多只有一個極小值。即使在無窮維空間中，在合適的假設下，凸函數（在此定義域上，常稱為凸泛函）仍具有此種性質，故凸泛函是变分法中，研究得較透徹的一類泛函。概率论中，凸函數${\displaystyle f}$作用在某随机变量期望值${\displaystyle \mathbb {E} [X]}$所得的結果，總不大於對隨機變量先取函數值再取期望，即

${\displaystyle f(\mathbb {E} [X])\leq \mathbb {E} [f(X)],}$

稱為延森不等式。該不等式可以推導出均值不等式及赫尔德不等式等結果。

定義

形像理解凸函數與延森不等式

設${\displaystyle C}$ 為實向量空間的凸子集，又設${\displaystyle f:C\to \mathbb {R} }$ 為实值函数。

${\displaystyle f}$ 稱為凸函數，意思是對${\displaystyle 0\leq t\leq 1}$ 及任意${\displaystyle x_{1},x_{2}\in C}$ ，皆有

${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right).}$ 

右式表示${\displaystyle f}$ 圖像上兩點${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$ 和${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$ ，連結而得的直線段上，某動點${\displaystyle P}$ 的豎直高度。隨${\displaystyle t}$ 由${\displaystyle 0}$ 漸漸增加至${\displaystyle 1}$ ，該動點${\displaystyle P}$ 的橫坐標由${\displaystyle x_{2}}$ 漸漸移至${\displaystyle x_{1}}$ 。類似地，左式中，${\displaystyle f}$ 的參數就是${\displaystyle P}$ 的橫坐標，所以左式是同一橫坐標處，${\displaystyle f}$ 的圖像的高度。所以，此條件正是要求${\displaystyle f}$ 的圖像曲線上，任意兩點連成的直線段，要位於曲線的上方（或剛好接觸到曲線）。^[2]

也就是说，一个函数是凸的当且仅当其上境圖（英语：Epigraph (mathematics)）为一个凸集。

严格凸函数

若將定義的${\displaystyle \leq }$ 號換成${\displaystyle <}$ ，則得到嚴格凸的定義： ${\displaystyle f}$ 稱為嚴格凸，意思是對${\displaystyle 0<t<1}$ 和任意不相等的${\displaystyle x_{1},x_{2}\in C}$ ，皆有

${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)<tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right).}$ 

以圖像理解，嚴格凸函數${\displaystyle f}$ 的圖像曲線上，任意兩個相異點連成的線段，除於端點接觸到曲線，其他所有點皆嚴格高於曲線。

几乎凸函数

若對於任意的${\displaystyle x,y,z}$ ，其中${\displaystyle x\leq z\leq y}$ ，都有${\displaystyle f(z)\leq \max\{f(x),\,f(y)\},\,\,\,\forall x,y,z\,\,\,x\leq z\leq y}$ ，則稱函數${\displaystyle f}$ 是幾乎凸的。

性质

凸函數的某些性質，多元情況的敍述與一元情況同樣簡單。此種性質，可能僅於多元情況列舉，恕不在一元情況贅述。

一元情況

 

函数（蓝色）是凸的，当且仅当其上方的区域（绿色）是一个凸集。

• 設${\displaystyle f}$ 是一元實函數，定義域為區間。考慮割線斜率
  $${\displaystyle R(x_{1},x_{2})={\frac {f(x_{2})-f(x_{1})}{x_{2}-x_{1}}},}$$

   
  則函數${\displaystyle R}$ 是對稱函數（粵语：對稱函數），即關於${\displaystyle R(x_{1},x_{2})=R(x_{2},x_{1})}$ 。${\displaystyle f}$ 為凸，當且僅當對每個固定的${\displaystyle x_{2}}$ ，皆有${\displaystyle R(x_{1},x_{2})}$ 關於${\displaystyle x_{1}}$ 單調不減（或由對稱性，可將此句中${\displaystyle x_{1},x_{2}}$ 互換）。此刻劃有助證明以下的結果。
• 若一元凸函数${\displaystyle f}$ 定义在开区间${\displaystyle C}$ 內，則在C内连续，且處處有左側及右側的單邊導數（英语：Semi-differentiability）。如此定義的兩個單邊導函數，皆為單調不減。由此推出，除可数个点外，${\displaystyle f}$ 在其他点皆可微（不過不可導的點組成的集合，仍有可能稠密）。如果${\displaystyle C}$ 是闭区间，那么${\displaystyle f}$ 有可能在${\displaystyle C}$ 的端点不连续，見例子。
• 一元可微函数在区间上是凸的，当且仅当函数位于所有它的切线的上方：^[3]:69对于区间内的所有${\displaystyle x}$ 和${\displaystyle y}$ ，都有
  $${\displaystyle f(x)\geq f(y)+f'(y)(x-y).}$$

   
  特别地，如果${\displaystyle f'(y)=0}$ ，則上式化為${\displaystyle f(x)\geq f(y)}$ ，故${\displaystyle f(y)}$ 是${\displaystyle f}$ 的最小值。
• 一元可微函数在某个区间上是凸的，当且仅当它的导数在该区间上单调不减。若一元函數既凸又可導，則其導數也連續。
• 一元二阶可微的函数在区间上是凸的，当且仅当它的二阶导数（英语：second derivative）是非负的；这是判断某个函数是否凸的實用方法。直觀地，二階可導的凸函數「向上彎」，而不會屈向另一邊（即無拐点）。如果它的二阶导数是正数，那么函数就是严格凸的，但反过来不成立。例如，${\displaystyle f(x)=x^{4}}$ 的二阶导数是${\displaystyle f''(x)=12x^{2}}$ ，当${\displaystyle x=0}$ 时为零，但${\displaystyle f}$ 是严格凸的。
  • 此性質的條件「二階導數非負」與前一個性質的條件「導數單調不減」有差異。若${\displaystyle f''}$ 在區間${\displaystyle C}$ 非負，則的確${\displaystyle f'}$ 在${\displaystyle C}$ 單調不減。反之則不然，因為可能有${\displaystyle f'}$ 在${\displaystyle C}$ 單調不減，但在某點不可導，即${\displaystyle f''}$ 在${\displaystyle C}$ 中某點無定義。
• 若${\displaystyle f}$ 為一元凸函數，且${\displaystyle f(0)\leq 0}$ ，則${\displaystyle f}$ 在正數集內為超可加函數（英语：Superadditivity），即${\displaystyle f(a+b)\geq f(a)+f(b)}$ 對任意正實數${\displaystyle a,b}$ 成立。

多元情況

更一般地，多元二次可微的连续函数在凸集上是凸的，当且仅当它的黑塞矩阵在凸集的内部是半正定的。

凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。

对于凸函数f，水平子集{x | f(x) < a}和{x | f(x) ≤ a}（a ∈ R）是凸集。然而，水平子集是凸集的函数不一定是凸函数；这样的函数称为拟凸函数。

延森不等式对于每一个凸函数f都成立。如果${\displaystyle X}$ 是一个随机变量，在f的定义域内取值，那么${\displaystyle E(f(X))\geq f(E(X)).}$ （在这里，${\displaystyle E}$ 表示数学期望。）

凸函數的初等運算

• 如果${\displaystyle f}$ 和${\displaystyle g}$ 是凸函數，那麼${\displaystyle m(x)=\max\{f(x),g(x)\}}$ 和${\displaystyle h(x)=f(x)+g(x)}$ 也是凸函數。
• 如果${\displaystyle f}$ 和${\displaystyle g}$ 是凸函數，且${\displaystyle g}$ 遞增，那麼${\displaystyle h(x)=g(f(x))}$ 是凸函數。
• 凸性在仿射映射下不變：也就是說，如果${\displaystyle f(x)}$ 是凸函數（${\displaystyle x\in \mathbb {R} ^{n}}$ ），那麼${\displaystyle g(y)=f(Ay+b)}$ 也是凸函數，其中${\displaystyle A\in \mathbb {R} ^{n\times m},\;b\in \mathbb {R} ^{n}.}$ 
• 如果${\displaystyle f(x,y)}$ 在${\displaystyle (x,y)}$ 內是凸函數，且${\displaystyle C}$ 是一個凸的非空集，那麼${\displaystyle g(x)=\inf _{y\in C}f(x,y)}$ 在${\displaystyle x}$ 內是凸函數，只要對於某個${\displaystyle x}$ ，有${\displaystyle g(x)>-\infty }$ 。

例子

• 函数${\displaystyle f(x)=x^{2}}$ 处处有${\displaystyle f\,''(x)=2>0}$ ，因此f是一个（严格的）凸函数。
• 绝对值函数${\displaystyle f(x)=|x|}$ 是凸函数，虽然它在点x = 0没有导数。
• 当${\displaystyle p\geqslant 1}$ 时，函数${\displaystyle f(x)=|x|^{p}}$ 是凸函数。
• 定义域为[0,1]的函数f，定义为f(0)=f(1)=1，当0<x<1时f(x)=0，是凸函数；它在开区间(0,1)内连续，但在0和1不连续。
• 函数${\displaystyle f(x)=x^{3}}$ 的二阶导数为${\displaystyle f\,''(x)=6x}$ ，因此它在x ≥ 0的集合上是凸函数，在x ≤ 0的集合上是凹函数。
• 每一个在${\displaystyle \mathbb {R} }$ 内取值的线性变换都是凸函数，但不是严格凸函数，因为如果f是线性函数，那么${\displaystyle f(a+b)=f(a)+f(b)}$ 。如果将“凸”替换为“凹”，该命题也成立。
• 每一个在${\displaystyle \mathbb {R} }$ 内取值的仿射变换，也就是说，每一个形如${\displaystyle f(x)=a^{T}x+b}$ 的函数，既是凸函数又是凹函数。
• 每一个范数都是凸函数，这是由于三角不等式。
• 如果${\displaystyle f}$ 是凸函数，那么当${\displaystyle t>0}$ 时，${\displaystyle g(x,t)=tf(x/t)}$ 是凸函数。
• ${\displaystyle f(x)={\sqrt {x}}}$ 和${\displaystyle g(x)=\log(x)}$ 为单调递增但非凸的函数。
• 函数f(x) = 1/x²，f(0)=+∞，在区间(0,+∞)内是凸函数，在区间(-∞,0)内也是凸函数，但是在区间(-∞,+∞)内不是凸函数，这是由于x = 0处的奇点。

参见

• 凹函数
• 凸集
• 對數凸函數

参考文献

1. 36-705 Intermediate Statistics: Lecture Notes 2 [中級統計學：講義2] (PDF). www.stat.cmu.edu. [3 March 2017]. （原始内容 (PDF)于2021-05-06） （英语）. 
2. Concave Upward and Downward [上凸與下凸]. mathsisfun.com. （原始内容于2013-12-18） （英语）. 
3. Boyd, Stephen P.; Vandenberghe, Lieven. Convex Optimization [凸優化] (pdf). Cambridge University Press. 2004 [October 15, 2011]. ISBN 978-0-521-83378-3. （原始内容 (PDF)于2021-05-09） （英语）. 

• Moon, Todd. Tutorial: Convexity and Jensen's inequality. [2008-09-04]. （原始内容于2008-04-20）. 
• Rockafellar, R. T. Convex analysis. Princeton: Princeton University Press. 1970. 
• Luenberger, David. Linear and Nonlinear Programming. Addison-Wesley. 1984. 
• Luenberger, David. Optimization by Vector Space Methods. Wiley & Sons. 1969. 
• Bertsekas, Dimitri. Convex Analysis and Optimization. Athena Scientific. 2003. 
• Thomson, Brian. Symmetric Properties of Real Functions. CRC Press. 1994. 

• Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
• Krasnosel'skii M.A., Rutickii Ya.B. Convex Functions and Orlicz Spaces. Groningen: P.Noordhoff Ltd. 1961. 
• Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer.