最近在读大神Rockafellar的小册子“Conjugate Duality and Optimization”. 本来是想读“Convex Analysis”，可是实在是太长了，只能望而却步。所以决定找个薄的来读读，Conjugate Duality and Optimization这个册子其实算是Convex Analysis的补充材料，由于没有事先读过Convex Analysis，导致读起来特别累，虽然只有70来页。读了一遍之后很多地方还是不懂，算是一知半解，这里发表一下我的一些见解。

这本书主要是介绍了有限和无限维问题中的共轭对偶，为其提供理论保障。

对于一个问题：

                                                                                                   1.1

首先引入一个概念-参数函数 ，这里的  称为参数向量, 并且满足

                                                   .                                      1.2

为什么要引入参数函数呢，其实可以这样理解，最优化问题  是关于原问题的一个扰动，所以考虑  的极小化，这里引入一个最优值函数（value function，个人认为翻译为最优值函数）:

                                                                                  1.3

不难发现当  的时候上式就变为原问题，即有

                                                                                        1.4

所以研究原问题的最优性问题就转化为了研究  在 0 这一点的性质，连续，邻域有界等等。有了参数函数和最优值函数，接下来要引入一个函数   满足

                                                                                  1.5

                                                                                   1.6

这里的  称为对偶函数，为朗格朗日函数，考虑原问题和对偶问题

                                                                                                    1.7

                                                                                                   1.8

不难得出下面的不等式成立

                                                 1.9                         

以及

                                                1.10

中间的不等式是根据式1.9得到。

有了这些定义之后，接下来研究他们之间的关系。首先给出共轭函数的定义：

                                                                                           1.11

定义朗格朗日函数 

                                                                        1.12

                                           1.13

如果 F 关于 u 是闭凹的，那么他的共轭是对称的，即从上式可以知道函数  是函数  在凹意义下的共轭 ，于是有

                                          1.14

可以发现这样的朗格朗日函数定义是满足式1.5的,

                                        1.15

这可以由式1.14得到。然后在上式下去定义对偶问题 。到目前为止，我们通过定义出一个参数函数，来构造出了拉格朗日函数以及对偶函数，现在有了原问题和对偶问题，我们就来研究他们之间的关系，是否存在鞍点，或者说是否有gap，即是否满足：

                                                                           1.16

我们要从最优值函数入手去研究原问题和对偶问题的关系，对于原问题来说有：

                                                                                  1.17

对于对偶问题而言

                                                     1.18

于是有 , 再根据一个函数的双共轭等于该函数的闭凸包得到 

再根据共轭次梯度定理知道, 在凹函数下利用该定理，对于proper and concave function g

                                                                                                            1.19

所以我们有：

                                                                                                   1.20

到目前为止，我们把原问题和对偶问题的最优值相等：

                                                                                                       1.21

转化为最优值函数在0点是否为闭包函数，即是否满足

                                                                                                      1.22

而式1.21即为强对偶定理，即拉格朗日函数的鞍点存在定理，这样我们就把该问题转化为研究函数  在零点的性质这个问题了，即什么时候式1.22是满足的。